【技术实现步骤摘要】
本申请涉及大模型推理，特别是涉及一种用于音视频的模型推理方法、装置及电子设备。
技术介绍
1、当前，随着ai技术的快速发展，越来越多的技术可以用模型来实现。其中，大模型在各种模型处理任务如机器翻译、文本生成、代码开发、智能问答等方面表现出了极强的泛化能力。同时，大模型的参数量从十亿突破了千亿、万亿。当前大模型推理是将大模型参数加载到推理卡显存中，通过推理引擎将模型部署成推理服务，从而使推理过程中需要占用大量的存储资源以及计算资源，极大的提高了计算存储资源的成本。
技术实现思路
1、本申请实施例提供了一种用于音视频的模型推理方法、装置及电子设备，相关技术方案如下：
2、第一方面，本申请实施例提供了一种用于音视频的模型推理方法，所述方法包括：
3、获取待推理的音视频数据；所述待推理的音视频数据包括多帧数据；
4、将所述待推理的音视频数据输入至第一层决策模型，获得第一输出结果；所述第一层决策模型是通过有效数据和负样本数据对预先构建的第一层智能体进行训练得到的；...
【技术保护点】
1.一种用于音视频的模型推理方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，在所述获取待推理的音视频数据之前，所述方法还包括：
3.如权利要求2所述的方法，其特征在于，在所述将各个所述智能解决方案部署到包括多个推理卡的硬件设备上之后，所述方法还包括：
4.如权利要求3所述的方法，其特征在于，所述对各个所述推理卡组合的吞吐率进行比对，获得所述有效数据和所述负样本数据，包括：
5.如权利要求3或4所述的方法，其特征在于，在所述通过所述有效数据和所述负样本数据对所述第一层智能体进行训练，获得所述第一层...
【技术特征摘要】
1.一种用于音视频的模型推理方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，在所述获取待推理的音视频数据之前，所述方法还包括：
3.如权利要求2所述的方法，其特征在于，在所述将各个所述智能解决方案部署到包括多个推理卡的硬件设备上之后，所述方法还包括：
4.如权利要求3所述的方法，其特征在于，所述对各个所述推理卡组合的吞吐率进行比对，获得所述有效数据和所述负样本数据，包括：
5.如权利要求3或4所述的方法，其特征在于，在所述通过所述有效数据和所述负样本数据对所述第一层智能体进行训练，获得所述第一层决策模型之前，所述方法还包括：
6.如权利要求3或4...
【专利技术属性】
技术研发人员：钱康，虞响，黄鹏，周祥明，程德强，李越，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。