【技术实现步骤摘要】
本申请涉及大模型推理，特别是涉及一种用于音视频的模型推理方法、装置及电子设备。
技术介绍
1、当前，随着ai技术的快速发展，越来越多的技术可以用模型来实现。其中，大模型在各种模型处理任务如机器翻译、文本生成、代码开发、智能问答等方面表现出了极强的泛化能力。同时，大模型的参数量从十亿突破了千亿、万亿。当前大模型推理是将大模型参数加载到推理卡显存中，通过推理引擎将模型部署成推理服务，从而使推理过程中需要占用大量的存储资源以及计算资源，极大的提高了计算存储资源的成本。
技术实现思路
1、本申请实施例提供了一种用于音视频的模型推理方法、装置及电子设备，相关技术方案如下：
2、第一方面，本申请实施例提供了一种用于音视频的模型推理方法，所述方法包括：
3、获取待推理的音视频数据；所述待推理的音视频数据包括多帧数据；
4、将所述待推理的音视频数据输入至第一层决策模型，获得第一输出结果；所述第一层决策模型是通过有效数据和负样本数据对预先构建的第一层智能体进行训练得到的；所述有效数据和所述负样本数据是通过将多个推理卡组合对测试样本进行推理所获得的吞吐率进行对比所确定的数据；各个所述推理卡组合包括至少一个推理卡，且各个所述推理卡组合所包括的推理卡的数量不同；
5、若所述第一输出结果表明需要采用多推理卡并发来处理所述待推理的音视频数据，则将所述待推理的音视频数据输入至第二层决策模型，获得第二输出结果；所述第二层决策模型是通过所述有效数据对预先构建的第二层智
6、通过所述第二输出结果，决策出对所述待推理的音视频数据进行推理的至少两个推理卡；
7、由所述至少两个推理卡对所述待推理的音视频数据进行推理，获得针对各帧数据的经推理后的结果。
8、在其中一种可能的实现方式中，在所述获取待推理的音视频数据之前，所述方法还包括：
9、获取包括多个智能解决方案的集合，各个所述智能解决方案包括至少一个大模型；
10、将各个所述智能解决方案部署到包括多个推理卡的硬件设备上，并在所述硬件设备上依次运行各个所述智能解决方案，以获得所述有效数据和所述负样本数据；各个所述推理卡均加载有所述集合中的任一智能解决方案对应的大模型。
11、在其中一种可能的实现方式中，在所述将各个所述智能解决方案部署到包括多个推理卡的硬件设备上之后，所述方法还包括：
12、在所述硬件设备上运行所述集合中的任一智能解决方案时，通过逐一增加推理卡的数量，将所述测试样本送到所述多个推理卡组合，并由各个所述推理卡组合中的推理卡进行推理，获得各个所述推理卡组合的吞吐率；
13、对各个所述推理卡组合的吞吐率进行比对，获得所述有效数据和所述负样本数据；
14、通过所述有效数据和所述负样本数据对所述第一层智能体进行训练，获得所述第一层决策模型；
15、通过所述有效数据对所述第二层智能体进行训练，获得所述第二层决策模型。
16、在其中一种可能的实现方式中，所述对各个所述推理卡组合的吞吐率进行比对，获得所述有效数据和所述负样本数据，包括：
17、确定当前推理卡组合的吞吐率，以及在先推理卡组合的吞吐率；所述当前推理卡组合包括所述在先推理卡组合中的推理卡以及新增的一个推理卡；
18、若所述当前推理卡组合的吞吐率小于所述在先推理卡组合的吞吐率，则保存所述当前推理卡组合对应的数据至所述负样本数据；
19、若所述当前推理卡组合的吞吐率大于所述在先推理卡组合的吞吐率，则保存所述当前推理卡组合对应的数据至所述有效数据；所述有效数据包括所述当前推理卡组合中的各个推理卡以及各个推理卡的利用率。
20、在其中一种可能的实现方式中，在所述通过所述有效数据和所述负样本数据对所述第一层智能体进行训练，获得所述第一层决策模型之前，所述方法还包括：
21、基于集成学习思想，预先构建所述第一层智能体；所述第一层智能体包括多种类别的机器学习算法，且各种类别的机器学习算法赋以相应的权重。
22、在其中一种可能的实现方式中，在所述通过所述有效数据对所述第二层智能体进行训练，获得所述第二层决策模型之前，所述方法还包括：
23、预先构建所述第二层智能体，所述第二层智能体由多个有差异性的神经网络组成。
24、在其中一种可能的实现方式中，在所述由所述至少两个推理卡对所述待推理的音视频数据进行推理，获得经推理后的结果之后，所述方法还包括：
25、按照所述多帧数据中各帧数据的时间先后顺序，输出针对各帧数据的经推理后的数据。
26、第二方面，本申请实施例提供了一种用于音视频的模型推理装置，包括：
27、获取单元，用于获取待推理的音视频数据；所述待推理的音视频数据包括多帧数据；
28、第一输出单元，用于将所述待推理的音视频数据输入至第一层决策模型，获得第一输出结果；所述第一层决策模型是通过有效数据和负样本数据对预先构建的第一层智能体进行训练得到的；所述有效数据和所述负样本数据是通过将多个推理卡组合对测试样本进行推理所获得的吞吐率进行对比所确定的数据；各个所述推理卡组合包括至少一个推理卡，且各个所述推理卡组合所包括的推理卡的数量不同；
29、第二输出单元，用于若所述第一输出结果表明需要采用多推理卡并发来处理所述待推理的音视频数据，则将所述待推理的音视频数据输入至第二层决策模型，获得第二输出结果；所述第二层决策模型是通过所述有效数据对预先构建的第二层智能体进行训练得到的；
30、决策单元，用于通过所述第二输出结果，决策出对所述待推理的音视频数据进行推理的至少两个推理卡；
31、推理单元，用于由所述至少两个推理卡对所述待推理的音视频数据进行推理，获得针对各帧数据的经推理后的结果。
32、在一种可能的实现方式中，在所述获取单元获取待推理的音视频数据之前，所述装置还包括控制单元，所述控制单元具体用于：
33、获取包括多个智能解决方案的集合，各个所述智能解决方案包括至少一个大模型；
34、将各个所述智能解决方案部署到包括多个推理卡的硬件设备上，并在所述硬件设备上依次运行各个所述智能解决方案，以获得所述有效数据和所述负样本数据；各个所述推理卡均加载有所述集合中的任一智能解决方案对应的大模型。
35、在一种可能的实现方式中，在所述控制单元将各个所述智能解决方案部署到包括多个推理卡的硬件设备上之后，所述装置还包括处理单元，所述处理单元具体用于：
36、在所述硬件设备上运行所述集合中的任一智能解决方案时，通过逐一增加推理卡的数量，将所述测试样本送到所述多个推理卡组合，并由各个所述推理卡组合中的推理卡进行推理，获得各个所述推理卡组合的吞吐率；
37、对各个所述推理卡组合的吞吐率进行比对，获得所述有效数据和所述负样本数据；
本文档来自技高网...
【技术保护点】
1.一种用于音视频的模型推理方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，在所述获取待推理的音视频数据之前，所述方法还包括：
3.如权利要求2所述的方法，其特征在于，在所述将各个所述智能解决方案部署到包括多个推理卡的硬件设备上之后，所述方法还包括：
4.如权利要求3所述的方法，其特征在于，所述对各个所述推理卡组合的吞吐率进行比对，获得所述有效数据和所述负样本数据，包括：
5.如权利要求3或4所述的方法，其特征在于，在所述通过所述有效数据和所述负样本数据对所述第一层智能体进行训练，获得所述第一层决策模型之前，所述方法还包括：
6.如权利要求3或4所述的方法，其特征在于，在所述通过所述有效数据对所述第二层智能体进行训练，获得所述第二层决策模型之前，所述方法还包括：
7.如权利要求1-4任一项所述的方法，其特征在于，在所述由所述至少两个推理卡对所述待推理的音视频数据进行推理，获得经推理后的结果之后，所述方法还包括：
8.一种用于音视频的模型推理装置，其特征在于，包括：获取单元
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序用于使计算机执行如权利要求1-7任一项所述的方法步骤。
...【技术特征摘要】
1.一种用于音视频的模型推理方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，在所述获取待推理的音视频数据之前，所述方法还包括：
3.如权利要求2所述的方法，其特征在于，在所述将各个所述智能解决方案部署到包括多个推理卡的硬件设备上之后，所述方法还包括：
4.如权利要求3所述的方法，其特征在于，所述对各个所述推理卡组合的吞吐率进行比对，获得所述有效数据和所述负样本数据，包括：
5.如权利要求3或4所述的方法，其特征在于，在所述通过所述有效数据和所述负样本数据对所述第一层智能体进行训练，获得所述第一层决策模型之前，所述方法还包括：
6.如权利要求3或4...
【专利技术属性】
技术研发人员：钱康，虞响，黄鹏，周祥明，程德强，李越，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。