离线模型推理的方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种离线模型推理的方法、装置、计算机设备和存储介质。所述方法通过获取多个离线模型的待处理数据，在多个第一流水线上分别对多个离线模型的待处理数据进行第一并行处理，并将各第一流水线输出的处理结果存储至第一缓存队列，在多个第二流水线上分别从第一缓存队列中读取各第一流水线输出的处理结果进行第二并行处理，以完成多个离线模型的推理。上述离线模型推理的方法在离线模型推理应用场景中实现了一种多个流水线并行化及流水化运行的推理计算方法，相比于单一流水线执行推理计算的方法，极大的提高了模型推理的速度和效率。度和效率。度和效率。

【技术实现步骤摘要】
离线模型推理的方法、装置、计算机设备和存储介质


[0001]本申请涉及信息处理
，特别是涉及一种离线模型推理的方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着机器学习算法的不断发展，越来越多架构的机器学习芯片逐渐问世。其中嵌入式神经网络处理器(Neural Network Processing Unit，NPU)因其采用“数据驱动并行计算”的架构，被广泛应用于视频数据和海量图像的识别和处理领域。
[0003]目前，在使用NPU芯片对视频数据或图像数据进行处理的过程中，通常会涉及到深度学习网络模型的推理，即将深度学习网络模型中所有的计算都映射到NPU芯片上进行运算，得到的运算结果即为对视频数据或图像数据的处理结果。
[0004]但是，随着深度学习网络模型的日益复杂化，NPU芯片对于深度学习网络模型的推理效率也越来越低。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够提高深度学习网络模型的推理效率的离线模型推理的方法、装置、计算机设备和存储介质。
>[0006]第一方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种离线模型推理的方法，其特征在于，所述方法采用多级流水线，所述流水线包括多个第一流水线和多个第二流水线，所述方法包括：获取多个离线模型的待处理数据；在多个第一流水线上分别对所述多个离线模型的待处理数据进行第一并行处理，并将各所述第一流水线输出的处理结果存储至第一缓存队列；在多个第二流水线上分别从所述第一缓存队列中读取各所述第一流水线输出的处理结果进行第二并行处理，以完成所述多个离线模型的推理。2.根据权利要求1所述的方法，其特征在于，若所述多个离线模型为相同类型的模型，所述将各所述第一流水线输出的处理结果存储至第一缓存队列，包括：按照各所述第一流水线输出所述处理结果的顺序，将各所述第一流水线输出的处理结果依次存储至所述第一缓存队列。3.根据权利要求2所述的方法，其特征在于，所述在多个第二流水线上分别从所述第一缓存队列中读取各所述第一流水线输出的处理结果进行第二并行处理，包括：在每个所述第二流水线上分别从所述第一缓存队列中读取出至少一个所述第一流水线输出的处理结果进行第二并行处理。4.根据权利要求1所述的方法，其特征在于，若所述多个离线模型为不同类型的模型，所述第一缓存队列包括第一存储队列和第一拷贝队列，所述将各所述第一流水线输出的处理结果存储至第一缓存队列，包括：同步各所述第一流水线输出的处理结果，并将同步后的各所述第一流水线输出的处理结果存储至所述第一存储队列；按照预设份数分别拷贝所述第一存储队列中的各所述第一流水线输出的处理结果，以得到所述预设份数的拷贝结果，并将所述预设份数的拷贝结果存储至所述第一拷贝队列，其中，所述预设份数等于所述第二流水线的个数。5.根据权利要求4所述的方法，其特征在于，所述在多个第二流水线上分别从所述第一缓存队列中读取各所述第一流水线输出的处理结果进行第二并行处理，包括：在每个所述第二流水线上从所述第一拷贝队列中分别读取一份所述拷贝结果进行第二并行处理。6.根据权利要求1所述的方法，其特征在于，每个所述流水线采用多线程执行，包括多个第一线程、一个第二线程和多个第三线程，所述方法包括：针对每个所述流水线，调用所述多个第一线程对所述流水线对应的所述离线模型的待处理数据进行并行前处理，并将各所述第一线程的前处理结果存储至第二缓存队列；调用所述第二线程加载所述离线模型，并基于所述第二缓存队列中的各所述前处理结果进行所述离线模型的推理，得到各所述第二线程的模型推理结果，并将各所述第二线程的模型推理结果存储至第三缓存队列；调用所述多个第三线程从...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：上海寒武纪信息科技有限公司，
类型：发明
国别省市：