一种基于多核DSP硬件特性的神经网络推理任务划分方法技术

本发明专利技术公开了一种基于多核DSP硬件特性的神经网络推理任务划分方法，涉及神经网络协同推理技术领域。其方法包括，确定DSP硬件的多种算子级候选划分方案，包括输入特征图行划分、输入特征图列划分、输入特征图网格划分以及输出特征图通道划分；基于DSP硬件的多种算子级候选划分方案构建指数级搜索空间；利用动态规划寻优算法从所述指数级搜索空间中寻找最优算子级候选划分方案。相较于传统的人工划分及现有主流方案，本发明专利技术不仅提高了模型推理任务划分的均衡性，同时提升了寻优效率，显著提升神经网络模型在多核DSP硬件上的推理性能。

【技术实现步骤摘要】

本专利技术涉及神经网络协同推理，更具体的说是涉及一种基于多核dsp硬件特性的神经网络推理任务划分方法。

技术介绍

1、目前，深度学习正以惊人的速度在各类应用中落地，例如图像分类、目标检测和视频分析等。尽管深度学习模型相较传统算法有着巨大优势，但值得注意的是，模型推理在计算资源方面有很大的需求。例如，vgg-16网络需要高达15.5g mac(乘加计算)来对分辨率为224x224的图像进行分类。一种最直接的方案是将需要庞大计算量的模型推理任务卸载到云端服务器。但是，通常情况下输入数据是在边缘设备附近生成的，长距离传输存在延迟和抖动，存在实时性和安全性问题。早期退出等工作通过在边端设备完成浅层推理，将更深层推理任务卸载到云端，虽然一定的缓解了实时性问题，但适用范围有限且模型需要大量的训练成本。更重要的是，这些方法无法部署到不配备网络条件的应用。

2、多核协同推理的诞生缓解了上述因网络传输带来的一系列问题。其通过多核的综合能力，可以承载更大规模的神经网络模型。依靠与输入数据近距离的优势，可以大幅降低通信延迟和提升系统安全性。然而，如何最优化计算任务分本文档来自技高网...

【技术保护点】

1.一种基于多核DSP硬件特性的神经网络推理任务划分方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于多核DSP硬件特性的神经网络推理任务划分方法，其特征在于，还包括：

3.根据权利要求1所述的一种基于多核DSP硬件特性的神经网络推理任务划分方法，其特征在于，基于DSP算力的维度展开均衡划分，具体通过以下步骤实现：

4.根据权利要求3所述的一种基于多核DSP硬件特性的神经网络推理任务划分方法，其特征在于，按照DSP硬件中每个计算单元的算力值对二维序列的长度L进行初始化，具体包括以下步骤：

5.根据权利要求4所述的一种基于多核...

【技术特征摘要】

1.一种基于多核dsp硬件特性的神经网络推理任务划分方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于多核dsp硬件特性的神经网络推理任务划分方法，其特征在于，还包括：

3.根据权利要求1所述的一种基于多核dsp硬件特性的神经网络推理任务划分方法，其特征在于，基于dsp算力的维度展开均衡划分，具体通过以下步骤实现：

4.根据权利要求3所述的一种基于多核dsp硬件特性的神经网络推理任务划分方法，其特征在于，按照dsp硬件中每个计算单元的算力值对二维序列的长度l进行初始化，具体包括以下步骤：

5.根据权利要求4所述的一种基于多核dsp硬件特性的神经网络推理任务划分方法，其特征在于，根据计算耗时bi计算每个计算单元的算力值ci，具体包括通过以下公式进行计算：

6.根据权利要求1所述的一种基于多核dsp硬件特性的神经网络推理任务划分方法，其特征在于，依据实际卷积任务对每个计算单元对应的...

【专利技术属性】
技术研发人员：姜宏旭，马宇航，张润华，韩耀郴，汪炜，李波，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：