神经网络数据处理方法、设备及存储介质技术

本发明专利技术公开了一种神经网络数据处理方法、设备及存储介质，应用于神经网络数据处理装置的主控处理器，所述神经网络数据处理装置包括主控处理器和实时处理器，所述实时处理器包括推理运算模块，该方法包括：获取神经网络的多个神经网络算子；根据多个神经网络算子以及预设推理引擎规则依次生成神经网络对应的至少一个元信息；将元信息依次存储在数据缓冲区。本发明专利技术通过主控处理器获取神经网络算子并根据神经网络算子生成至少一个元信息，并将元信息存储在数据缓冲区，以供实时处理器可直接根据元信息生成寄存器序列，进而根据寄存器序列进行运算，而无需主控处理器向实时处理器传输寄存器序列，减少了数据传销开销，从而提高了推理运算的效率。推理运算的效率。推理运算的效率。

【技术实现步骤摘要】
神经网络数据处理方法、设备及存储介质


[0001]本专利技术涉及互联网
，尤其涉及神经网络数据处理方法、设备及存储介质。

技术介绍

[0002]随着深度学习的快速发展，卷积神经网络已经大量应用于机器视觉应用，例如图像识别与图像分类。 然而，卷积神经网络的算法复杂度导致其推理运行时间过长，阻碍了卷积神经网络在日常应用中的部署。为了减少卷积神经网络的推理时间，硬件在设计上会进行改进优化，以期望达到最佳性能。硬件在设计上的改进优化方式多种多样，比较典型的一种方式是在推理引擎中增加一个专用实时处理器，如图1所示，图1示出了现有的神经网络数据处理装置的结构示意图，该专用实时处理器和主控处理器通过软件协议进行通信，专用实时处理器访问推理引擎的延迟比主控处理器更小，从而达到加速推理的效果。
[0003]在构思及实现本申请过程中，专利技术人发现至少存在如下问题：随着深度学习模型的深度上的加深以及结构上的复杂，上述的改进方式在寄存器序列长度很长的时候，容易导致额外的数据传输开销，进而导致延长推理时间，推理的效率低。
[0004]上述内容仅用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络数据处理方法，其特征在于，应用于神经网络数据处理装置的主控处理器，所述神经网络数据处理装置包括主控处理器和实时处理器，所述实时处理器包括推理运算模块，所述神经网络数据处理方法的步骤包括：获取神经网络的多个神经网络算子；根据多个所述神经网络算子以及预设推理引擎规则依次生成所述神经网络对应的至少一个元信息；将所述元信息依次存储在数据缓冲区，以供所述实时处理器从所述数据缓冲区依次获取所述元信息，并根据所述元信息依次生成寄存器序列以及控制所述推理运算模块根据所述寄存器序列进行运算。2.如权利要求1所述的神经网络数据处理方法，其特征在于，所述根据多个所述神经网络算子以及预设推理引擎规则依次生成所述神经网络对应的至少一个元信息的步骤包括：获取神经网络当前层的当前神经网络算子；根据所述当前神经网络算子获取与所述当前神经网络算子匹配的待融合神经网络算子；将所述当前神经网络算子以及所述待融合神经网络算子进行融合以得到融合后的当前神经网络算子；根据融合后的当前神经网络算子生成所述神经网络当前层的元信息；将神经网络下一层作为神经网络当前层，返回获取神经网络当前层的当前神经网络算子的步骤，直至完成对神经网络所有层的神经网络算子的获取。3.如权利要求1所述的神经网络数据处理方法，其特征在于，所述元信息包括数据加载顺序、数据地址、加载数据量、加载模式的至少一种。4.一种神经网络数据处理方法，其特征在于，应用于神经网络数据处理装置的实时处理器，所述神经网络数据处理方法的步骤包括：在检测到数据缓冲区存储有元信息时，加载神经网络当前层的元信息；根据所述元信息生成神经网络当...

【专利技术属性】
技术研发人员：伍永情，蔡权雄，牛昕宇，
申请(专利权)人：深圳鲲云信息科技有限公司，
类型：发明
国别省市：