一种用于具有多个神经网络层的神经网络的计算执行方法技术

本发明专利技术公开了一种用于具有多个神经网络层的神经网络的计算执行方法，所述方法包括如下步骤：将第一层的具有相同参数类型的输入分成至少两组；配置上述各组输入的数据格式；读取上述各组的数据；对至少一组输入进行数据对齐；执行所述第一层的运算。本发明专利技术针对具有多个神经网络层的神经网络计算问题，节省存储空间，降低存储访问带宽/功率的比值，缩短处理时间进而提升运算性能。

【技术实现步骤摘要】
一种用于具有多个神经网络层的神经网络的计算执行方法
本专利技术公开了一种用于具有多个神经网络层的神经网络的计算执行方法，涉及低功耗设计、神经网络运算等工程

技术介绍
对于神经网络中各层的处理，传统方法是对各层具有相同参数类型的输入采用同一种数据格式。但这种方法会占用更多的存储空间、更多的存储访问带宽/功率，耗费更多的处理时间。现有技术中，为了实现更深度的神经网络，例如1001层神经网络，与传统的“后激活”设计观点相反，何恺明、张祥雨、任少卿、孙剑在《深度残留网络中的恒等映射》中提出了权重层的“预激活”的方法。如图3所示，加法层将两路输入相加，图3(a)中加法层将Xl与BN的结果相加。图3(b)中加法层将Xl与权重的结果相加。在CVPR2017上，也有人提出采用密集连接卷积网络的方法，DenseNet算法提出“稠密块”概念，给出了增长率为k＝4的5层稠密块，如图4所示。考虑在一个卷积网络中传递的单个图像X0，该网络包含L层，每层都实现了非线性变换Hl(·)，其中l表示层的索引。Hl(·)可以是诸如批量归一化(BN)、线性本文档来自技高网...

【技术保护点】
1.一种用于具有多个神经网络层的神经网络的计算执行方法，其特征在于，所述方法包括如下步骤：/n将第一层的具有相同参数类型的输入分成至少两组；/n配置上述各组输入的数据格式；/n读取上述各组的数据；/n对至少一组输入进行数据对齐；/n执行所述第一层的运算。/n

【技术特征摘要】
1.一种用于具有多个神经网络层的神经网络的计算执行方法，其特征在于，所述方法包括如下步骤：
将第一层的具有相同参数类型的输入分成至少两组；
配置上述各组输入的数据格式；
读取上述各组的数据；
对至少一组输入进行数据对齐；
执行所述第一层的运算。


2.一种用于具有多个神经网络层的神经网络的计算执行方法，其特征在于，所述方法包括如下步骤：
读取神经网络模型的第一部分的第一组输入的至少一部分；
将所述读取的第一组输入配置为第一数据格式；
执行所述神经网络模型的第一部分的运算；
读取神经网络模型的第二部分的第一组输入的至少一部分；
将所述读取的第一组输入配置为第二数据格式；
执行所述神经网络模型的第二部分的运算。


3.如权利要求1所述的一种用于具有多个神经网络层的神经网络的计算执行方法，其特征在于：所述具有相同参数类型的输入为输入特征图，并且每组输入特征图的来自不同的上一层，或者，每组输入特征图的来自不同的通道。


4.如权利要求1...

【专利技术属性】
技术研发人员：李坤傧，
申请(专利权)人：南京蓝洋智能科技有限公司，
类型：发明
国别省市：江苏;32