一种对神经网络模型进行优化的方法及相关产品技术

本公开涉及一种对神经网络模型进行优化的方法及相关产品，其中本公开的片上系统包括在组合处理装置的计算处理装置中，该组合处理装置还可以包括通用互联接口和其他处理装置。计算处理装置与其他处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与计算处理装置和其他处理装置连接，用于存储该计算处理装置和其他处理装置的数据。本披露的方案可以优化片上系统中的卷积运算并且提升运算性能。上系统中的卷积运算并且提升运算性能。上系统中的卷积运算并且提升运算性能。

【技术实现步骤摘要】
一种对神经网络模型进行优化的方法及相关产品


[0001]本公开一般地涉及人工智能
更具体地，本公开涉及一种用于对运行于片上系统的神经网络模型进行优化的方法、片上系统、集成电路装置、板卡、用于对运行于片上系统的神经网络模型进行优化的设备以及计算机可读存储介质。

技术介绍

[0002]神经网络模型的卷积运算可以涉及对输入特征图和卷积核做矩阵内积，其中卷积核在输入特征图内每次向右或向下滑动的步数可以视为卷积核的滑动步长(简称步长stride)。在算法原理上，步长等于1、卷积核大小为1
×
1的卷积运算与矩阵乘运算等价，因此可以用矩阵乘运算来替代卷积步长等于1、卷积核大小为1
×
1的卷积运算，从而可以将矩阵乘运算的相应高效性能运用到卷积运算上。
[0003]然而，对于卷积步长大于1、卷积核大小为1
×
1的卷积运算，其运算过程与矩阵乘运算并不等价。因此，无法直接用矩阵乘运算来替代于卷积步长大于1、卷积核大小为1
×
1的卷积运算，由此也就无法获得矩阵乘运算所带来的相应高效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于对运行于片上系统的神经网络模型进行优化的方法，其中所述神经网络模型使用尺寸为1
×
1且步长大于1的卷积核来进行运算，所述方法包括：获取输入数据中待与所述卷积核进行卷积运算的有效数据；将所述有效数据在片上系统进行连续存储，以便将所述卷积运算转换成矩阵乘运算；以及在所述片上系统执行所述有效数据与所述卷积核之间的所述矩阵乘运算，以获得输出数据。2.根据权利要求1所述的方法，其中获取输入数据中待与所述卷积核进行卷积运算的有效数据包括：根据所述输入数据的位置索引、作为运算结果的输出数据的位置索引和所述卷积核的步长尺寸来确定所述输入数据中的有效数据和无效数据，其中所述无效数据是所述输入数据中未参与所述卷积运算的数据。3.根据权利要求2所述的方法，其中所述输入数据和输出数据均为四维张量数据，其中所述位置索引包括输入数据和输出数据在行列维度上的序号，并且所述卷积核的步长尺寸包括步长的高度值和宽度值。4.根据权利要求1所述的方法，其中所述输入数据是至少包括输入通道维度的张量数据，其中将所述输入数据中的有效数据在片上系统进行连续存储包括：根据所述输入通道维度的大小与阈值的比较来选择以不同的方式将所述有效数据在片上系统进行连续存储。5.根据权利要求4所述的方法，其中所述输入通道维度的大小大于所述阈值，并且其中将所述输入数据中的有效数据在片上系统进行连续存储包括：从存储所述输入数据的片外系统中选择性地仅读取所述有效数据；以及将读取到的所述有效数据连续地存储于片上系统，以用于所述矩阵乘运算。6.根据权利要求4所述的方法，其中所述输入通道维度的大小小于或等于所述阈值，并且其中将所述有效数据在片上系统进行连续存储包括：从片外系统读取与所述有效数据关联的部分输入数据至所述片上系统；以及在所述片上系统对所述部分输入数据执行数据移动操作，以便去除所述部分输入数据中的所述无效数据并且令所述有效数据连续存储。7.根据权利要求4所述的方法，其中所述阈值是根据以下中的一项或多项来确定的：所述卷积核的步长的尺寸；所述输入通道维度的大小；以及所述输入数据的数据位宽。8.根据权利要求1
‑
7的任意一项所述的方法，其中所述神经网络模型的运算包括前向传播和/或反向...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：安徽寒武纪信息科技有限公司，
类型：发明
国别省市：