一种卷积神经网络的卷积处理方法、装置及存储介质制造方法及图纸

本发明专利技术实施例公开了一种卷积神经网络的卷积处理方法、装置及存储介质，其中，所述方法包括：对所述卷积神经网络中子卷积核中的权重值进行分类；根据每一所述权重值的分类结果，为对应的权重值生成用于存储对数据进行相应操作的指示符和用于表征权重值的地址；根据所述权重值的地址获取对应的待处理数据；根据所述指示符对所述待处理数据进行卷积操作，得到卷积结果。

Convolution processing method, device and storage medium of convolution neural network

【技术实现步骤摘要】
一种卷积神经网络的卷积处理方法、装置及存储介质
本专利技术实施例涉及神经网络深度学习技术，尤其涉及但不限于一种卷积神经网络的卷积处理方法、装置及存储介质。
技术介绍
目前，人工智能技术在在全世界范围内得到了迅猛的发展，业界投入了大量的精力开展人工智能技术的研究工作，取得了显著的成果，特别是在图像检测和识别以及语言识别等方向上，人工智能的识别率已经超过了人类。而与此同时，神经网络的规模不断增长，典型的神经网络动辄几十层甚至上百层，神经元之间的连接数以亿计，即随着算法的性能指标不断提升，计算量也不断的增加，完成推理需要的时间也需来越长。但实际应用中，在如此高的运算量中，并不是所有的计算都是有效计算，对于算法经过定点化或是稀疏化，即通过训练对算法进行压缩、减枝或是聚类等，出现的权重为零的点，实际运行中是不需要计算的。
技术实现思路
本专利技术实施例提供一种卷积神经网络的卷积处理方法、装置及存储介质。本专利技术实施例的技术方案是这样实现的：第一方面，本专利技术实施例提供了一种卷积神经网络的卷积处理方法，所述方法包括：对所述卷积神经网络中子卷积核中的权重值进行分类；根据每一所述权重值的分类结果，为对应的权重值生成用于存储对数据进行相应操作的指示符和用于表征权重值的地址；根据所述权重值的地址获取对应的待处理数据；根据所述指示符对所述待处理数据进行卷积操作，得到卷积结果。第二方面，本专利技术实施例提供了一种卷积神经网络的卷积处理装置，所述装置包括：分类单元，配置为对所述卷积神经网络中子卷积核中的权重值进行分类；生成单元，配置为根据每一所述权重值的分类结果，为对应的权重值生成用于存储对数据进行相应操作的指示符和用于表征权重值的地址；获取单元，配置为根据所述权重值的地址获取对应的待处理数据；卷积处理单元，配置为根据所述指示符对所述待处理数据进行卷积操作，得到卷积结果。第三方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令配置为执行上述权利要求实施例提供的卷积神经网络的卷积处理装置的装置。本专利技术实施例提供了一种卷积神经网络的卷积处理方法、装置及存储介质，所述方法包括：对所述卷积神经网络中子卷积核中的权重值进行分类；根据每一所述权重值的分类结果，为对应的权重值生成用于存储对数据进行相应操作的指示符和用于表征权重值的地址；根据所述权重值的地址获取对应的待处理数据；根据所述指示符对所述待处理数据进行卷积操作，得到卷积结果。这样，通过权重转换和新处理单元的结合，能够充分发挥权重的稀疏特性。附图说明图1为本专利技术实施例一提供的卷积神经网络的卷积处理方法流程示意图；图2A为本专利技术实施例二提供的卷积神经网络的卷积处理方法流程示意图；图2B为本专利技术实施例二提供的另一卷积神经网络的卷积处理方法流程示意图；图2C为本专利技术实施例二提供的另一卷积神经网络的卷积处理方法流程示意图；图3为本专利技术实施例三提供的卷积神经网络的卷积处理方法流程示意图；图4为本专利技术实施例三提供的权重分类重排的流程示意图；图5为本专利技术实施例三提供的将原始卷积核切割为子卷积核的结构示意图；图6为本专利技术实施例三提供的生成的指示符表和映射表的示意图；图7为本专利技术实施例三提供的权重重排后的权重表项结构示意图；图8为本专利技术实施例三提供的方式二权重重排后的权重表项结构示意图；图9为本专利技术实施例三提供的方式三权重重排后的权重表项结构示意图；图10为本专利技术实施例三提供的方式四权重重排后的权重表项结构示意图；图11为本专利技术实施例三提供的卷积神经网络的卷积处理结构示意图；图12为本专利技术实施例三提供的另一卷积神经网络的卷积处理结构示意图；图13为本专利技术实施例三提供的另一卷积神经网络的卷积处理结构示意图；图14为本专利技术实施例四提供的卷积神经网络的卷积处理装置的组成结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对专利技术的具体技术方案做进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。本专利技术实施例中，通过提供一种新的处理单元结构，相对于传统处理单元的乘加结构，将处理单元拆分为分类累加单元和分类乘法单元，扩展性更好，可以支持计算提前中止功能，时钟门控功能，以及零数据停止计算等功能；通过权重转换，可以根据神经网络结构的特性，选择适合的转换策略；通过权重转换和新处理单元的结合，能够充分发挥权重的稀疏特性。通过本专利技术实施例，神经网络的硬件加速器和处理器能够利用权重的稀疏特性减少计算量，降低处理时间，提高效能。实施例一本专利技术实施例提供一种卷积神经网络的卷积处理方法，图1为本专利技术实施例一提供的卷积神经网络的卷积处理方法流程示意图，如图1所示，该方法包括：步骤S101，对卷积神经网络中子卷积核中的权重值进行分类。这里，将卷积神经网络中的子卷积核根据预设策略进行分类，并根据分类结果将权重值进行重排，对重排后的权重值进行相应的转换。在其他的实施例中，所述对所述卷积神经网络中子卷积核中的权重值进行分类，包括：将所述子卷积核中的相同权重值分为一类；或者，将绝对值相同的权重值分为一类；或者，将为2的幂次方倍数的权重值分为一类；或者，将正权重值和负权重值分别作为一类。这里，以将所述子卷积核中的相同权重值分为一类为例，在本专利技术实施例中，可以仅将子卷积核中相同的权重值分为一类，只将相同的权重值排在一起。假设子卷积核的列宽、行宽和信道数分别为R、S、C，一共有256类权重值，根据相关技术中的技术方案，需要进行R*S*C次乘加操作，但通过本专利技术实施例，最多只需要R*S*C+256次加法操作和256次乘法操作。在其他的实施例中，也可以通过将正负绝对值相同的权值合并，或者通过将2的冥次方倍数权重合并等合并方式，把权重类型降到64种或是更少，或者将正数权重和负数权重分开合并，正数权重类型排在前面，负数则排在后面，重排后的指示符表和映射表存储在全局缓存中。步骤S102，根据每一权重值的分类结果，为对应的权重值生成用于存储对数据进行相应操作的指示符和用于表征权重值的地址。这里，根据权重值的分类重排结果，可以将权重值转换为相应的指示符表和映射表，指示符表用于存储对数据进行相应操作的指示符；映射表用于表征权重值的地址。本专利技术实施例中，指示符表示用于存储所有类别的权重值对应的相应操作的指示符，每一个指示符对应一类权重值，每一个指示符对应的映射表中存储有这一类权重值中所有的权重值对应的地址，其中，指示符对应的操作包括：权重值，结束地址，移位值，加减类型，扩展信息和分类指示；映射表包括权重值的地址，即表征权重值对应的行编号、列编号和信道数编号的参数。步骤S103，根据权重值的地址获取对应的待本文档来自技高网...

【技术保护点】
1.一种卷积神经网络的卷积处理方法，其特征在于，所述方法包括：/n对所述卷积神经网络中子卷积核中的权重值进行分类；/n根据每一所述权重值的分类结果，为对应的权重值生成用于存储对数据进行相应操作的指示符和用于表征权重值的地址；/n根据所述权重值的地址获取对应的待处理数据；/n根据所述指示符对所述待处理数据进行卷积操作，得到卷积结果。/n

【技术特征摘要】
1.一种卷积神经网络的卷积处理方法，其特征在于，所述方法包括：
对所述卷积神经网络中子卷积核中的权重值进行分类；
根据每一所述权重值的分类结果，为对应的权重值生成用于存储对数据进行相应操作的指示符和用于表征权重值的地址；
根据所述权重值的地址获取对应的待处理数据；
根据所述指示符对所述待处理数据进行卷积操作，得到卷积结果。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述卷积神经网络中的原始卷积核进行切割，得到至少两个子卷积核；
对每一所述子卷积核中的原始权重值进行定点化处理，得到所述子卷积核中的权重值。


3.根据权利要求1或2所述的方法，其特征在于，所述根据所述权重值的地址获取对应的待处理数据，包括：
从输入的原始待处理数据集合中确定与所述子卷积核的列宽、行宽和信道数均相同的待处理数据集合；
建立所述待处理数据集合中每一待处理数据的地址与所述子卷积核中相应的权重值的地址之间的对应关系；
根据所述对应关系获取所述待处理数据集合中相应地址的待处理数据。


4.根据权利要求3所述的方法，其特征在于，所述根据所述指示符对所述待处理数据进行卷积操作，得到卷积结果，包括：
根据所述指示符获取每一类权重值中所有权重值对应的所有待处理数据的累加和；
将所述累加和与对应的权重值相乘，得到部分和；
将所有类别的权重值对应的所有的部分和相加，得到卷积结果。


5.根据权利要求4所述的方法，其特征在于，所述根据所述指示符获取每一类权重值中所有权重值对应的所有待处理数据的累加和，包括：
根据所述指示符对每一类权重值中所有权重值对应的所有待处理数据进...

【专利技术属性】
技术研发人员：闫盛男，王帆，余金清，朱剑平，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44