脉冲卷积神经网络算法、集成电路、运算装置及存储介质制造方法及图纸

一种脉冲卷积神经网络算法以及相关的集成电路、运算装置和存储介质，用于以高效低能耗的方式进行人工智能中的脉冲卷积神经网络运算。所述算法的特征在于，基于存算一体单元，所述存算一体单元包括至少一个存输入端，至少一个算输入端以及一个输出端，其特征在于将脉冲卷积神经网络的第一层的权值复制至若干份，份数至少为用于表征待分析物属性的量所转换成的二进制数的位数以及所述存算一体单元的存输入端的最小值，并且将复制后的所述份数的权值进行处理，使复制后的各个权值在数值上依次缩小两倍，所得数值被分别输入到多个所述存算一体单元的存输入端，所述存算一体单元的个数与所述份数相同。数与所述份数相同。数与所述份数相同。

【技术实现步骤摘要】
脉冲卷积神经网络算法、集成电路、运算装置及存储介质


[0001]本专利技术涉及一种脉冲卷积神经网络脉冲卷积神经网络算法、集成电路、运算装置及存储介质，可以将传统的卷积神经网络转换成脉冲神经网络，具体涉及图像分类领域。

技术介绍

[0002]传统的计算机大多采取冯诺依曼架构，然而，因为冯诺依曼架构存储单元和运算单元的分立，导致了在数据传输上产生了极大的能量消耗，并且影响运算速度。目前卷积神经网络在图像分类领域具有非常好的效果，拥有大量成熟的训练方法和工具，还有经过大量验证的经典卷积神经网络模型，如lenet-5、alexnet、vgg-16等。如果在采用冯诺依曼架构的硬件上运行，比如CPU、GPU、FPGA，则需要大量的数据传输过程，对于规模很大的矩阵，计算速度比数据传输的速度要快得多，优化计算速度不能够加快整个系统的速度。
[0003]存算一体单元由于能够将数据直接保存在计算单元上且不需要片上缓存，从而解决了上述问题，但是卷积神经网络运算中依然存在大量的中间数据需要缓存，且在存算一体单元上实现时，需要使用大量模数转换器将电流转换为数字信号，占用了整个系统大部分的面积和功耗。另外由于模数转换器的频率有限，所以整个系统的计算速度也受到其限制，无法再进行提升。

技术实现思路

[0004]脉冲神经网络试图尽可能模拟人脑的计算方式，明显的特征就是数据都是以脉冲信号的形式在网络里流动，在用硬件实现时，功耗远小于卷积神经网络。
[0005]脉冲卷积神经网络结合了卷积神经网络和脉冲神经网络的特点，将卷积神经网络模型进行一些修改后，使得可以用训练卷积神经网络的方法得到权值，并且分类准确率相对于所采用的卷积神经网络，下降幅度很小。由于网络中的数据都是脉冲形式，所以硬件资源消耗小。目前该领域的研究还仅停留在算法层面，没有相关的硬件实现方案。
[0006]现有的脉冲卷积神经网络算法中，一种输入方式是，输入脉冲通过随机数生成的方式产生，根据大数定律，需要很长时间生成大量脉冲后，才可能收敛到原始值，贴近卷积神经网络的分类结果，而这样就需要大量的计算时间，计算效率很低。另一种输入方式是，输入并不是脉冲，而是模拟值，在电路实现时，一方面输入的精度得不到保证，另一方面考虑到实际应用，输入源很可能是图像传感器，输出均为数字信号，需要考虑到兼容性。
[0007]批标准化(Batch Normalization，BN)层是卷积神经网络中的一种对网络进行优化的常用层，可以提高训练的准确率，减少训练结果对初始化方法的依赖。通过数学推导，如果要在脉冲卷积神经网络算法中添加BN层，经过卷积层/全连接层与BN层的合并后，卷积层/全连接层中一定会不可避免地产生偏置。而现有的脉冲卷积神经网络算法中，都避免了偏置的使用，这样就无法添加BN层，对大规模的卷积神经网络的训练工作带来了困扰。
[0008]此外，现有的脉冲卷积神经网络算法中，都没有考虑过结束的问题，然而在实际仿真和电路中，计算时长也是很重要的考量因素，针对这一点也值得改进。
[0009]鉴于以上，根据本专利技术的一方面，提出了一种脉冲卷积神经网络算法，通过改变输入方式、将平均池化层并入下一个卷积层或全连接层、支持带偏置的卷积层和全连接层的计算、支持在网络中添加BN层、设定计算结束判定条件、加入对特殊情况的辅助判断等优化改进方法，可以大大节约现有脉冲卷积神经网络算法的计算时间，并提高图像分类的准确率，增加脉冲卷积神经网络算法对偏置和BN层的功能支持，并调整输入方式增加兼容性。
[0010]根据本专利技术的另一方面，提出了一种脉冲卷积神经网络运算装置，在存算一体单元上实现脉冲卷积神经网络时，通过将代表卷积神经网络中真实值的多位数字信号转换成时间序列脉冲信号的形式，用电流积分比较电路代替模数转换器，从而大大减小了面积和功耗。而且卷积层和全连接层的映射方式是完全展开，即每一层的所有输出结果同时计算完成，并与作为下一层的输入连接到下一层，且每一层卷积层/全连接层的权值系数均保存在存算一体单元中，从而运算过程中没有数据需要缓存，整个系统的计算速度显著加快。
[0011]但是对于大规模的脉冲卷积神经网络，所需的存算一体单元与输入图像尺寸的平方和卷积层通道数成正比，需要占用大量面积。并且这个方案的计算速度非常快，在图像很大的情况下，远远超过了输入图像数据的传输速度，也就是说，会因为数据传输速度跟不上而导致计算速度受限。
[0012]鉴于以上，根据本专利技术的又一方面，提出了一种带有存储器的脉冲卷积神经网络运算装置，通过将脉冲信号按照固定时长进行打包并加入片上或者片外的存储器保存中间数据，大大缩减了所需的存算一体单元数目，从而减小面积和功耗。虽然这样的方法会使得理论上的计算速度比起不用保存中间数据的方案下降很多，但是实际上因为数据传输速度的瓶颈限制，最终的速度也在可以接受的范围内。
[0013]根据本专利技术的一个方面，提供一种脉冲卷积神经网络算法，基于存算一体单元，所述存算一体单元包括至少一个存输入端，至少一个算输入端以及一个输出端，其特征在于：1)将脉冲卷积神经网络的第一层的权值复制至若干份，份数至少为用于表征待分析物属性的量所转换成的二进制数的位数以及所述存算一体单元的存输入端的最小值，并且将复制后的所述份数的权值进行处理，使复制后的各个权值在数值上依次缩小两倍，所得数值被分别输入到多个所述存算一体单元的存输入端，所述存算一体单元的个数与所述份数相同；2)将所选的、集中用于表征待分析物属性的量转换成二进制数，并将待输入的所述二进制数的每一位数值，或者根据系统位宽截位后的数值作为输入脉冲，输入到所述脉冲卷积神经网络的存算一体计算单元中；并且，对于每个表征待分析物属性的输入集合，在对应于所述输入集合的时间周期内，使所述输入脉冲保持不变并不间断地输入到所述脉冲卷积神经网络中相应的计算单元，直到完成对该被分析物的所述属性的处理；3)对于用于表征待分析物属性的、对应于所述一个组中的每个基本的二进制数，使所述每个存输入端的输入量，分别与一个算输入端的输入量相对应，并且绝对值较大的存输入端的输入量与较高位的算输入端的输入量一一对应；4)在每个所述存算一体单元中，使所述存输入端的量与所述算输入端的量进行运算，输出端得到的电流值代表所述存算一体单元的存输入端的值与算输入端的值进行乘法运算的结果。
[0014]此外，根据本专利技术的一个实施例，所述脉冲卷积神经网络算法，其特征还在于：1)包括所述第一层的运算以及其它层的运算，并且在其中的任意层，在所述存输入端与所述算输入端的运算以外，再加一个运算累加项，所述运算累加项为一个经过修正的偏置值，所
述经过修正的偏置值正比于其原始值再除以该层之前所有层的正阈值的累乘，所述正比的比例与该偏置所在的层以及之前的层的权值缩放比例有关；2)所述脉冲卷积神经网络算法，对所述存算一体单元的输出持续地进行累加，当所述累加和超过一个设定的正阈值后，对所述累加和进行清零，并且向下一层相应位置的算输入端释放一个输出脉冲；并且当所述累加和小于一个设定的负阈值之后，使该本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脉冲卷积神经网络算法，基于存算一体单元，所述存算一体单元包括至少一个存输入端，至少一个算输入端以及一个输出端，其特征在于：1)将脉冲卷积神经网络的第一层的权值复制至若干份，份数至少为用于表征待分析物属性的量所转换成的二进制数的位数以及所述存算一体单元的存输入端的最小值，并且将复制后的所述份数的权值进行处理，使复制后的各个权值在数值上依次缩小两倍，所得数值被分别输入到多个所述存算一体单元的存输入端，所述存算一体单元的个数与所述份数相同；2)将所选的、集中用于表征待分析物属性的量转换成二进制数，并将待输入的所述二进制数的每一位数值，或者根据系统位宽截位后的数值作为输入脉冲，输入到所述脉冲卷积神经网络的存算一体计算单元中；并且，对于每个表征待分析物属性的输入集合，在对应于所述输入集合的时间周期内，使所述输入脉冲保持不变并不间断地输入到所述脉冲卷积神经网络中相应的计算单元，直到完成对该被分析物的所述属性的处理；3)对于用于表征待分析物属性的、对应于所述一个组中的每个基本的二进制数，使所述每个存输入端的输入量，分别与一个算输入端的输入量相对应，并且绝对值较大的存输入端的输入量与较高位的算输入端的输入量一一对应；4)在每个所述存算一体单元中，使所述存输入端的量与所述算输入端的量进行运算，输出端得到的电流值代表所述存算一体单元的存输入端的值与算输入端的值进行乘法运算的结果。2.如权利要求1所述的脉冲卷积神经网络算法，其特征在于：1)包括所述第一层的运算以及其它层的运算，并且在其中的任意层，在所述存输入端与所述算输入端的运算以外，再加一个运算累加项，所述运算累加项为一个经过修正的偏置值，所述经过修正的偏置值正比于其原始值再除以该层之前所有层的正阈值的累乘，所述正比的比例与该偏置所在的层以及之前的层的权值缩放比例有关；2)所述脉冲卷积神经网络算法，对所述存算一体单元的输出持续地进行累加，当所述累加和超过一个设定的正阈值后，对所述累加和进行清零，并且向下一层相应位置的算输入端释放一个输出脉冲；并且当所述累加和小于一个设定的负阈值之后，使该累加和保持在该负阈值上。3.如权利要求2所述的脉冲卷积神经网络算法，其特征在于，所述脉冲卷积神经网络中包括批标准化层，对该批标准化层之前的一个卷积层或全连接层中的权值和偏置进行线性变换，其中所述线性变换中的参数由前面的训练过程中得到。4.如权利要求1至3中任一项所述的脉冲卷积神经网络算法，其特征在于，用多个计数器对所述脉冲卷积神经网络最后一个全连接层中每个神经元的脉冲个数以及最早出现脉冲的时间进行统计，所述计数器个数为所述神经元的数目或其两倍。5.如权利要求4所述的脉冲卷积神经网络算法，其特征在于，如果所述多个计数器中至少两个计数器计数结果均为相同的最大值，则选取最早接收到脉冲的计数器所对应的类别值为最终结果。6.如权利要求4所述的脉冲卷积神经网络算法，其特征在于，计数器显著地多，则输出终止运算，将最终的分类结果作为所述多个计数器计数结果的最大值所对应的类别值进行输出。
7.如权利要求1所述的脉冲卷积神经网络算法，其特征在于，在所述第一层的运算之后，还进行平均池化、最大池化、卷积层和全连接层运算中的至少一种。8.如权利要求1至3，及7中任一项所述的脉冲卷积神经网络算法，其特征在于：1)设定若干个时钟信号的时长为一个分析周期；2)将待分析的标的物分为若干分区；3)以所述分析周期为时间单位，逐次分析一个分区的时间序列信号，将代表该分区的运算结果送至一个存储器；4)分析下一个分区的信号，将所述代表该分区的运算结果送至所述存储器，直到所完成的多个分区的信号联合地满足下一层的分析条件；5)将所述存储器存储的各个所述分区的信号送入下一层进行运算。9.如权利要求8所述的脉冲卷积神经网络算法，其特征在于，所述存储器为寄存器、片上缓存、片外存储或者云存储中的至少一种，或者它们的组合。10.一种基于脉冲卷积神经网络的集成电路，其特征在于，所述集成电路执行如权利要求1-3，及7中任一项所述的脉冲卷积神经网络算法。11.一种基于脉冲卷积神经网络的集成电路，其特征在于，所述集成电路执行如权利要求8所述的脉冲卷积神经网络算法。12.一种计算机可读记录介质，其上存储计算机可读指令，当所述计算机可读指令由计算机执行时，使得所述计算机执行脉冲卷积神经网络算法，所述脉冲卷积神经网络算法的特征在于：1)将脉冲卷积神经网络的第一层的权值复制至若干份，份数至少为用于表征待分析物属性的量所转换成的二进制数的位数以及所述存算一体单元的存输入端的最小值，并且将复制后的所述份数的权值进行处理，使复制后的各个权值在数值上依次缩小两倍，所得数值被分别输入到多个所述存算一体单元的存输入端，所述存算一体单元的个数与所述份数相同；2)将所选的、集中用于表征待分析物属性的量转换成二进制数，并将待输入的所述二进制数的每一位数值，或者根据系统位宽截位后的数值作为输入脉冲，输入到所述脉冲卷积神经网络的存算一体计算单元中；并且，对于每个表征待分析物属性的输入集合，在对应于所述输入集合的时间周期内，使所述输入脉冲保持不变并不间断地输入到所述脉冲卷积神经网络中相应的计算单元，直到完成对该被分析物的所述属性的处理；3)对于用于表征待分析物属性的、对应于所述一个组中的每个基本的二进制数，使所述每个存输入端的输入量，分别与一个算输入端的输入量相对应，并且绝对值较大的存输入端的输入量与较高位的算输入端的输入量一一对应；4)在每个所述存算一体单元中，使所述存输入端的量与所述算输入端的量进行运算，输出端得到的电流值代表所述存算一体单元的存输入端的值与算输入端的值进行乘法运算的结果。13.如权利要求12所述的计算机可读记录介质，其特征在于：1)所述脉冲卷积神经网络算法包括所述第一层的运算以及其它层的运算，并且在其中的任意层，在所述存输入端与所述算输入端的运算以外，再加一个运算累加项，所述运算累加项为一个经过修正的偏置值，所述经过修正的偏置值正比于其原始值再除以该层之前所
有层的正阈值的累乘，所述正比的比例与该偏置所在的层以及之前的层的权值缩放比例有关；2)所述脉冲卷积神经网络算法，对所述存算一体单元的输出持续地进行累加，当所述累加和超过一个设定的正阈值后，对所述累加和进行清零，并且向下一层相应位置的算输入端释放一个输出脉冲；并且当所述累加和小于一个设定的负阈值之后，使该累加和保持在该负阈值上。14.如权利要求12所述的计算机可读记录介质，其特征在于，所述脉冲卷积神经网络中包括批标准化层，对该批标准化层之前的一个卷积层或全连接层中的权值和偏置进行线性变换，其中所述线性变换中的参数由前面的训练...

【专利技术属性】
技术研发人员：王瑶，陈轩，李张南，王宇宣，
申请(专利权)人：南京惟心光电系统有限公司，
类型：发明
国别省市：