一种数模混合神经元电路制造技术

本发明专利技术涉及神经网络领域，尤其涉及一种数模混合神经元电路，旨在解决现有技术中数据存取时耗费大量的时间和能量的问题。本发明专利技术包括：输入层电路、多个卷积层电路及输出层电路，输入层电路包括：数据存储器、D/A转换电路及权重存储器；数据存储器，用于存储多比特位的激活值；D/A转换电路，用于将数字量的激活值转换为模拟量；权重存储器，用于存储与激活值一一对应的二值权重值；多个卷积层电路，用于基于模拟量的激活值和与其对应的二值权重值进行多次卷积操作，得到模拟电压值；输出层电路，用于输出模拟电压值的数字量。本发明专利技术通过在卷积操作前将数据值转换为模拟量，则激活值以模拟量参与卷积运算，从而解决数据存取时的延时与能量消耗的问题。

A mixed digital analog neuron circuit

【技术实现步骤摘要】
一种数模混合神经元电路
本专利技术涉及神经网络领域，尤其涉及一种数模混合神经元电路。
技术介绍
卷积神经网络中最大的操作是乘加(MAC)操作，在一个卷积神经网络中有数百万甚至数亿的MAC操作，需要消耗大量的能量。为了降低功耗，可采用神经网络量化算法。然而，将权重进行1bit量化，激活值进行定点量化(如4bit、8bit、16bit等)时，由于激活值为数字量，卷积中加法运算需要使用大量的电容，而且数据的存取操作需要耗费大量的时间和能量。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术的不足，提供一种数模混合神经元电路，当权重1bit量化，激活值8bit、16bit或更高精度mbit量化时，在卷积操作前将数据值转换为模拟量，则在卷积神经网络的多个卷积层中，激活值一直以模拟量参与运算，这将大大减少神经元电路的电容个数，降低神经元电路的复杂度，解决内存与计算单元之间数据搬运而造成的计算延时与能量消耗的问题。本专利技术解决上述技术问题的技术方案如下：一种数模混合神经元电路，包括：输入层电路、多个卷积层电路及输出层电路，其中，所述输入层电路包括：数据存储器、D/A转换电路及权重存储器；所述数据存储器，用于存储多比特位的激活值；所述D/A转换电路，用于将数字量的激活值转换为模拟量；所述权重存储器，用于存储与所述激活值一一对应的二值权重值；多个所述卷积层电路，用于基于模拟量的激活值和与其对应的二值权重值进行多次卷积操作，得到模拟电压值；所述输出层电路，用于输出所述模拟电压值的数字量。在一些优先的实施例中，多个所述卷积层电路为M个卷积层电路，其中，第一个卷积层电路，用于对模拟量的激活值和与其对应的二值权重值进行卷积操作，得到第一模拟电压值；第j个卷积层电路，用于对第j-1次卷积操作得到的模拟电压值和与模拟量的激活值对应的二值权重值进行卷积操作，得到相应的第j模拟电压值，直至j＝M时输出所述第M模拟电压值至所述输出层电路，其中，j＝2，3，…M。在一些优先的实施例中，所述输出层电路包括A/D转换电路，用于将得到的所述模拟电压值转换为数字量。在一些优先的实施例中，每个所述卷积层电路包括开关电容神经元电路，所述开关电容神经元电路包括：开关电容阵列、偏置电路和运算放大器，其中，所述开关电容阵列，用于向所述运算放大器提供分压；所述偏置电路，用于修正所述分压；所述运算放大器，基于所述偏置电路修正后的分压对模拟量的激活值进行宽矢量求和，输出模拟电压值。在一些优先的实施例中，所述开关电容阵列包括2*N+1个开关、N+1个容值相同的电容，其中1个电容为终端电容，所述终端电容的一个极板始终接地，另一个极板接运算放大器的正向输入端；所述开关基于获取的二项非重叠时钟信号，控制N+1个电容的连接状态，其中，所述二项非重叠时钟信号为φ1时，所述N+1个电容的两个基板均与参考地相连，电容清零；所述二项非重叠时钟信号为φ2时，基于与模拟量的激活值对应的二值权重值，确定是否将得到的模拟电压作用到除终端电容之外的N个电容的一个极板上，N个电容的另一极板与所述运算放大器正向输入端相连。在一些优先的实施例中，基于与模拟量的激活值对应的二值权重值，确定是否将得到的模拟电压作用到除终端电容之外的N个电容的一个极板上，包括：所述与模拟量的激活值对应的二值权重值为1时，通过所述开关将得到的模拟电压作用到其对应电容的一个极板上；所述与模拟量的激活值对应的二值权重值为0时，其对应电容的一个极板通过所述开关与参考地相连。在一些优先的实施例中，每个所述卷积层电路还包括锁存电路，用于锁定并存储得到的模拟电压值。本专利技术的有益效果是：(1)、在卷积操作前将数据值转换为模拟量，则在卷积神经网络的多个卷积层中，激活值一直以模拟量参与运算，这将大大降低神经元电路的复杂度，解决内存与计算单元之间数据搬运而造成的计算延时与能量消耗的问题。(2)、通过开关电容阵列实现N个神经元的卷积操作仅仅需要N+1个容值为C的电容，这将大大降低神经元电路中的电容个数，减小芯片面积，降低成本。本专利技术附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术实践了解到。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的数模混合神经元电路的结构框架示意图；图2为本专利技术实施例提供的数模混合神经元电路中的开关电容神经元电路示意图；图3为本专利技术实施例提供的数模混合神经元电路中的开关电容神经元电路差分结构示意图；图4为本专利技术实施例提供的数模混合神经元电路中的锁存电路示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本专利技术保护的范围。另外，需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。还应理解，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。本申请的专利技术人在研究过程中发现：当使用开关电容神经元对于1bit的权重和多比特位的激活值进行宽矢量求和操作时，若激活值是4bit，同时实现N个神经元的卷积操作则需要N*15个容值为C的电容；若激活值是8bit，则需要N*255个容值为C的电容。由于激活值为数字量，卷积中加法运算需要使用大量的电容，这将占用大量芯片面积，成本较高。采用开关电容神经元复用技术，可以降低开关电容的个数。但是，数据的存取操作仍然耗费大量的时间和能量。因此，本申请的专利技术人为了解决上述技术问题，提供了一种数模混合神经元电路，包括：输入层电路、多个卷积层电路及输出层电路。其中，输入层电路包括：数据存储器、D/A转换电路及权重存储器。数据存储器，用于存储多比特位的激活值；D/A转换电路，用于将数字量的激活值转换为模拟量；权重存储器，用于存储与激活值一一对应的二值权重值；多个卷积层电路，用于基于模拟量的激活值和与其对应的二值权重值进行多次卷积操作，得到模拟电压值；输出层电路，用于输出模拟电压值的数字量。本专利技术的一个实施例中，多个卷积层电路为M个卷积层电路，其中，第一个卷积层电路，用于对模拟量的激活值和与其对应的二值权重值进行卷积操作，得到第一模拟电压值；第j个卷积层电路，用于对第j-1次卷积操作得到的模拟电压值和与模拟量的激活值对应的二值权重值进行卷积操作，得到相应的第j模拟电压本文档来自技高网...

【技术保护点】
1.一种数模混合神经元电路，其特征在于，包括：输入层电路、多个卷积层电路及输出层电路，其中，所述输入层电路包括：数据存储器、D/A转换电路及权重存储器；/n所述数据存储器，用于存储多比特位的激活值；/n所述D/A转换电路，用于将数字量的激活值转换为模拟量；/n所述权重存储器，用于存储与所述激活值一一对应的二值权重值；/n多个所述卷积层电路，用于基于模拟量的激活值和与其对应的二值权重值进行多次卷积操作，得到模拟电压值；/n所述输出层电路，用于输出所述模拟电压值的数字量。/n

【技术特征摘要】
1.一种数模混合神经元电路，其特征在于，包括：输入层电路、多个卷积层电路及输出层电路，其中，所述输入层电路包括：数据存储器、D/A转换电路及权重存储器；
所述数据存储器，用于存储多比特位的激活值；
所述D/A转换电路，用于将数字量的激活值转换为模拟量；
所述权重存储器，用于存储与所述激活值一一对应的二值权重值；
多个所述卷积层电路，用于基于模拟量的激活值和与其对应的二值权重值进行多次卷积操作，得到模拟电压值；
所述输出层电路，用于输出所述模拟电压值的数字量。


2.根据权利要求1所述的数模混合神经元电路，其特征在于，多个所述卷积层电路为M个卷积层电路，其中，
第一个卷积层电路，用于对模拟量的激活值和与其对应的二值权重值进行卷积操作，得到第一模拟电压值；
第j个卷积层电路，用于对第j-1次卷积操作得到的模拟电压值和与模拟量的激活值对应的二值权重值进行卷积操作，得到相应的第j模拟电压值，直至j＝M时输出第M模拟电压值至所述输出层电路，其中，j＝2，3，…M。


3.根据权利要求1所述的数模混合神经元电路，其特征在于，所述输出层电路包括A/D转换电路，用于将得到的所述模拟电压值转换为数字量。


4.根据权利要求1-3中任一项所述的数模混合神经元电路，其特征在于，每个所述卷积层电路包括开关电容神经元电路，所述开关电容神经元电路包括：开关电容阵列、偏置电路和运算放大器，其中，
所述开关电容阵...

【专利技术属性】
技术研发人员：张峰，李淼，赵婷，马春宇，
申请(专利权)人：天津智模科技有限公司，
类型：发明
国别省市：天津;12