运用于二进制类神经网络系统的乘积累加电路技术方案

技术编号:29872093 阅读:24 留言:0更新日期:2021-08-31 23:46
一种乘积累加电路,接收类神经网路系统中第一层的m个一比特神经元数值。此乘积累加电路包括:m个非易失性存储单元与m个电流源,其中m个非易失性存储单元与m个电流源形成m条电流路径。再者,第一非易失性存储单元与第一电流源形成第一电流路径,第一电流源的第一端接收第一供应电压,第一电流源的第二端连接至第一非易失性存储单元的第一端,第一非易失性存储单元的第二端连接至乘积累加电路的输出端。另外,第一电流源的控制端接收第一一比特神经元数值。

【技术实现步骤摘要】
运用于二进制类神经网络系统的乘积累加电路
本专利技术是有关于一种运用于类神经网络系统的电路,且特别是有关于一种运用于二进制类神经网络系统的乘积累加电路。
技术介绍
近年来,类神经网络系统(neuralnetworksystem)已经广泛的运用在人工智能的用途(AIapplication)以提供智能处理能力,例如图形识别(patternrecognition)、数据分类(dataclassification)和对象检测(objectdetection)。以下先简单介绍具备识别数字能力的类神经网络系统。请参照图1,其所绘示为识别数字的类神经网络系统示意图。利用类神经网络系统100可运用于识别手写板102上所书写的数字,其中手写板102是由784(28×28)个感应点(sensepoint)所建构而成。类神经网络系统100包括输入层(inputlayer)110、隐藏层(hiddenlayer)120与输出层(outputlayer)130。基本上,手写板102上的每个感应点会对应到输入层110的一个输入神经元(inputneuron),因此输入层110共有784(28×28)个输入神经元I0~I783,并可视为输入层110的大小(size)为784。由于类神经网络系统100需要识别0~9的十个数字,因此输出层130共有10个输出神经元(outputneuron)O0~O9,并可视为输出层130的大小(size)为10。再者,类神经网络系统100的隐藏层120被设计为具有30个神经元H0~H29,亦即隐藏层130的大小(size)为30。因此,类神经网络系统100的尺寸为784-30-10。每个神经元之间的连线都代表一个神经元连接权重(neuronconnectionweight)。如图1所示,输入层110中的784个输入神经元I0~I783连接至隐藏层120的神经元H0,而对应的784个神经元连接权重为(IH0,0~IH783,0)。同理,输入层110中的784个输入神经元I0~I783对应地连接至隐藏层120的30个神经元H0~H29。因此,输入层110与隐藏层120之间有734×30个神经元连接权重(IH0,0~IH783,0)、(IH0,1~IH783,1)~(IH0,29~IH783,29)。同理,隐藏层120的30个神经元H0~H29对应地连接至输出层130的10个神经元O0~O9。因此,隐藏层120与输出层130之间有30×10个神经元连接权重(HO0,0~HO29,0)~(HO0,9~HO29,9)。其中,类神经网络系统100中所有的神经元连接权重(IH0,0~IH783,0)~(IH0,29~IH783,29)与(HO0,0~HO29,0)~(HO0,9~HO29,9)即组合成为权重群组(weightgroup)。基本上,将前一层(previouslayer)的每个神经元数值乘以对应的神经元连接权重后并加总之后即可获得下一层(nextlayer)的神经元数值。以隐藏层120的神经元数值H0为例,同理,隐藏层120中其他神经元H1~H29也是以相同的方式来计算。再者,输出层130的输出神经元数值O0即为,同理,而输出层130其他神经元O1~O9也是以相同的方式来计算。在实际应用类神经网络系统100之前,需要进行训练阶段(trainingphase),以获得权重群组中所有的神经元连接权重。举例来说,经过多次的迭代训练(iterationsoftraining)并获得所有神经元连接权重后,即可获得一个训练完成的(well-trained)类神经网络系统100。在应用阶段(applicationphase)时,即可在手写板102上写入数字,并由类神经网络系统100来进行识别。如图1所示,在手写板102上写入数字7后,输出层130中的输出神经元O7数值最高,亦即类神经网络系统100识别出数字7。当然,图1的类神经网络系统100仅是一个范例。对于更复杂的类神经网络系统,可以使用多个隐藏层来让类神经网络系统具备更佳的识别能力,而每个隐藏层的尺寸也不限定。由于类神经网络系统中需要不断的进行乘法与加法运算,因此利用计算机系统可以进行上述的运算。举例来说,将所有的神经元连接权重储存于计算机系统的存储器中。接着,利用计算机系统的中央处理单元(CPU)来存取(access)存储器中的神经元连接权重,并进行乘法与加法运算后即可计算出所有神经元数值。然而,当类神经网络系统的尺寸越大时,存储器的容量也必须增加以便用来储存神经元连接权重以及神经元数值。并且,由于中央处理单元必须不断地存取存储器中的数据,使得计算机系统的效能大幅地降低且耗费大量的功耗(powerconsumption)。现今,针对类神经网络系统的特性,已发展出一种乘积累加电路(MultiplyAccumulatecircuit,简称MAC),用来计算神经元数值。请参照图2A至图2C,其所绘示为乘积累加电路器的方块图(blockdiagram)、公知乘积累加电路组(MACgroup)与控制电路示意图。如图2A所示,乘积累加电路200中,每个输入数值X1~Xm乘上对应的权重W1,j~Wm,j后,将结果加总即获得输出数值Yj。亦即,应用到类神经网络系统时,乘积累加电路200中的权重W1,j~Wm,j即为神经元连接权重。将前一层(previouslayer)的多个神经元数值即为输入数值,而乘积累加电路200的输出值Yj即为下一层(nextlayer)的神经元数值。如图2B所示,乘积累加电路组250包括j个乘积累加电路251~25j,此乘积累加电路组250可以进行类神经网络系统中前一层大小(size)m,下一层的大小(size)j的运算。以乘积累加电路251为例来作说明,乘积累加电路251包括m个电导(electricalconductance),其电导值(conductancevalue)分别为G1,1~Gm,1。其中,每个电导皆由可变电阻(variableresistor)所组成。而调整后(tuned)的可变电阻,其电阻值(resistancevalue)的倒数即为电导值。举例来说,调整好的电阻值为5欧姆(ohm,Ω),其电导值为0.2西门子(siemens,S)。再者,根据类神经网络系统中的神经元连接权重来调整对应的电导值G1,1~Gm,1。再者,乘积累加电路251的m个输入端接收m个输入电压V1~Vm,每个电压值V1~Vm分别代表前一层的m个神经元数值,乘积累加电路251的输出端产生一个输出电流I1代表下一层的神经元数值。乘积累加电路251的m个输入端与输出端之间连接对应的电导G1,1~Gm,1。再者,乘积累加电路252~25j也有相同的结构,此处不再赘述。在类神经网络系统的训练阶段(trainingphase)时,可调整每个乘积累加电路251~25j中的所有m×j个电导值G1,1~Gm,j作为m×j个神经元连接权重。...

【技术保护点】
1.一种乘积累加电路,接收类神经网络系统中第一层的m个一比特神经元数值,该乘积累加电路包括:/nm个非易失性存储单元;以及/nm个电流源;/n其中,该m个非易失性存储单元与该m个电流源形成m条电流路径,该m条电流路径连接于第一供应电压与输出端之间;/n其中,该m个非易失性存储单元中的第一非易失性存储单元与该m个电流源中的第一电流源形成第一电流路径,该第一电流源的第一端接收该第一供应电压,该第一电流源的第二端连接至该第一非易失性存储单元的第一端,该第一非易失性存储单元的第二端连接至该输出端,且该第一电流源的控制端接收该第一层的m个一比特神经元数值中的第一一比特神经元数值。/n

【技术特征摘要】
20200212 US 62/975,6711.一种乘积累加电路,接收类神经网络系统中第一层的m个一比特神经元数值,该乘积累加电路包括:
m个非易失性存储单元;以及
m个电流源;
其中,该m个非易失性存储单元与该m个电流源形成m条电流路径,该m条电流路径连接于第一供应电压与输出端之间;
其中,该m个非易失性存储单元中的第一非易失性存储单元与该m个电流源中的第一电流源形成第一电流路径,该第一电流源的第一端接收该第一供应电压,该第一电流源的第二端连接至该第一非易失性存储单元的第一端,该第一非易失性存储单元的第二端连接至该输出端,且该第一电流源的控制端接收该第一层的m个一比特神经元数值中的第一一比特神经元数值。


2.根据权利要求1所述的乘积累加电路,其中该m个非易失性存储单元为多次编程存储单元、单次编程存储单元或者掩膜式只读存储单元,且每一该非易失性存储单元储存一比特神经元连接权重。


3.根据权利要求2所述的乘积累加电路,其中当该第一非易失性存储单元为高电阻值的第一储存状态时,该第一非易失性存储单元储存的该一比特神经元连接权重为第一逻辑数值;以及该第一非易失性存储单元为低电阻值的第二储存状态时,该第一非易失性存储单元储存的该一比特神经元连接权重为第二逻辑数值。


4.根据权利要求3所述的乘积累加电路,其中该第一逻辑数值为逻辑0,且该第二逻辑数值为逻辑1。


5.根据权利要求1所述的乘积累加电路,其中在应用阶段中时,该乘积累加电路根据该第一层的m个一比特...

【专利技术属性】
技术研发人员:张家福锺承亨林庆源
申请(专利权)人:力旺电子股份有限公司
类型:发明
国别省市:中国台湾;71

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1