神经网络电路装置、神经网络、神经网络处理方法和神经网络的执行程序制造方法及图纸

本发明专利技术提供一种不需要偏置的神经网络电路装置、神经网络、神经网络处理方法和神经网络的执行程序。二值化神经网络电路(100)具有：输入输入值x1～xn(xi)(二值)的输入节点和输入权重w1～wn(wi)(二值)的输入部(101)；XNOR门电路(102)，其接收输入值x1～xn和权重w1～wn，且进行XNOR逻辑运算；求和电路(103)，其求出各XNOR逻辑值的总和；批归一化电路(41)，其通过扩大归一化范围且使中心位移的处理来修正由二值化导致的分布不平衡；和激活函数电路(35)，其使用激活函数fsgn(B)对信号B进行转换，其中所述信号B是对求出总和之后的信号Y进行批归一化得到的信号。

Neural network circuit device, neural network, neural network processing method and neural network execution program

【技术实现步骤摘要】
【国外来华专利技术】神经网络电路装置、神经网络、神经网络处理方法和神经网络的执行程序
本专利技术涉及一种神经网络电路装置、神经网络、神经网络处理方法和神经网络的执行程序(neuralnetworkcircuitdevice,neuralnetwork,neuralnetworkprocessingmethod,andprogramforimplementingneuralnetwork)。
技术介绍
有传统的前馈神经网络(FFNN：FeedforwardNeuralNetwork)、RBF(RadialBasisFunction：径向基函数)网络、归一化的RBF网络和自组织映射(SOM:Self-OrganizingMap)等。RBFN(RBF网络)使用径向基函数作为在误差反向传播算法(errorbackpropagationalgorithm)中使用的激活函数(activationfunction)。但是，有不能获取较多中间层而难以进行高精度识别判定，或者HW规模大而处理时间长等问题，使得应用领域被限定于手写文字识别等。近年来，作为在用于ADAS本文档来自技高网...

【技术保护点】
1.一种神经网络电路装置，是至少包括输入层、输出层和1层以上的中间层的神经网络的电路装置，/n其特征在于，/n具有逻辑电路部、求和电路部、批归一化电路部和激活函数电路部，其中，/n所述逻辑电路部在所述中间层中接收二值的输入值xi和权重wi，且进行逻辑运算；/n所述求和电路部求出所述逻辑电路部的输出的总和；/n所述批归一化电路部通过扩大归一化范围且使中心位移的处理来修正由二值化导致的分布不平衡；/n所述激活函数电路部用激活函数fsgn(B)对信号B进行转换，其中所述信号B是对求出总和后的信号Y进行批归一化得到的信号，/n求出所述总和之后的信号Y由下述式表示：/n【公式6】/n

【技术特征摘要】
【国外来华专利技术】20170920 JP 2017-1804571.一种神经网络电路装置，是至少包括输入层、输出层和1层以上的中间层的神经网络的电路装置，
其特征在于，
具有逻辑电路部、求和电路部、批归一化电路部和激活函数电路部，其中，
所述逻辑电路部在所述中间层中接收二值的输入值xi和权重wi，且进行逻辑运算；
所述求和电路部求出所述逻辑电路部的输出的总和；
所述批归一化电路部通过扩大归一化范围且使中心位移的处理来修正由二值化导致的分布不平衡；
所述激活函数电路部用激活函数fsgn(B)对信号B进行转换，其中所述信号B是对求出总和后的信号Y进行批归一化得到的信号，
求出所述总和之后的信号Y由下述式表示：
【公式6】



其中，
γ为缩放系数；
β为位移值；
μ’B为除去偏置的平均值；当设输入值x0时的偏置值为w0，且设小批量的平均值为μB时，μ’B为w0-μB；
σ2B为小批量的方差值；
ε为常数。


2.根据权利要求1所述的神经网络电路装置，其特征在于，
求出所述总和之后的信号Y由下述式(4)表示的情况：
【公式4】



其中，
μB为小批量的平均值
输入值x0＝1，根据此时的偏置值w0，将所述式(4)变形为下述式(5)：
【公式5】



并且，将从所述偏置值w0中减去所述小批量的平均值μB得到的值替换为所述μ’B，使下述式(6)
【公式6】



成立。


3.根据权利要求1所述的神经网络电路装置，其特征在于，
具有偏置值输入部，该偏置值输入部用于输入偏置值，
所述求和电路部求出所述逻辑电路部的输出和所述偏置值的总和。


4.根据权利要求3所述的神经网络电路装置，其特征在于，
具有存储部，该存储部用于存储所述偏置值，
所述偏置值输入部读出存储于所述存储部中的所述偏置值且将其输出给所述求和电路部，并且在不使用所述偏置值时向所述求和电路部写入0，据此执行下述式(6)的电路
【公式6】





5.根据权利要求3所述的神经网络电路装置，其特征在于，
具有开关，该...

【专利技术属性】
技术研发人员：中原启贵，
申请(专利权)人：国立大学法人东京工业大学，
类型：发明
国别省市：日本;JP