神经网络装置(20)具备：存储部(24)，其存储神经网络模型；以及运算部(22)，其将输入信息输入到所述神经网络的输入层并将输出层输出。神经网络模型的FC层的权重矩阵(W)由整数的权重基矩阵(Mw)和实数的权重系数矩阵(Cw)的乘积构成。运算部(22)在FC层，将前一层的输出向量作为输入向量(x)，将该输入向量x分解成二值的输入基矩阵(Mx)和实数的输入系数向量(cx)的乘积与输入偏置(bx)，求取输入向量(x)和权重矩阵W的乘积。
【技术实现步骤摘要】
【国外来华专利技术】神经网络装置、车辆控制系统、分解处理装置以及程序本申请要求于2016年7月21日向日本国申请的专利申请号为2016-143705的优先权，并通过引用在此编入该申请的内容。
本技术涉及将输入信息输入到神经网络模型(neuralnetworkmodel)的输入层并从输出层获得输出信息的神经网络装置及程序、具备神经网络装置的车辆控制系统、以及用于构成该神经网络的分解处理装置。
技术介绍
通过利用神经网络来处理输入信息，能够将输入信息分类、根据输入信息检测预定信息。图16是表示将四维输入向量分成三类的(对属于三个类中的哪一类进行识别的)神经网络的例子的图。如图16所示，当需要识别的四维输入向量(也称为输入映射)作为输入层a0被输入时，该输入信息经过中间层a1～a3后作为三维输出层a4输出。在输入层a0与中间层a1之间，定义了权重矩阵(也称为滤波器)W1和偏置向量b1，中间层a1通过下式(1)来求取。在此，f(·)为激活函数，例如可使用以下的函数(ReLU)。以下，同样地，中间层a2、a3通过下式(2)、(3)来求取，输出层a4通过下式(4)来求取。如此，如下所述，在神经网络的各层，设来自前一层的输入向量为x(DI维)、权重矩阵为W(DI行DO列)、偏置为b(DO维)，则向下一层输出的向量(应用于激活函数之前)y(DO维)由下式(5)表示。
技术实现思路
在如上所述的神经网络中，已知当使层数增加(变为深度)时，信息处理的精度会提高。然而，若使层数增加，处理成本也会增大。具体而言是，式(5)的运算中所需的内存(memory)容量会增大，处理时间也会增长。例如在全连接层(FullyConnectedLayer，以下也称为“FC层”。)中，权重矩阵W在单精度实数(32位)的情况下将会消耗32DIDO比特的内存。另外，在各层中需要进行DIDO次单精度实数的积和运算，特别是该计算需要占用处理时间。此外，FC层通常配置在神经网络的最后，但是通过在卷积层(ConvolutionalLayer，以下也称为“CONV层”。)中也用滑动窗口(slidingwindow)适当地对输入映射进行切取、重排，能够将CONV层视为FC层。本技术是鉴于上述问题点做出的，目的在于要在神经网络装置中减小内存消耗量以及运算量。一个技术方案的神经网络装置，具备存储部(24)以及运算部(22)，存储部(24)存储神经网络模型，运算部(22)将输入信息输入到所述神经网络模型的输入层并将输出层输出，所述神经网络模型的至少一层的权重矩阵(W)由权重基(基底)矩阵(Mw)和权重系数矩阵(Cw)的乘积(MwCw)构成，所述权重基矩阵(Mw)为整数矩阵，所述权重系数矩阵(Cw)为实数矩阵。一个技术方案的神经网络装置，是使用神经网络模型进行识别的神经网络装置，具有如下构成：进行逻辑运算作为所述神经网络模型的至少一层的运算。一个技术方案的神经网络装置，是使用神经网络模型进行识别的神经网络装置，具有如下构成：存储有在所述神经网络模型的至少一层的运算中使用的二值或者三值的矩阵。一个技术方案的车辆控制系统，具有如下构成：具备上述的神经网络装置(20)、取得所述输入信息的车载传感器(30)以及基于所述输出来控制车辆的车辆控制装置(40)。一个技术方案的分解处理装置，具有如下构成：具备取得部(11)、权重分解部(12)以及输出部(14)，取得部(11)取得神经网络模型，权重分解部(12)将所述神经网络模型的至少一层的权重矩阵分解成权重基矩阵(Mw)和权重系数矩阵(Cw)的乘积(MwCw)，所述权重基矩阵(Mw)为整数矩阵，所述权重系数矩阵(Cw)为实数矩阵，输出部(14)输出所述权重基矩阵(Mw)和所述权重系数矩阵(Cw)。一个技术方案的程序，是使计算机作为神经网络装置发挥功能的程序，所述神经网络装置将输入信息输入到神经网络模型的输入层并从输出层获得输出信息，所述计算机的存储部(24)中存储有：将所述神经网络模型的至少一个全连接层的权重矩阵(W)进行分解而得到的整数的权重基矩阵(Mw)和实数的权重系数矩阵(Cw)；用于将输入向量(x)分解成整数的输入基矩阵(Mx)和实数的输入系数向量(cx)的乘积与输入偏置(bx)之和的、通过学习而得到的所述输入系数向量(cx)和所述输入偏置(bx)中的所述输入系数向量(cx)；以及基于通过所述学习而得到的所述输入系数向量(cx)和所述输入偏置(bx)所得到的、规定了所述输入向量的各元素的值(xj)和与该值相对的输入基矩阵的值(mx(j))之间的关系的查找表(LUT)，所述程序使所述计算机作为运算部发挥功能，所述运算部在所述神经网络模型的至少一个全连接层中，将前一层的输出向量作为输入向量(x)，使用从所述存储部(24)中读取的所述权重基矩阵(Mw)、所述实数的权重系数矩阵(Cw)及所述输入系数向量(cx)、和参照从所述存储部(24)中读取的所述查找表(LUT)而得到的与所述输入向量(x)对应的所述输入基矩阵(Mx)，求取所述输入向量(x)和所述权重矩阵(W)的乘积。一个技术方案的程序，是使计算机作为神经网络装置发挥功能的程序，所述神经网络装置将输入信息输入到神经网络模型的输入层并从输出层获得输出信息，所述计算机的存储部(24)中存储有：将所述神经网络模型的至少一个全连接层的权重矩阵(W)进行分解而得到的整数的权重基矩阵(Mw)和实数的权重系数矩阵(Cw)；用于将输入向量(x)分解成整数的输入基矩阵(Mx)和实数的输入系数向量(cx)的乘积与输入偏置(bx)之和的、通过学习而得到的所述输入系数向量(cx)和所述输入偏置(bx)中的所述输入系数向量(cx)；以及基于通过所述学习而得到的所述输入系数向量(cx)和所述输入偏置(bx)所得到的、对于所述输入向量的各元素(xj)的、与所述输入向量的各元素(xj)对应的所述输入基矩阵的行的所有组合(β)、和将根据所述组合所获得的所述输入向量的各元素(xj)的近似值的候选(p)按大小顺序排列时的中点(mpi)，所述程序使所述计算机作为运算部(22)发挥功能，所述运算部在所述神经网络模型的至少一个全连接层中，将前一层的输出向量作为输入向量(x)，使用从所述存储部(24)中读取的所述权重基矩阵(Mw)、所述实数的权重系数矩阵(Cw)及所述输入系数向量(cx)、和所述输入基矩阵的行的所有组合(β)与所述中点(mpi)，求取所述输入向量和所述权重矩阵的乘积。一个技术方案的神经网络装置，具有如下构成：具备存储部(24)以及运算部(22)，存储部(24)存储神经网络模型，运算部(22)将输入信息输入到所述神经网络模型的输入层并将输出层输出，所述运算部(22)在所述神经网络模型的至少一层中，将前一层的输出向量作为输入向量(x)，将所述输入向量(x)分解成输入基矩阵(Mx)和输入系数向量(cx)的乘积(Mxcx)与输入偏置(bx)之和(x＝Mxcx+bx1)，求取被分解了的所述输入向量(Mxcx+bx1)和权重矩阵(W)的乘积(WTx＝W(Mxcx+bx1))，所述输入基矩阵(Mx)为整数矩阵，所述输入系数向量(cx)为实数向量。如下所述，本技术中存在其他技术方案。因此，该技术的公开意在提供本技术的一部分，而并非意本文档来自技高网...
【技术保护点】
1.一种神经网络装置，具备：存储部，其存储神经网络模型；以及运算部，其将输入信息输入到所述神经网络模型的输入层并将输出层输出，所述神经网络模型的至少一层的权重矩阵由权重基矩阵和权重系数矩阵的乘积构成，所述权重基矩阵为整数矩阵，所述权重系数矩阵为实数矩阵。
【技术特征摘要】
【国外来华专利技术】2016.07.21 JP 2016-1437051.一种神经网络装置，具备：存储部，其存储神经网络模型；以及运算部，其将输入信息输入到所述神经网络模型的输入层并将输出层输出，所述神经网络模型的至少一层的权重矩阵由权重基矩阵和权重系数矩阵的乘积构成，所述权重基矩阵为整数矩阵，所述权重系数矩阵为实数矩阵。2.根据权利要求1所述的神经网络装置，所述运算部在所述至少一层中，将前一层的输出向量作为输入向量，将所述输入向量分解成输入基矩阵和输入系数向量的乘积与输入偏置之和，求取所述输入向量和所述权重矩阵的乘积，所述输入基矩阵为整数矩阵，所述输入系数向量为实数向量。3.根据权利要求2所述的神经网络装置，所述权重基矩阵为二值矩阵，所述输入基矩阵为二值矩阵，所述运算部通过逻辑运算和位计数进行所述权重基矩阵和所述输入基矩阵的乘积运算。4.根据权利要求2所述的神经网络装置，所述权重基矩阵为三值矩阵，所述输入基矩阵为二值矩阵，所述运算部通过逻辑运算和位计数进行所述权重基矩阵和所述输入基矩阵的乘积运算。5.根据权利要求3或4所述的神经网络装置，所述运算部通过对于所述输入向量将所述输入基矩阵进行优化来分解所述输入向量。6.根据权利要求5所述的神经网络装置，所述运算部对于所述输入向量的各元素，通过从与所述输入向量的各元素对应的所述输入基矩阵的行的所有组合和学习出的所述输入系数向量的乘积与学习出的所述输入偏置之和当中选择最接近的候选来优化所述输入基矩阵。7.根据权利要求6所述的神经网络装置，所述存储部存储有查找表，所述查找表规定了所述输入向量的各元素的值和与其相对的所述最接近的候选中的输入基矩阵的值之间的关系，所述运算部通过参照所述查找表，对于所述输入向量将所述输入基矩阵进行优化。8.根据权利要求6所述的神经网络装置，所述存储部对于所述输入向量的各元素存储有与所述输入向量的各元素对应的所述输入基矩阵的行的所有组合、和将根据所述组合所获得的所述输入向量的各元素的近似值的候选按大小顺序排列时的中点，所述运算部对于所述输入向量的各元素，通过根据使用所述中点的二叉树搜索法决定与所述输入向量的各元素对应的所述输入基矩阵的行来优化所述输入基矩阵。9.根据权利要求1至8中任一项所述的神经网络装置，将通过车载摄像头得到的图像作为所述输入信息来进行行人检测。10.根据权利要求2至8中任一项所述的神经网络装置，所述神经网络模型为卷积神经网络模型，所述卷积神经网络模型将卷积层的多个滤波器汇总而作为所述权重矩阵，并将所述卷积层视为全连接层，由整数的权重基矩阵和实数的权重系数矩阵的乘积构成了该权重矩阵，所述运算部在被视为全连接层的所述卷积层中，求取被分解了的所述输入向量和被分解了的所述权重矩阵的乘积。11.一种神经网络装置，是使用神经网络模型进行识别的神经网络装置，进行逻辑运算作为所述神经网络模型的至少一层的运算。12.一种神经网络装置，是使用神经网络模型进行识别的神经网络装置，存储有在所述神经网络模型的至少一层的运算中使用的二值或者三值的矩阵。13.一种车辆控制系统，具备：权利要求1至12中任一项所述的神经网络装置；取得所述输入信息的车载传感器；以及基于所述输出来控制车辆的车辆控制装置。14.一种分解处理装置，具备：取得部，其取得神经网络模型；权重分解部，其将所述神经网络模型的至少...
【专利技术属性】
技术研发人员：安倍满，
申请(专利权)人：电装IT研究所，
类型：发明
国别省市：日本,JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。