信息处理设备和信息处理方法技术

为了减少与内积运算相关联的处理负担，并且用于还保证权重系数的量化粒度。[解决方案]提供了一种信息处理设备，该信息处理设备设置有乘积累加运算电路，该乘积累加运算电路用于基于多个输入值和多个权重系数来执行乘积累加运算，所述多个权重系数分别对应于输入值并且通过幂表达来量化。经量化的权重系数的指数由将预定的除数作为分母的分数来表达，并且乘积累加运算电路基于根据除数确定的余数使用不同的加法乘数来执行乘积累加运算。

Information Processing Equipment and Information Processing Method

【技术实现步骤摘要】
【国外来华专利技术】信息处理设备和信息处理方法
本公开内容涉及信息处理设备和信息处理方法。
技术介绍
近来，称作类似于神经系统的作用的神经网络的数学模型正受到关注。此外，正在提出用于减少神经网络中的计算的处理负荷的各种技术。例如，非专利文献1描述了通过将权重系数二进制化来减少处理负荷的技术。此外，非专利文献2描述了通过将输入信号转换为对数域来将乘法转换为加法的技术。引用列表非专利文献非专利文献1：MatthieuCourbariaux等人，“BinaryConnect:TrainingDeepNeuralNetworkswithbinaryweightsduringpropagations”，[在线]，2015年11月11日，arXiv，[2017年3月22日检索]，因特网<URL：https://arxiv.org/pdf/1511.00363.pdf>非专利文献2：DaisukeMiyashita等人，“ConvolutionalNeuralNetworksusingLogarithmicDataRepresentation”，[在线]，2016年3月3日，arXiv，[2017年3月22日检索]，因特网<URL：https://arxiv.org/pdf/1603.01025.pdf>
技术实现思路
技术问题然而，利用非专利文献1中描述的技术，由于执行使用+1或-1的二进制化，因此随着权重系数的维度增加，预期量化粒度将变得更粗糙。此外，非专利文献2中描述的技术虽然在避免乘法方面具有预定效果，但是预计在减少处理负荷方面仍具有进一步改进的空间。因此，本公开内容提出了一种新颖且改进的信息处理设备和信息处理方法，其能够进一步减少与内积运算相关联的处理负荷，同时还保证权重系数的量化粒度。问题的解决方案根据本公开内容，提供了一种信息处理设备，该信息处理设备包括：乘积累加运算电路，其被配置成基于多个输入值和多个权重系数来执行乘积累加运算，所述多个权重系数通过幂表达来量化并且分别对应于输入值。经量化的权重系数的指数由将预定的除数作为分母的分数来表达，并且乘积累加运算电路基于根据除数确定的余数使用不同的加法乘数来执行乘积累加运算。此外，根据本公开内容，提供了一种由处理器执行的信息处理方法，该方法包括：基于多个输入值和多个权重系数来执行乘积累加运算，所述多个权重系数通过幂表达来量化并且分别对应于输入值。经量化的权重系数的指数由将预定的除数作为分母的分数来表达，并且乘积累加运算的执行基于根据除数确定的余数使用不同的加法乘数来执行乘积累加运算。本专利技术的有益效果根据如上所述的本公开内容，可以进一步减少与内积运算相关联的处理负荷，同时还保证权重系数的量化粒度。注意，上述效果不一定是限制性的。利用或代替上述效果，可以实现本说明书中描述的任何一种效果或可以通过本说明书理解的其他效果。附图说明[图1]图1是用于说明根据本公开内容的相关技术的神经网络中的基本计算的概述的概念图。[图2]图2是用于说明根据本公开内容的相关技术的输入矢量与权重矢量的内积运算的概述图。[图3]图3是用于说明根据本公开内容的相关技术的二维空间中的经二进制量化的权重矢量的图。[图4]图4是用于说明根据本公开内容的相关技术的二维空间中的经四进制量化的权重矢量的图。[图5]图5是用于说明根据本公开内容的相关技术的三维空间中的权重矢量的粒度的差异的图。[图6]图6是用于说明根据本公开内容的相关技术的N维空间中的权重矢量的粒度的差异的图。[图7]图7是根据本公开内容的一种实施方式的信息处理设备的功能框图的一个示例。[图8]图8是根据实施方式的信息处理设备中设置的乘积累加运算电路的电路框图的一个示例。[图9]图9是根据实施方式的在地址表中存储的地址信息的偏移表示法的一个示例。[图10]图10是示出根据实施方式的信息处理方法的处理表示的图。[图11]图11是用于说明根据实施方式的量化粒度Δθ的图。[图12]图12是示出根据实施方式的根据α的量化粒度Δθ的最大值的曲线图。[图13]图13是用于说明根据实施方式的最大指数的图。[图14]图14是示出根据实施方式的相对于输入数量N的乘法次数的示例的图。[图15]图15是示出根据实施方式的相对于输入数量N的乘法次数的示例的图。[图16]图16是根据本公开内容的第二实施方式的在量化权重矢量的情况下的乘积累加运算电路的一个示例。[图17]图17是根据同一实施方式的在量化权重矢量和输入矢量两者的情况下的乘积累加运算电路的一个示例。[图18]图18是根据同一实施方式的在量化权重矢量和输入矢量两者的情况下的乘积累加运算电路的一个示例。[图19]图19是示出根据同一实施方式的比较实验中使用的ResNet的网络结构的图。[图20]图20是示出根据同一实施方式的不包括最大池化层的ResNet网络配置的图。[图21]图21是示出根据同一实施方式的包括最大池化层的ResNet网络配置的图。[图22]图22是示出根据同一实施方式的比较图像识别率的结果的图。[图23]图23是示出在根据同一实施方式的量化技术被应用于带通滤波器时的根据频率特性(增益特性)的模拟结果的图。[图24]图24是示出在根据同一实施方式的量化技术被应用于带通滤波器时的根据相位特性的模拟结果的图。[图25]图25是根据同一实施方式的BER评估中使用的框图。[图26]图26是示出在根据同一实施方式使用BPSK用于调制方法时的BER评估结果的图。[图27]图27是图26中的SNR从7dB到9dB的数据的放大图。[图28]图28是示出在根据同一实施方式使用QPSK用于调制方法时的BER评估结果的图。[图29]图29是图28中的SNR从10dB到12dB的数据的放大图。[图30]图30是示出在根据同一实施方式使用16QAM用于调制方法时的BER评估结果的图。[图31]图31是图30中的SNR从16dB到18dB的数据的放大图。[图32]图32是根据本公开内容的一种实施方式的示例性硬件配置的图。具体实施方式在下文中，将参照附图详细描述本公开内容的(一种或多种)优选实施方式。注意，在本说明书和附图中，将具有基本相同的功能和结构的结构元件用相同的附图标记来表示，并且将省略对这些结构元件的重复说明。在下文中，将按照以下顺序进行描述。1.第一实施方式1.1
技术介绍
1.2信息处理设备10的示例性功能配置1.3权重矢量量化1.4乘积累加运算电路的示例性配置1.5学习期间的量化1.6效果2.第二实施方式2.1概述2.2权重矢量的量化2.3权重矢量和输入矢量两者的量化2.4效果2.5通信技术的应用示例3.示例性硬件配置4.结论<1.第一实施方式><<1.1
技术介绍
>>近来，使用神经网络的诸如深度学习的学习技术正在被广泛研究。尽管使用神经网络的学习技术是高度准确的，但由于与计算相关联的较大处理负荷，因此需要有效减少处理负荷的计算方法。为此，近年来，还提出了例如旨在减少计算量和信息量的计算方法，例如二进制权重网络和XNMOR网络。本文中，将描述典型神经网络中的基本计算的概述。图1是用于说明神经网络中的基本计算的概述的概念图。图1示出了形成神经网络的两个层以及属于两本文档来自技高网...

【技术保护点】
1.一种信息处理设备，包括：乘积累加运算电路，其被配置成基于多个输入值和多个权重系数来执行乘积累加运算，所述多个权重系数通过幂表达来量化并且分别对应于所述输入值，其中，经量化的权重系数的指数由将预定的除数作为分母的分数来表达，并且所述乘积累加运算电路基于根据所述除数确定的余数，使用不同的加法乘数来执行所述乘积累加运算。

【技术特征摘要】
【国外来华专利技术】2017.09.29 JP 2017-1898891.一种信息处理设备，包括：乘积累加运算电路，其被配置成基于多个输入值和多个权重系数来执行乘积累加运算，所述多个权重系数通过幂表达来量化并且分别对应于所述输入值，其中，经量化的权重系数的指数由将预定的除数作为分母的分数来表达，并且所述乘积累加运算电路基于根据所述除数确定的余数，使用不同的加法乘数来执行所述乘积累加运算。2.根据权利要求1所述的信息处理设备，其中，所述乘积累加运算电路设置有多个不同的累加器，所述多个不同的累加器被配置成针对根据所述除数确定的每个余数保存计算结果。3.根据权利要求2所述的信息处理设备，其中，所述余数通过将与所述经量化的权重系数的指数相关的分子作为被除数的模运算来计算，并且所述乘积累加运算电路还设置有选择器，所述选择器被配置成将对应于所述余数的所述累加器连接至所述乘积累加运算电路。4.根据权利要求3所述的信息处理设备，其中，所述乘积累加运算电路还设置有移位运算单元，所述移位运算单元基于通过对商进行整数化而获得的值来执行与所述输入值相关的移位运算，由所述分子除以所述除数得到所述商。5.根据权利要求1所述的信息处理设备，其中，所述输入值通过幂表达来量化，经量化的输入值由将预定的除数作为分母的分数来表达，并且所述余数是将与所述经量化的权重系数的指数相关的分子和与经量化的输入值的指数...

【专利技术属性】
技术研发人员：广井聪幸，中村章，山本真纪子，池谷亮志，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP