信息处理装置、信息处理方法以及信息处理程序制造方法及图纸

本发明专利技术提供信息处理装置、信息处理方法以及信息处理程序。通过对神经网络的反向传播时的梯度矢量所包含的多个要素均等地进行量化，来缩短神经网络的执行时间。来缩短神经网络的执行时间。来缩短神经网络的执行时间。

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、信息处理方法以及信息处理程序


[0001]本专利技术涉及信息处理装置、信息处理方法以及信息处理程序。

技术介绍

[0002]在图像处理等中表现出显著的成果的神经网络通过使其结构变得复杂来实现较高的性能。
[0003]作为缩短像这样具有复杂化的倾向的神经网络的执行时间的方法，已知有量化。
[0004]在量化中，通过将神经网络中使用的权重的数据类型(例如FP32)转换为数据容量更小的数据类型(INT8)，来削减计算时间、通信时间。另外，在现有的量化方法中，对构成权重矢量的每个要素进行量化的执行判断。
[0005]例如，对构成权重矢量的每个要素，将量化误差与阈值进行比较，仅在量化误差小于阈值的情况下，对该要素进行量化。
[0006]专利文献1：国际公开第2019/008752号
[0007]非专利文献1：S.Khoram,et al,“Adaptive quantization of neural networks”,ICLR,2018
[0008]然而，在如上述那样现有的量化方法中，由于本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信息处理装置，其特征在于，具有处理器，该处理器执行进行量化对象数据的量化的处理，上述处理器对神经网络的反向传播时的梯度矢量所包含的多个要素均等地进行量化。2.根据权利要求1所述的信息处理装置，其特征在于，上述处理器使上述梯度矢量所包含的多个要素的数据类型全部相同来进行量化。3.根据权利要求1或2所述的信息处理装置，其特征在于，上述处理器在对上述梯度矢量所包含的多个要素进行量化时，以基于后续执行的下次学习时的损失函数的阈值来判断能否量化。4.根据权利要求1～3中任一项所述的信息处理装置，其特征在于，上述处理器对神经网络的正向传播时的激活矢量进行量化。5.根据权利要求4所述的信息处理装置，其特征在于，上述处理器使上述激活矢量所包含的多个要素的数据类型全部相同来进行量化。6.一种信息处理装置，其特征在于，具有处理器，该处理器执行进行量化对象数据的量化的处理，上述处理器对神经网络的正向传播时的激活矢量进行量化。7.根据权利要求6所述的信息处理装置，其特征在于，上述处理器使上述激活矢量所包含的多个要素的数据类型全部相同来进行量化。8.一种信息处理方法，其特征在于，在具有执行进行量化对象数据的量化的处理的处理器的信息处理装置中，具备：基于阈值来判断能否量化的处理；以及对神经网络的反向传播时的梯度矢量所包含的多个要素均等地进行量化的处理。9.根据权利要求8所述的信息处理方法，其特征在于，在上述量化的处理中，使上述梯度矢量所包含的多个要素的数据类型全部相同来进行量化。10.根据权利要求8或9所述的信息处理方法，其特征在于，在上述判断的处理中，在对上述梯度矢量所包含的多个要素进行量化时，以基于后续执行的下次学习时的损失函数的阈值来判断能否量化。11.根据权利要求8～10中任一项所述的信息处理方法，其特征在于，在上述量化的处理中，对神经网络的正向传播时的激活矢量进行量化。12.根据权利要求11所述的信息处理方法，其特征在于，...

【专利技术属性】
技术研发人员：坂井靖文，恩谢，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：