阈值确定程序、阈值确定方法和信息处理设备技术

本公开涉及阈值确定程序、阈值确定方法和信息处理设备。一种阈值确定程序，在该阈值确定程序中计算机执行以下处理：使用变量对量化目标的多个数值进行量化，该变量表示阈值的候选；以及基于针对多个数值中的每个数值的量化误差来确定阈值，量化误差是基于量化指定的。量化误差是基于量化指定的。量化误差是基于量化指定的。

【技术实现步骤摘要】
阈值确定程序、阈值确定方法和信息处理设备


[0001]本文讨论的实施方式涉及阈值确定技术。

技术介绍

[0002]神经网络是通过机器学习而生成的一种经训练的模型，神经网络被用于在诸如图像处理或自然语言处理(例如，非专利文献1和非专利文献2)的各种领域中对输入数据进行推理。
[0003]由于近年来神经网络的复杂配置，使用神经网络执行推理的计算机的功耗趋于增加。因此，可以对神经网络进行量化以降低功耗。神经网络的量化是将由预定位宽(bit width)表示的待量化的数值转换成由较小位宽表示的经量化的数值的处理。
[0004]尽管神经网络的量化对于降低功耗和存储器使用是有效的，但是待量化的数值的精度变差。例如，当通过量化将32位单精度浮点数(FP32)转换成8位整数(INT8)时，推理精度大大降低(例如，非专利文献3)。
[0005]已知一种技术，其促进与神经网络的量化相关的神经网络的效率提高(例如，专利文献1)。还已知一种神经网络学习装置，其通过降低计算的位，在降低卷积神经网络(CNN)的权重的同时实现适当的计算(例如，专利文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种阈值确定程序，在所述阈值确定程序中计算机执行以下处理：使用变量对量化目标的多个数值进行量化，所述变量表示阈值的候选；以及基于针对所述多个数值中的每个数值的量化误差来确定所述阈值，所述量化误差是基于所述量化指定的。2.根据权利要求1所述的阈值确定程序，其中，所述量化包括将所述多个数值之中的偏离所述候选所限定的数值范围的数值转换成对应于所述候选的经量化数值。3.根据权利要求1所述的阈值确定程序，其中，所述确定包括基于针对所述多个数值中的每个数值的量化误差的统计值来确定所述阈值。4.根据权利要求1所述的阈值确定程序，其中，所述量化包括通过基于所述阈值的多个候选中的每个候选所限定的数值范围对所述多个数值中的每个数值进行量化，来生成与所述多个数值中的每个数值对应的经量化数值，所述多个候选包括所述候选，所述确定包括：基于所述多个数值中的每个数值以及与所述多个数值中的每个数值对应的经量化数值来计算统计值，以及基于根据所述多个候选中的每个候选而计算的所述统计值来从所述多个候选中选择所述阈值。5.根据权利要求1至4中任一项所述的阈值确定程序，其中，所述量化目标是神经网络中的权重、偏置或激活。6.一种阈值确定方法，包括：使用变量对量化目标的多个数值进行量化，所述变量表示阈值的候选；以及基于针对所述多个数值中的每个数值的量化误差来确定所述阈值，所述量化误差是基于所述量化指定的。7.根据权利要求6所述的阈值确定方法，其中，所述量化包括将所述多个数值之中的偏离所述候选所限定的数值范围的数值转换成对应于所述候选的经量化数值。8.根据权利要求6所述的阈值确定方法，其中，所述确定包括基于针对所述多个数值中的每个数值的量化误差的统计值来确定所述阈值。9.根据权利要求6所述的阈值确定方法，其中，所述量化包括通过基...

【专利技术属性】
技术研发人员：恩谢，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：