用于信息处理的设备、方法及非暂态计算机可读存储介质技术

提供了用于信息处理的设备、方法及非暂态计算机可读存储介质。信息处理设备包括：存储器，其被配置成存储用于对量化目标数据执行量化的程序指令；以及处理器，其被配置成执行存储在存储器中的程序指令，所述程序指令包括：获得包括在量化目标数据中的多个变量元素的出现频率的分布；以及基于多个变量元素的出现频率的分布，将量化位置的最高有效位位置对准到比多个变量元素中的最大值的变量元素小的变量元素。

【技术实现步骤摘要】
用于信息处理的设备、方法及非暂态计算机可读存储介质
本文论述的实施方式涉及信息处理设备、信息处理方法及存储信息处理程序的非暂态计算机可读存储介质。
技术介绍
神经网络指的是对生物脑进行建模的计算机科学架构。现今，随着神经网络技术的发展，对使用神经网络分析输入数据和提取有效信息的研究在各种电子系统中积极进行。用于神经网络的处理设备对复杂输入数据使用大量计算。在图像处理等中产生显著结果的神经网络通过使其计算处理复杂化来实现高性能。这样的神经网络的计算处理也趋于被复杂化。由于计算处理的这样的复杂化，针对该神经网络，计算机中的计算次数和期望的存储器容量增加。作为一种减少趋于被复杂化的神经网络的执行时间的方法，已知一种将神经网络中使用的变量——例如，权重和梯度——量化成定点的方法。相关技术的示例包括日本特开专利公布第2018-124681号、第2019-32833号和第2019-79531号。
技术实现思路
[技术问题]然而，存在以下问题：在通过这样的相关技术方法量化的神经网络中执行学习的情况下相比于在未经量化的神经网络中执行学习的情况下，针对图像等的识别准确度较大程度地降低。一方面，本专利技术提高了在量化的神经网络中执行学习的情况下的识别准确度。[问题的解决方案]为了解决该问题，信息处理设备对量化目标数据执行量化。该信息处理设备包括统计处理单元和量化位置设定单元。统计处理单元获得包括在量化目标数据中的多个变量元素的出现频率的分布。量化位置设定单元基于多个变量元素的出现频率的分布，将量化位置的最高有效位位置对准到比多个变量元素中的最大值的变量元素小的变量元素。[本专利技术的有益效果]根据实施方式，可以提高在量化的神经网络中执行学习的情况下的识别准确度。本专利技术的目的和优点将借助于权利要求书中具体指出的要素和组合来实现和获得。应当理解的是，前述的总体描述和下面的详细描述两者均是示例性和说明性的，而不是对本专利技术进行限制。附图说明图1是例示作为实施方式的示例的计算机系统的硬件配置的图；图2是例示作为实施方式的示例的计算机系统的功能配置的图；图3示出了神经网络的概要；图4是说明定点数值的图；图5是说明作为实施方式的示例的计算机系统中的量化位置的图；图6是说明相关技术的计算机系统中的量化位置的图；图7是说明由作为实施方式的示例的计算机系统的量化位置设定单元执行的处理的流程图；图8是例示作为实施方式的示例的计算机系统的量化方法的图像识别率的图；以及图9是说明作为实施方式的示例的计算机系统的量化方法的图像识别率的图。具体实施方式在下文中，将参照附图描述信息处理设备、信息处理方法及信息处理程序的实施方式。下文描述的实施方式仅是示例性的，并且不意在排除在实施方式中未明确地描述的各种修改或技术应用。例如，在不脱离本实施方式的主旨的情况下，可以以各种修改来实现本实施方式。附图并非意在说明仅提供绘制出的要素，而是实施方式可以包括其他功能等。(A)配置图1是例示作为实施方式的示例的计算机系统1的硬件配置的图。计算机系统1是信息处理设备，并且实现量化成定点的神经网络。如图1所示，计算机系统1包括中央处理单元(CPU)10、存储器11和加速器12。CPU10、存储器11和加速器12通过通信总线13彼此通信地耦接。通过通信总线13执行计算机系统1中的数据通信。存储器11是包括只读存储器(ROM)和随机存取存储器(RAM)的储存存储器。在存储器11的ROM中，写入有与量化处理有关的软件程序以及用于该程序的数据。存储器11上的软件程序由CPU10适当地读取和执行。存储器11的RAM被用作主储存存储器或工作存储器。存储器11的RAM存储权重和用于量化的其他参数。加速器12执行用于神经网络的计算的计算处理，例如矩阵计算。CPU10是执行各种控制和计算的处理装置(处理器)。CPU10基于实现的程序来控制整个计算机系统1。CPU10执行存储在存储器11等中的深度学习处理程序(未示出)，从而实现作为深度学习处理单元100的功能，这将在后面描述。深度学习处理程序可以包括量化处理程序。CPU10执行存储在存储器11等中的量化处理程序(未示出)，从而实现作为量化处理单元101的功能，这将在后面描述。计算机系统1的CPU10执行深度学习处理程序(量化处理程序、信息处理程序)，从而用作深度学习处理单元100(量化处理单元101)。实现作为深度学习处理单元100(量化处理单元101、信息处理程序)的功能的程序(深度学习处理程序、量化处理程序)以记录在计算机可读记录介质中的形式提供，所述计算机可读记录介质例如为可折叠盘、致密盘(CD，例如，CD-ROM、可记录CD(R)或可重写CD(RW))、数字视盘(DVD，例如，DVD-ROM、DVD-RAM、DVD-R、DVD+R、DVD-RW、DVD+RW或高清(HD)DVD)、蓝光盘、磁盘、光盘或磁光盘。计算机(计算机系统1)通过从记录介质中读取已被传送至并存储在内部存储装置或外部存储装置中的程序来使用程序。例如，程序可以被记录在存储装置(记录介质)例如磁盘、光盘或磁光盘中，并且经由通信路径从存储装置被提供至计算机。在实现作为深度学习处理单元100(量化处理单元101)的功能的情况下，由计算机的微处理器(根据本实施方式的CPU10)执行存储在内部存储装置(根据本实施方式的存储器11的RAM或ROM)中的程序。此时，计算机可以读取并执行记录在记录介质中的程序。图2是例示作为实施方式的示例的计算机系统1的功能配置的图。如图2所示，计算机系统1具有作为深度学习处理单元100的功能。深度学习处理单元100在神经网络中执行深度学习。神经网络可以是硬件电路或者由软件形成的虚拟网络，该软件耦接由CPU10等虚拟地构建在计算机程序中的层。图3示出了神经网络的概要。图3所示的神经网络是在输入层与输出层之间包括多个隐藏层的深度神经网络。隐藏层的示例包括例如卷积层、池化层、全连接层等。这些层中示出的圆圈指示执行相应的预定计算的节点。例如，神经网络将输入数据例如图像或声音输入至输入层，并且在包括卷积层、池化层等的隐藏层中顺序地执行预定计算，从而执行其中通过计算获得的信息从输入侧被顺序地传送至输出侧的沿正向方向的处理(正向传播处理)。在执行了沿正向方向的处理之后，执行确定沿正向方向的处理中使用的参数的沿反向方向的处理(反向传播处理)，以减小根据正确答案数据和从输出层输出的输出数据获得的误差函数的值。然后，基于反向传播处理的结果来执行更新变量如权重的更新处理。例如，使用梯度下降，作为用于确定要在反向传播处理的计算中使用的权重的更新宽度的算法。权重更新表达式被表示为下面的表达式(1)：Wt+1←Wt-η·Δw(1)其中，Wt+1是更新后的权重，Wt本文档来自技高网...

【技术保护点】
1.一种信息处理设备，包括：/n存储器，其被配置成存储用于对量化目标数据执行量化的程序指令；以及/n处理器，其被配置成执行存储在所述存储器中的所述程序指令，所述程序指令包括：/n获得包括在所述量化目标数据中的多个变量元素的出现频率的分布；以及/n基于所述多个变量元素的出现频率的分布，将量化位置的最高有效位位置对准到比所述多个变量元素中的最大值的变量元素小的变量元素。/n

【技术特征摘要】
20190913 JP 2019-1676081.一种信息处理设备，包括：
存储器，其被配置成存储用于对量化目标数据执行量化的程序指令；以及
处理器，其被配置成执行存储在所述存储器中的所述程序指令，所述程序指令包括：
获得包括在所述量化目标数据中的多个变量元素的出现频率的分布；以及
基于所述多个变量元素的出现频率的分布，将量化位置的最高有效位位置对准到比所述多个变量元素中的最大值的变量元素小的变量元素。


2.根据权利要求1所述的信息处理设备，
其中，执行所述对准以使得量化范围之外的值在所述量化之后变成所述最高有效位位置。


3.根据权利要求1所述的信息处理设备，其中，
所述量化目标数据是用于更新神经网络的权重的梯度。


4.根据权利...

【专利技术属性】
技术研发人员：坂井靖文，森木创作，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本;JP