优化装置和优化方法制造方法及图纸

提供了优化装置和优化方法。一种优化装置包括多个神经元电路和更新控制电路，多个神经元电路分别包括：第一存储器，该第一存储器存储组合目的地信息，接收指示更新目标神经元的更新目标信息，以及输出指示与更新目标信息一致的组合目的地信息的信号；第二存储器，该第二存储器存储加权系数，以及输出与由从第一存储器输出的信号指示的组合目的地信息相对应的加权系数；以及计算电路，该计算电路通过使用加权系数和更新目标神经元的值来随机地允许目标神经元的值的更新，以及输出指示目标神经元的值是否被允许更新的确定结果；该更新控制电路被配置成基于多个确定结果来确定更新目标神经元，更新该更新目标神经元的值，以及输出更新目标信息。

【技术实现步骤摘要】
优化装置和优化方法
本文讨论的实施方式涉及优化装置和优化方法。
技术介绍
作为解决不易被诺伊曼型(Neumann-type)计算机处理的多变量组合优化问题的方法，存在使用伊辛型(Ising-type)能量函数的优化装置(也可以被称为伊辛机或玻尔兹曼机)。优化装置通过用伊辛模型替换问题来计算要计算的问题，该伊辛模型是表示磁体的自旋行为的模型。优化装置还能够通过例如使用神经网络来执行建模。在这种情况下，对应于伊辛模型中包括的多个自旋的多个状态变量中的每一个都用作神经元，该神经元根据另一状态变量的值和指示另一状态变量与自身状态变量的值之间的相互作用的大小的加权系数来输出0或1。优化装置使用例如概率搜索方法诸如模拟退火，以便找到从其获得如上所描述的能量函数的值(称为能量)中的最小值的相应状态变量的值的组合作为解。在相关技术中，存在一种优化装置，其通过使用数字电路执行模拟退火来计算能量被最小化的相应的状态变量的值的组合。在使用神经网络的技术中存在一种通过学习根据点火状态添加或删除神经元的技术。作为相关技术，例如，公开了日本公开特许公报第2001-331839号、日本公开特许公报第2017-219952号、日本公开特许公报第2018-10474号和国际公布第WO2015/132883号。
技术实现思路
同时，响应于问题规模的增加，加权系数的数量随着状态变量的数量增加而增加。例如，在用伊辛模型替换问题时具有优越的灵活性并且可以考虑所有状态变量之间的相互作用的总组合类型优化装置(例如，日本公开特许公报第2017-219952号和日本公开特许公报第2018-10474号)中，加权系数的数量随着状态变量的数量增加而迅速增加。为此，例如，在通过具有一个芯片的半导体集成电路实现优化装置的情况下，存储加权系数的存储单元的容量增加。存在将加权系数存储在优化装置外部的存储器中的方法或通过使用多个芯片来配置优化装置的方法，但是存在由于从存储器读取加权系数或用于芯片之间的通信的时间而导致计算速度降低的问题。作为一个方面，本公开内容提供了能够减小存储加权系数的存储单元的容量的优化装置和优化方法。根据实施方式的一方面，一种优化装置包括多个神经元电路和更新控制电路，多个神经元电路分别包括：第一存储器，该第一存储器存储组合目的地信息，组合目的地信息指示要与目标神经元组合的组合目的地神经元，目标神经元是与通过转换优化问题而获得的伊辛模型的多个自旋相对应的多个神经元之一，第一存储器接收指示值要被更新的更新目标神经元的更新目标信息，以及输出指示与更新目标信息一致的组合目的地信息的信号；第二存储器，该第二存储器存储指示目标神经元与组合目的地神经元之间的组合强度的加权系数，以及输出与由从第一存储器输出的信号指示的组合目的地信息相对应的加权系数；以及计算电路，该计算电路通过使用从第二存储器输出的加权系数和更新目标神经元的值来随机地允许目标神经元的值的更新，以及输出指示是否允许更新目标神经元的值的确定结果，以及多个神经元电路被分别配置成输出针对彼此不同的目标神经元的确定结果；该更新控制电路被配置成基于从多个神经元电路输出的多个确定结果来确定更新目标神经元，更新该更新目标神经元的值，以及输出更新目标信息。[本专利技术的有益效果]根据实施方式，可以减少存储加权系数的存储装置的容量。附图说明图1是示出根据第一实施方式的优化装置的示例的图；图2是示出根据第二实施方式的优化装置的示例的图；图3是示出神经元电路的示例的图；图4是示出CAM的示例的图；图5是示出根据第二实施方式的优化装置的示例的操作的流程的流程图；图6是示出根据第三实施方式的优化装置的示例的图；图7是示出根据第三实施方式的优化装置中的CAM的示例的图；图8是示出根据第三实施方式的优化装置中的更新控制电路的示例的图；以及图9是示出根据第三实施方式的优化装置的示例的操作的流程的流程图。具体实施方式在下文中，将参照附图来描述本公开内容的实施方式。以下描述的优化装置搜索与通过转换优化问题而获得的伊辛模型中的多个自旋相对应的多个神经元的值(在下文中，被称为“位值”)的组合之中当能量变为最小时的每个神经元的位值的组合。例如，通过以下等式(1)定义伊辛型能量函数E(x)。针对所有神经元的所有组合，在不重叠和遗漏的情况下，通过将两个神经元的位值(0或1)与加权系数的乘积进行累加来获得右侧的第一项。xi是通过标识信息(以下称为id)表示神经元i的位值的变量(也称为状态变量)，并且xj是表示id＝j的神经元的位值的变量。Wij是指示id＝i，j的神经元的相互作用的大小(组合的强度)的加权系数。在这种情况下，满足Wii＝0。在许多情况下满足Wij＝Wji(例如，在许多情况下，加权系数的系数矩阵是对称矩阵)。Wij具有预定的位宽(例如，16位、32位、64位、128位等)。通过计算所有神经元的偏置系数与神经元的位值的乘积之和来获得右侧的第二项。bi表示id＝i的神经元的偏置系数。当xi变为1-xi时，xi的增量表示为Δxi＝(1-xi)-xi＝1-2xi。响应于自旋反转(神经元的位值的变化)的能量变化ΔEi由下面的等式(2)表示。在等式(2)中，当xi从1变为0时，Δxi成为-1，而当xi从0变为1时，Δxi成为1。hi被称为局部字段，并且hi与根据Δxi的符号(+1或-1)的乘积为ΔEi。当hi小于0时，通过将xi从1更新为0，总能量减少；并且当hi大于0时，通过将xi从0更新为1，总能量减少。当xj从0变为1时的hi的变化(Δhi)用+Wij表示，并且当xj从1变为0时的Δhi用-Wij表示。因此，当根据状态转变而更新的神经元的位值为1或0时，可以通过向原始hi加上Wij或从原始hi减去Wij来更新hi。(第一实施方式)图1是示出根据第一实施方式的优化装置的示例的图。根据第一实施方式的优化装置10包括神经元电路11a1、11a2……和11an，以及更新控制电路12。在图1的示例中，将指示n个神经元中的任何一个神经元的id分配给神经元电路11a1至11an中的每个神经元电路。在图1的示例中，将id＝1分配给神经元电路11a1，将id＝2分配给神经元电路11a2，并且将id＝n分配给神经元电路11an。神经元电路11a1包括存储单元11b1和11c1以及计算单元11d1。存储单元11b1保持组合目的地信息，该组合目的地信息指示要与作为多个(n个)神经元之一的目标神经元组合的组合目的地神经元。存储单元11b1接收指示值要被更新的更新目标神经元的更新目标信息，并输出指示与更新目标信息一致的组合目的地信息的信号。图1示出了保持在存储单元11b1中的组合目的地信息的示例。神经元电路11a1中的目标神经元是id＝1的神经元，并且组合目的地信息指示与id＝1的神经元进行组本文档来自技高网...

【技术保护点】
1.一种优化装置，包括：/n多个神经元电路，所述多个神经元电路分别包括：/n第一存储器，其存储组合目的地信息，所述组合目的地信息指示要与目标神经元组合的组合目的地神经元，所述目标神经元是与通过转换优化问题而获得的伊辛模型的多个自旋相对应的多个神经元之一；接收指示值要被更新的更新目标神经元的更新目标信息；以及输出指示与所述更新目标信息一致的所述组合目的地信息的信号，/n第二存储器，其存储指示所述目标神经元与所述组合目的地神经元之间的组合强度的加权系数，以及输出与由从所述第一存储器输出的所述信号指示的所述组合目的地信息相对应的所述加权系数，以及/n计算电路，其通过使用从所述第二存储器输出的所述加权系数和所述更新目标神经元的值来随机地允许所述目标神经元的值的更新，以及输出指示所述目标神经元的值是否被允许更新的确定结果，以及/n所述多个神经元电路被分别配置成输出针对彼此不同的目标神经元的确定结果；以及/n更新控制电路，所述更新控制电路被配置成：基于从所述多个神经元电路输出的多个确定结果来确定所述更新目标神经元，更新所述更新目标神经元的值，以及输出所述更新目标信息。/n

【技术特征摘要】
20190529 JP 2019-1006221.一种优化装置，包括：
多个神经元电路，所述多个神经元电路分别包括：
第一存储器，其存储组合目的地信息，所述组合目的地信息指示要与目标神经元组合的组合目的地神经元，所述目标神经元是与通过转换优化问题而获得的伊辛模型的多个自旋相对应的多个神经元之一；接收指示值要被更新的更新目标神经元的更新目标信息；以及输出指示与所述更新目标信息一致的所述组合目的地信息的信号，
第二存储器，其存储指示所述目标神经元与所述组合目的地神经元之间的组合强度的加权系数，以及输出与由从所述第一存储器输出的所述信号指示的所述组合目的地信息相对应的所述加权系数，以及
计算电路，其通过使用从所述第二存储器输出的所述加权系数和所述更新目标神经元的值来随机地允许所述目标神经元的值的更新，以及输出指示所述目标神经元的值是否被允许更新的确定结果，以及
所述多个神经元电路被分别配置成输出针对彼此不同的目标神经元的确定结果；以及
更新控制电路，所述更新控制电路被配置成：基于从所述多个神经元电路输出的多个确定结果来确定所述更新目标神经元，更新所述更新目标神经元的值，以及输出所述更新目标信息。


2.根据权利要求1所述的优化装置，
其中，所述第一存储器输出指示是否保持有与所述更新目标信息一致的所述组合目的地信息的一致性确定信息，以及
当所述多个神经元电路中的输出指示未保持与所述更新目标信息一...

【专利技术属性】
技术研发人员：塚本三六，田村泰孝，松原聪，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本;JP