本发明专利技术抑制储层计算模型的过度学习。储层具有共用的输入层、基于给予至输入层的输入来输出第一读出值和第二读出值的第一输出层和第二输出层，包括具有输入层和第一输出层的第一部分储层、输入层与第二输出层之间的尺寸大于输入层与第一输出层之间的尺寸的第二部分储层，学习处理具有：(1)计算减小第一输出与教师数据的差分的第三输出权重的第一处理，第一输出是由第一输出层基于第一输入而输出的第三读出值与第一输出权重的乘积和值；(2)计算减小第二输出与差分教师数据的差分的第四输出权重的第二处理，第二输出是由第二输出装置基于第一输入而输出的第四读出值与第二输出权重的乘积和值，差分教师数据是第三读出值与第三输出权重的乘积和值与教师数据的差分。第三输出权重的乘积和值与教师数据的差分。第三输出权重的乘积和值与教师数据的差分。
【技术实现步骤摘要】
【国外来华专利技术】信息处理系统、信息处理装置、信息处理方法以及信息处理程序
[0001]本专利技术涉及信息处理系统、信息处理装置、信息处理方法以及信息处理程序。
技术介绍
[0002]作为机器学习模型之一，神经网络非常普及。特别是，基于深度学习的深度神经网络(以下，称为DNN(Deep Neural Network)。)在图像处理等中报告高性能。这些DNN是分层神经网络。另外，作为DNN之一的递归神经网络(以下，称为RNN(Recurrent Neural Network)。)具有将过去时刻的神经元的状态反馈输入到自己或者其他的神经元的结构。反馈输入是取决于过去的输入历史的过去时刻的状态，适用于基于时间序列输入的前后关系来进行推理的模型。
[0003]另一方面，众所周知，在RNN中，由于运算处理复杂化，而在DNN的学习工序中应用为了优化参数而进行的反向误差传播法是不现实的。
[0004]在储层计算(Reservoir Computing)中，利用能够通过RNN所具有的递归反馈将过去的状态反映到当前的状态中的性质，在学习工序中不更新构成RNN的储层的权重，而更新由储层的输出节点构成的全耦合层的权重(输出权重)。由此，能够大幅削减学习工序的运算的负荷。
[0005]在储层计算中，由于储层内的神经元具有非线性特性，所以提出了代替储层而利用具有非线性的特性的物理结构物。在本专利技术中，能够应用于通过处理器执行计算机程序来实现储层的情况和通过物理储层来实现储层的情况中的任意一个情况。
[0006]专利文献1：日本特表2004
‑
511866号公报
[0007]专利文献2：国际公开第2018/212201号
[0008]专利文献3：日本特开2018
‑
180701号公报
[0009]非专利文献1：http://eeip.t.u
‑
tokyo.ac.jp/gtanaka/siryo/tanaka201902_ieice.pdf电子信息通信学会学报Vol.102,No.2,2019《储层计算的概念和最近的动向》田中刚平
[0010]非专利文献2：https://www.nature.com/articles/s41467
‑
017
‑
02337
‑
y.pdf
[0011]越增大储层的尺寸，储层具有越高维函数的特性。但是，若以具有高维函数特性的储层进行学习，则会成为过度学习，模型成为过度拟合状态。
技术实现思路
[0012]因此，本实施方式的第一方面的目的在于提供一种与能够抑制由过度学习引起的过度拟合状态的储层计算相关的信息处理系统、信息处理装置、信息处理方法以及信息处理程序。
[0013]本实施方式的第一方面是一种信息处理系统，具有：
[0014]信息处理装置，具有存储器和访问上述存储器的处理器；以及
[0015]储层，能够与上述信息处理装置进行通信，
[0016]上述储层具有：
[0017]输入层，被给予输入；
[0018]第一输出层，基于上述输入来输出第一读出值；
[0019]第二输出层，基于上述输入来输出第二读出值；
[0020]第一部分储层，具有上述输入层和上述第一输出层；
[0021]第二部分储层，具有上述输入层和上述第二输出层，上述输入层与上述第二输出层之间的尺寸大于上述输入层与上述第一输出层之间的尺寸，
[0022]上述处理器执行上述储层的学习处理，
[0023]上述学习处理包括：
[0024]第一处理，计算减小第一输出与对应于上述第一输入的教师数据的差分的第三输出权重，其中，上述第一输出是由上述第一输出层基于第一输入而输出的第三读出值与第一输出权重的乘积和值；以及
[0025]第二处理，计算减小第二输出与差分教师数据的差分的第四输出权重，其中，上述第二输出是由上述第二输出层基于上述第一输入而输出的第四读出值与第二输出权重的乘积和值，上述差分教师数据是上述第三读出值与上述第三输出权重的乘积和值与上述教师数据的差分。
[0026]根据第一侧面，能够抑制由过度学习引起的过度拟合状态。
附图说明
[0027]图1是实现本实施方式中的储层计算模型的信息处理系统的示意图。
[0028]图2是表示储层计算模型的网络的一个例子的图。
[0029]图3是表示作为储层计算模型而使用了作为物理储层之一的交叉开关储层的信息处理系统的图。
[0030]图4是表示交叉开关储层(Crossbar Reservoir)的一个例子和作为读出部的全耦合层的一个例子的图。
[0031]图5是表示对应于图2的例子的交叉开关储层的相邻矩阵的一个例子的图。
[0032]图6是分类表示交叉开关储层的相邻矩阵所表示的交叉点的耦合的图。
[0033]图7是表示图6的相邻矩阵中示出的九个区域的关系的图。
[0034]图8是表示第一实施方式中的储层计算模型的图。
[0035]图9是表示第二实施方式中的储层计算模型的图。
[0036]图10是表示第一实施方式中的储层计算模型的相邻矩阵的区域的图。
[0037]图11是表示图10的相邻矩阵中示出的九个区域的关系的图。
[0038]图12是表示相邻矩阵的具体例的图。
[0039]图13是表示第一实施方式和第二实施方式的储层计算模型的学习工序的流程图。
[0040]图14是表示第一实施方式和第二实施方式的储层计算模型的推理工序的处理的流程图。
[0041]图15是进行学习工序的输出权重的更新的FORCE学习的流程图。
[0042]图16是表示第三实施方式中的储层计算模型的图。
具体实施方式
[0043]图1是实现本实施方式中的储层计算模型的信息处理系统的示意图。信息处理装置10例如是PC、HPC等计算机。信息处理装置10具有处理器12、处理器所访问的主存储器14、以及与外部的接口装置16。另外，信息处理装置10在大容量的辅助存储装置20～26中储存储层模型的学习程序20、推理程序22、用于学习的训练数据24以及具有储层模型的构成数据和输出权重等参数的储层模型数据26。处理器12通过执行从辅助存储装置读出并在主存储器14中展开的学习程序20和推理程序22，来执行学习工序的运算以及推理工序的运算。另外，处理器12执行储层模型数据26所包含的运算程序，对时间序列的输入运算储层的状态的迁移。
[0044]另外，在图1的信息处理系统中，设置物理储层18。由此，处理器12也能够经由接口16参照物理储层18的物理上的变化，来代替参照储层模型数据26运算储层的状态的迁移。在该情况下，处理器12在学习工序中不进行储层的状态迁移的运算，代替其而获取物理储层18的输出，通过运算来进行减少教师数据与输出的误差的输出权重的更新。
[0045]从本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种信息处理系统，具有：信息处理装置，具有存储器和访问上述存储器的处理器；以及储层，能够与上述信息处理装置进行通信，上述储层具有：输入层，被给予输入；第一输出层，基于上述输入来输出第一读出值；第二输出层，基于上述输入来输出第二读出值；第一部分储层，具有上述输入层和上述第一输出层；以及第二部分储层，具有上述输入层和上述第二输出层，并且上述输入层与上述第二输出层之间的尺寸大于上述输入层与上述第一输出层之间的尺寸，上述处理器执行上述储层的学习处理，上述学习处理包括：第一处理，计算减小第一输出与对应于上述第一输入的教师数据的差分的第三输出权重，其中，上述第一输出是由上述第一输出层基于第一输入而输出的第三读出值与第一输出权重的乘积和值；以及第二处理，计算减小第二输出与差分教师数据的差分的第四输出权重，其中，上述第二输出是由上述第二输出层基于上述第一输入而输出的第四读出值与第二输出权重的乘积和值，上述差分教师数据是上述第三读出值与上述第三输出权重的乘积和值与上述教师数据的差分。2.根据权利要求1所述的信息处理系统，其中，上述处理器执行被执行了上述学习处理的上述储层的推理处理，上述推理处理具有计算第三输出与第四输出的和的处理，其中，上述第三输出是由上述第一输出层基于第二输入而输出的第五读出值与上述第三输出权重的乘积和值，上述第四输出是由上述第二输出层基于上述第二输入而输出的第六读出值与上述第四输出权重的乘积和值。3.根据权利要求1或2所述的信息处理系统，其中，上述储层具有多个节点，上述多个节点具有在任意的节点间具有权重的耦合，上述多个节点中的任意的节点具有自耦合，上述自耦合具有权重，上述第一部分储层包含上述多个节点的一部分，上述第二部分储层包含上述多个节点的另一部分，上述多个节点的上述另一部分的节点数多于上述多个节点的上述一部分的节点数。4.根据权利要求3所述的信息处理系统，其中，上述储层是交叉开关，上述交叉开关具有对应于上述多个节点的输入的多个列线、对应于上述多个节点的输出的多个行线、以及在上述多个列线与上述多个行线的任意的交叉位置具有上述自耦合或者上述耦合。5.根据权利要求1或2所述的信息处理系统，其中，上述储层是基于输入来输出非线性特性的材料储层，上述输入层设置于上述材料储层的任意的输入位置，
上述第一输出层设置于上述材料储层的第一输出位置，上述第二输出层设置于上述材料储层的第二输出位置，其中，上述输入位置与上述第二输出位置之间的距离比上述输入位置与上述第一输出位置之间的距离长。6.一种信息处理装置，具有存储器和访问上述存储器的处理器，并且能够与储层进行通信，其中，上述储层具有：输入层，被给予输入；第一输出层，基于上述输入来输出第一读出值；第二输出层，基于上述输入来输出第二读出值；第一部分储层，具有上述输入层和上述第一输出层；以及...
【专利技术属性】
技术研发人员：宫原昭一，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。