网络构筑装置和网络构筑方法制造方法及图纸

构成为元素构筑部(13)对由输出值计算部(12)计算出的中间层(2)包含的1个以上的元素的输出值和阈值进行比较，如果中间层(2)包含的1个以上的元素的输出值中的任意输出值大于阈值，则维持中间层(2)包含的元素的数量，如果中间层(2)包含的1个以上的元素的输出值全部为阈值以下，则增加中间层(2)包含的元素的数量。

Network Architecture Device and Network Architecture Method

The element construction unit (13) compares the output values and thresholds of more than one element contained in the middle layer (2) calculated by the output value calculation unit (12). If any output value of more than one element contained in the middle layer (2) is greater than the threshold value, the number of elements contained in the middle layer (2) is maintained, and if the output value of more than one element contained in the middle layer (2) is complete. If the part is below the threshold value, the number of elements contained in the middle layer (2) is increased.

【技术实现步骤摘要】
【国外来华专利技术】网络构筑装置和网络构筑方法
本专利技术涉及构筑神经网络的网络构筑装置和网络构筑方法。
技术介绍
神经网络是级联连接有输入层、中间层和输出层的网络。神经网络是一种近似函数，通过事前学习输入数据与输出数据的相关关系，在赋予了任意的输入数据时，预测与任意的输入数据对应的输出数据。中间层包含的元素的数量等神经网络的构造往往由神经网络的设计者手动决定，但是，不熟知神经网络的设计者很难适当决定神经网络的构造。在以下的非专利文献1中公开有如下的网络构筑方法：使用被称作AiS(AddifSilent)的方法，自动决定神经网络的构造。该神经网络是被称作新认知机的模仿生物的视觉信息处理的神经网络，该神经网络的中间层包含的元素是输入输出响应由归一化线性函数决定的元素。现有技术文献非专利文献非专利文献1：Fukushima,K.:“Artificialvisionbymulti-layeredneuralnetworks:Neocognitronanditsadvances”,NeuralNetworks,vol.37,pp.103-119(2013).
技术实现思路
专利技术要解决的课题现有的网络构筑方法如上所述构成，因此，如果中间层包含的元素是输入输出响应由归一化线性函数决定的元素，则能够自动决定中间层包含的元素的数量等。但是，在中间层包含的元素是输入输出响应由高斯函数决定的元素的情况下，存在即使使用被称作AiS的方法也无法自动决定中间层包含的元素的数量等这样的课题。本专利技术正是为了解决上述课题而完成的，其目的在于得到如下的网络构筑装置和网络构筑方法：即使中间层包含的元素是输入输出响应由高斯函数决定的元素，也能够自动决定中间层包含的元素的数量。用于解决课题的手段本专利技术的网络构筑装置设置输出值计算部，该输出值计算部在构筑具有中间层的神经网络时，按照神经网络的输入层包含的元素的输出值计算中间层包含的1个以上的元素的输出值，中间层包含输入输出响应由高斯函数决定的元素，元素构筑部对由输出值计算部计算出的1个以上的元素的输出值和阈值进行比较，如果中间层包含的1个以上的元素的输出值中的任意元素的输出值大于阈值，则维持中间层包含的元素的数量，如果中间层包含的1个以上的元素的输出值全部为阈值以下，则实施增加中间层包含的元素的数量的元素构筑处理。专利技术效果根据本专利技术，构成为元素构筑部对由输出值计算部计算出的1个以上的元素的输出值和阈值进行比较，如果中间层包含的1个以上的元素的输出值中的任意元素的输出值大于阈值，则维持中间层包含的元素的数量，如果中间层包含的1个以上的元素的输出值全部为阈值以下，则实施增加中间层包含的元素的数量的元素构筑处理。因此，具有如下效果：即使中间层包含的元素是输入输出响应由高斯函数决定的元素，也能够自动决定中间层包含的元素的数量。附图说明图1是示出本专利技术的实施方式1的网络构筑装置的结构图。图2是本专利技术的实施方式1的网络构筑装置的硬件结构图。图3是示出本专利技术的实施方式1的网络构筑装置适用的神经网络的一例的说明图。图4是网络构筑装置通过软件或固件等实现时的计算机的硬件结构图。图5是示出网络构筑装置通过软件或固件等实现时的处理步骤即网络构筑方法的流程图。图6是示出网络构筑装置通过软件或固件等实现时的处理步骤即网络构筑方法的流程图。图7是示出本专利技术的实施方式2的网络构筑装置适用的神经网络的一例的说明图。图8是示出网络构筑装置通过软件或固件等实现时的处理步骤即网络构筑方法的流程图。图9是示出本专利技术的实施方式3的网络构筑装置的结构图。图10是本专利技术的实施方式3的网络构筑装置的硬件结构图。具体实施方式下面，为了更加详细地说明本专利技术，按照附图对用于实施本专利技术的方式进行说明。在神经网络的中间层包含的元素的输入输出响应为归一化线性函数的情况下，例如，假设在对中间层输入大幅偏离假设范围的正数据时，从中间层输出较大的正数据。其结果是，假设从输出层也输出较大的正数据。由此，例如，神经网络的输出侧的装置在对中间层输入大幅偏离假设范围的数据时，从神经网络的输出层输出较大的正数据，因此，可能受到较大的影响。在神经网络的中间层包含的元素的输入输出响应为高斯函数的情况下，例如，在对中间层输入大幅偏离假设范围的正数据或负数据时，从中间层输出接近零的数据。其结果是，从输出层也输出接近零的数据。由此，例如，神经网络的输出侧的装置即使对中间层输入大幅偏离假设范围的数据，也从神经网络的输出层输出接近零的数据，因此，能够避免较大的影响。实施方式1图1是示出本专利技术的实施方式1的网络构筑装置的结构图，图2是本专利技术的实施方式1的网络构筑装置的硬件结构图。图3是示出本专利技术的实施方式1的网络构筑装置适用的神经网络的一例的说明图。在图1～图3中，神经网络具有输入层1、中间层2和输出层3。在本实施方式1中，说明中间层2的层数为1的例子，中间层2的层数为2以上的例子在实施方式2中进行说明。输入层1包含I(I为1以上的整数)个元素ai(i＝1、…、I)，例如，从传感器等依次赋予M(M为1以上的整数)个学习数据xm＝(x1m、x2m、…、xIm)。m＝1、2、…、M。学习数据xm的维数为I，将学习数据xm中包含的xim(i＝1、…、I)称作成分数据。输入层1在对第i个元素ai(i＝1、…、I)赋予学习数据xim的第i个成分数据xim(i＝1、…、I)时，输出yi＝xim，作为针对中间层2包含的第j个元素bj(j＝1、…、J)的第i个元素ai的输出值。中间层2包含J(J为1以上的整数)个元素bj(j＝1、…、J)，第j个元素bj是输入输出响应由高斯函数决定的元素。但是，在本实施方式1中，为了便于说明，设在网络构筑装置构筑网络之前，中间层2包含的元素的数量为零。这只是一例，在网络构筑装置构筑网络之前，中间层2也可以包含1个以上的元素。中间层2在对第j个元素bj赋予输入层1包含的I个元素ai的输出值yi(i＝1、…、I)时，根据I个元素ai的输出值yi计算第j个元素bj的输出值zj(j＝1、…、J)，将元素bj的输出值zj输出到输出层3。输出层3包含元素c，元素c例如计算中间层2与输出层3之间的权重vj(j＝1、…、J)和中间层2包含的J个元素bj的输出值zj(j＝1、…、J)之积的总和，输出该总和。在图3中，示出输出层3包含的元素c的个数为一个的例子，但是，也可以包含多个元素c。初始设定部11例如通过图2的初始设定电路21实现。初始设定部11实施如下处理：按照中间层2包含的每个元素，对与该元素bj有关的高斯函数的参数进行初始设定。作为高斯函数的参数，例如，初始设定部11对高斯分布的标准偏差值σi、j、高斯函数的中心坐标μi、j、输入层1包含的第i个元素ai与中间层2包含的第j个元素bj之间的权重Wi、j进行初始设定。高斯分布的标准偏差值σi、j是针对中间层2包含的第j个元素bj的例如I个元素ai的输出值yi(i＝1、…、I)的标准偏差值。高斯函数的中心坐标μi、j是中间层2包含的第j个元素bj的中心成分。输出值计算部12例如通过图2的输出值计算电路22实现。输出值计算部12从初始设定部11赋予高斯分布的标准偏差值σi、j、高斯函数的中心坐标μi、j和权重Wi、j，作为高斯函数的参数的初始值本文档来自技高网...

【技术保护点】
1.一种网络构筑装置，其中，所述网络构筑装置具有：输出值计算部，其在构筑具有中间层的神经网络时，按照所述神经网络的输入层包含的元素的输出值计算所述中间层包含的1个以上的元素的输出值，所述中间层包含输入输出响应由高斯函数决定的元素；以及元素构筑部，其对由所述输出值计算部计算出的1个以上的元素的输出值和阈值进行比较，如果所述中间层包含的1个以上的元素的输出值中的任意元素的输出值大于所述阈值，则维持所述中间层包含的元素的数量，如果所述中间层包含的1个以上的元素的输出值全部为所述阈值以下，则实施增加所述中间层包含的元素的数量的元素构筑处理。

【技术特征摘要】
【国外来华专利技术】1.一种网络构筑装置，其中，所述网络构筑装置具有：输出值计算部，其在构筑具有中间层的神经网络时，按照所述神经网络的输入层包含的元素的输出值计算所述中间层包含的1个以上的元素的输出值，所述中间层包含输入输出响应由高斯函数决定的元素；以及元素构筑部，其对由所述输出值计算部计算出的1个以上的元素的输出值和阈值进行比较，如果所述中间层包含的1个以上的元素的输出值中的任意元素的输出值大于所述阈值，则维持所述中间层包含的元素的数量，如果所述中间层包含的1个以上的元素的输出值全部为所述阈值以下，则实施增加所述中间层包含的元素的数量的元素构筑处理。2.根据权利要求1所述的网络构筑装置，其特征在于，所述网络构筑装置具有初始设定部，该初始设定部按照所述中间层包含的每个元素，对与该元素有关的高斯函数的参数进行初始设定，所述输出值计算部针对具有由所述初始设定部初始设定后的参数的高斯函数代入所述输入层包含的元素的输出值，由此计算所述中间层包含的元素的输出值。3.根据权利要求2所述的网络构筑装置，其特征在于，所述网络构筑装置具有参数更新部，在由所述元素构筑部实施元素构筑处理后对所述输入层赋予了学习数据时，该参数更新部实施进行所述高斯函数的参数学习的有教师学习，由此，对所述高斯函数的参数进行更新，并且，对所述中间层包含的元素与输出层包含的元素之间的权重进行更新。4.根据权利要求3所述的网络构筑装置，其特征在于，所述参数更新部实施所述有教师学习，由此，对所述输入层包含的元素与所述中间层包含的元素之间的权重进行更新。5.根据权利要求2所述的网络构筑装置，其特征在于，所述输出值计算部使用针对所述中间层包含的各个元素的所述高斯函数中的高斯分布的标准偏差值，作为所述高斯函数的参数之一。6.根据权利要求5所述的网络构筑装置，其特征在于，所述输出值计算部使用所述输入层包含的多个元素的输出值的标准偏差值，作为针对所述中间层包含的各个元素的所述高斯分布的标准偏差值。7.根据权利要求5所述的网络构筑装置，其特征在于，所述输出值计算部使用正实数，作为针对所述中间层包含的各个元素的所述高斯分布的标准偏差值。8.根据权利要求1所述的网络构筑装置，其特征在于，所述元素构筑部使用1以下的正实数作为所述阈值。9.根据权利要求1所述的网络构筑装置，其特征在于，所述元素构筑部使用e-0.25以上且1以下的正实数作为所述阈值。10.根据权利要求3所述的网络构筑装置，其特征在于，作为所述高斯函数的参数，所述参数更新部对表示所述高斯函数中的高斯分布的标准偏差值的参数和表示所述高斯函数的中心坐标的参数中的任意一个以上的参数进行更新。11.根据权利要求1所述的网络构筑装置，其特征在于，所述神经网络具有G(G为2以上的整数)层的中间层，所述G层的中间层级联连接在所述输入层与输出层之间，所述输出值计算部在对第1层的中间层包含的1个以上的元素赋予所述输入层包含的元素的输出值时，按照所述输入层包含的元素的输出值计算第1层的中间层包含的1个以上的元素的输出值，在对第g层(g＝2、…、G)的中间层包含的1个以上的元素赋予第(g-1)层(g＝2、…、G)的中间层包含的元素的输出值时，按照第(g-1)层(g＝2、…、G)的中间层包含的元素的输出值计算第g层...

【专利技术属性】
技术研发人员：毬山利贞，福岛邦彦，松本涉，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本,JP