超参数调整装置、记录有超参数调整程序的非暂时性记录介质以及超参数调整程序制造方法及图纸

超参数调整装置具有：学习处理部(24)，其以将第一NN(16)的超参数集作为输入、并输出学习后性能方式使第二NN(18)学习，该学习后性能是设定有该超参数集的学习完成的第一NN(16)的性能；GA处理部(26)，其通过将第一NN(16)的超参数集作为个体、将设定有该超参数集的第一NN(16)的学习后性能所对应的值作为适应度的遗传算法，调整第一NN(16)的超参数集。在该遗传算法的各代的处理中，与各超参数对应的第一NN(16)的学习后性能是使用第二NN(18)来获取的。的。的。

【技术实现步骤摘要】
【国外来华专利技术】超参数调整装置、记录有超参数调整程序的非暂时性记录介质以及超参数调整程序


[0001]本专利技术涉及超参数调整装置、记录有超参数调整程序的非暂时性记录介质以及超参数调整程序。

技术介绍

[0002]以往，已知有神经网络(以下，在本说明书中有时称为“NN(Neural Network)”)。NN是指模仿大脑功能而构成的模型，其具有将多个层连接而成的结构，所述层包括一个或多个被称为神经元的节点。NN是基于输入数据推测与该输入数据对应的输出数据并将其输出的模型。
[0003]通过使用学习数据使NN学习，NN能够输出与未知的输入数据对应的高精度的输出数据。随着NN的学习处理的不断进行，NN所具有的参数被不断地调整(改变)。作为通过学习处理而改变的NN的参数，例如有对将神经元之间连接的边缘定义的权重、对各神经元定义的偏差等。
[0004]在NN所具有的参数中，除了上述的权重、偏差之外，还具有通过学习处理而改变的参数。这样的参数被称为超参数。作为超参数，包括但不限于例如训练轮数(epoch)(一个学习数据的重复使用次数)、隐藏层数(除了位于最靠输入侧的输入层和位于最靠输出侧的输出层以外的层的数量)、隐藏层神经元数量(各隐藏层的神经元数量)、丢弃(dropout)数量(在学习处理中未调整权重、偏差的神经元(非活性神经元)的数量)、或批(batch)数量(在将学习数据分为多个子集时的子集中包含的学习数据的数量)等。超参数也可以说是表示NN的结构或学习方法的参数。
[0005]此处，已知充分学习完成的该NN的输出精度、该NN的学习效率(在进行规定次数的学习后的该NN的输出精度)根据NN的超参数而变化。因此，NN的管理员或用户希望将该NN的超参数设定为适当的值。另外，适当的超参数通常根据NN的解析对象、即NN的输入数据而互不相同。
[0006]鉴于这种情况，现有技术中提出了使用调整处理来确定NN的适当的超参数集(与多个超参数项目对应的多个值的集合)的技术。作为这种调整处理的一个例子，已知有遗传算法(也简称为“GA(Genetic Algorithm)”)。例如，专利文献1公开了通过以NN的超参数集为个体、并将设定有该超参数集的学习完成的NN的输出误差所对应的值作为适应度的遗传算法，确定NN的最优超参数集。此外，专利文献2公开了通过将以NN的结构为个体、并将具有该结构的学习完成的NN的输出误差所对应的值作为适应度的遗传算法，确定NN的最优结构。
[0007]另外，作为并不确定NN的超参数集但组合了NN和遗传算法的技术，非专利文献1公开了通过遗传算法对NN所使用的学习数据进行指定。此外，非专利文献2中公开了使用以NN的权重和偏差的集合作为个体的遗传算法，以避免在NN学习时导致局部解。
[0008]现有技术文献
[0009]专利文献
[0010]专利文献1：日本专利第6523379号公报；
[0011]专利文献2：日本专利第6351671号公报。
[0012]非专利文献
[0013]非专利文献1：小俣光司等，《使用遗传算法和作为其评价函数的神经网络的甲醇合成用Cu
‑
Zn
‑
Al氧化物催化剂组成优化》，石油学会论文杂志，第45卷3号(2002年)，第192
‑
195页；
[0014]非专利文献2：光石卫等，《使用神经网络和遗传算法的高精度加工中心的开发》，日本机械学会论文集(C编)，第61卷591号(1995年11月)，第395
‑
400页。

技术实现思路

[0015]专利技术要解决的问题
[0016]在想要通过调整处理来调整NN的超参数集的情况下，可能产生该调整处理的处理量或处理时间变得庞大的问题。特别是在包含遗传算法的现有技术的调整处理时，有时必须使设定有互不相同的超参数集的多个NN充分地学习。在这种情况下，可能产生调整处理中用于使该NN学习的处理量或处理时间变得庞大的问题。一边参照图8，一边说明该问题。图8是示出现有技术中的使用了遗传算法的NN的超参数集的调整处理的情况的示意图。
[0017]遗传算法的个体是NN的超参数集。另外，构成该个体的各基因是构成该超参数集的各超参数。而且，各个体的适应度(也称为适合度)是设定有作为各个体的各超参数集的学习完成的NN的性能所对应的值。NN的性能是指例如NN的输出误差(相对于NN的某个输入数据的输出数据和与该输入数据对应的真实数据(即正确数据)之间的差)、从将输入数据输入至NN起到输出输出数据之间的时间即解析时间、或者它们的组合等。在本说明书中，特别地，将充分学习完成的NN的性能称为“学习后性能”，将学习后性能中的充分学习完成的NN的输出误差称为“学习后误差”，将充分学习完成的NN的解析时间称为“学习后解析时间”。在适应度越高而表示该个体即超参数集越优秀的情况下，能够设为例如学习后性能越高(即学习后误差越小，或者学习后解析时间越短)，各个体的适应度越高。各个体对应的适应度有时也基于设定有同一超参数的多个学习完成的NN的多个学习后性能来确定。例如，有时将各个体对应的适应度设为相对于同一超参数的多个学习后误差的平均值、或者相对于同一超参数的多个学习后解析时间的平均值。
[0018]如图8所示，首先准备N个个体、即第一代的N个超参数集作为初始个体群。第一代的N个超参数集中包含的各超参数的值可以随机选择。另外，在图8中，将第m代的第n个超参数集记载为“超参数集m
‑
n”。例如，将第1代的第2个超参数集记载为“超参数集1
‑
2”。
[0019]接下来，计算第一代的N个超参数集各自的适应度。如上所述，各超参数集的适应度是基于设定有该超参数集的NN的学习后性能来计算的。在图8的示例中，示出了学习后误差来作为学习后性能。因此，为了计算与各超参数集相对应的适应度，必须使设定有各超参数集的N个NN分别充分地学习。特别是在基于设定有同一超参数集的多个(这里为P个)学习完成的NN的学习后性能来确定各超参数集的适应度的情况下，需要使N个NN分别学习P次。
[0020]接下来，基于计算出的第一代的N个超参数集各自的适应度，生成第二代的N个超参数集。关于第二代的N个超参数集的获取方法，例如有以下多种方法：精英保留，即保留第
一代的N个超参数集中适应度高的超参数集；交叉，即交换从第一代中选择的2个超参数集各自的一部分超参数；突变，即随机地改变第一代超参数集中所包含的超参数。该方法可以采用与以往的遗传算法相同的方法，因此这里省略详细的说明。
[0021]进而，计算第二代的N个超参数集各自的适应度。与第一代相同地，在第二代中，为了计算与各超参数集相对应的适应度，也需要使设定有各超参数集的N个NN分别充分地学习。此处，在基于设定有同一超参数集的P个学习完成的NN的学习后性能来确定各超参数集的适应度的情况下，也需要使N个NN分别学习P次。
[0022]然后，基于计算出的第二代的N个超参数集各自的适应本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种超参数调整装置，其特征在于，具有：学习处理部，其以将第一神经网络的超参数集作为输入并输出学习后性能的方式使学习器学习，所述学习后性能是设定有该超参数集的学习完成的所述第一神经网络的性能；以及超参数调整部，其基于将所述第一神经网络的多个超参数集分别输入至学习完成的所述学习器而得到的、分别设定有该多个超参数集的多个所述第一神经网络的所述学习后性能，调整所述第一神经网络的超参数集。2.根据权利要求1所述的超参数调整装置，其特征在于，所述超参数调整部通过启发式搜索方法来调整所述第一神经网络的超参数集，所述启发式搜索方法使用了将所述第一神经网络的多个超参数集分别输入至学习完成的所述学习器而得到的、分别设定有该多个超参数集的多个所述第一神经网络的所述学习后性能。3.根据权利要求2所述的超参数调整装置，其特征在于，所述超参数调整部是通过遗传算法来调整所述第一神经网络的超参数集的遗传算法处理部，所述遗传算法将所述第一神经网络的超参数集作为个体，将向学习完成的所述学习器输入该超参数集而得到的、设定有该超参数集的学习完成的所述第一神经网络的所述学习后性能所对应的值作为适应度。4.根据权利要求1至3中任一项所述的超参数调整装置，其特征在于，还具有：学习器参数确定部，...

【专利技术属性】
技术研发人员：河尻耕太郎，
申请(专利权)人：艾佐斯株式会社，
类型：发明
国别省市：