调参方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种调参方法、装置及存储介质，所述方法包括：根据预设的迭代训练次数n，对超参数的取值进行卷积神经网络模型的迭代训练；确定所述超参数的取值在每次迭代训练中的超参数价值；将所述n次迭代训练得到的超参数价值中的最大超参数价值所对应的取值作为所述超参数的最优取值。本发明专利技术有效地提高卷积神经网络模型中最优超参数的决策速度。

Parameter adjusting method, device and storage medium

The invention discloses a parametric adjustment method, device and storage medium. The method includes: according to the preset number of iteration training n, the convolution neural network model is iteratively trained for the value of the super-parameter; the value of the value of the super-parameter in each iteration training is determined; and the value of the super-parameter in each iteration training is obtained by training the n iterations. The value of the maximum parameter in the super parameter value is the best value of the super parameter. The invention effectively improves the decision speed of the optimal super parameter in the convolution neural network model.

【技术实现步骤摘要】
调参方法、装置及存储介质
本专利技术涉及神经网络
，特别是涉及一种调参方法、装置及存储介质。
技术介绍
深度学习源自神经网络，核心是特征学习，即通过组合低层特征形成更加抽象的高层特征，从而发现数据的分布特征。卷积神经网络模型是一种多层神经网络，卷积神经网络模型有两套参数，一类是基础参数，如卷积层或全连接层的权重和偏置，另一类则是超参数，如网络训练时的学习率、权重衰减系数、Dropout比例等，需要在模型训练之前设定。卷积神经网络模型的训练过程就是根据损失自动调整基础参数的过程，如果想要快速调出合适的基础参数，取得更高的性能准确率，就需要选择合适的超参数。超参数的选择有两种基本方法：人工调参和自动化调参。自动化调参即对超参数进行自适应调整，减少对卷积神经网络模型训练过程的人工干预，从而降低卷积神经网络模型训练难度。目前常见的自动化调参算法包括网格搜索和随机搜索。其中网格搜索的算法时间复杂度会随着超参数增多呈指数上升，只能适用于小规模神经网络且超参数较少的情况；随机搜索的算法需要多次迭代采样才有可能确定最优超参数，当采样次数不足时会漏掉最优超参数组合，因此，目前常见的自动调参方法中最优超参数的决策速度还有待提高。
技术实现思路
为了克服上述缺陷，本专利技术要解决的技术问题是提供一种调参方法、装置及存储介质，用以提高卷积神经网络模型中超参数最优取值的决策速度。为解决上述技术问题，本专利技术实施例中的一种调参方法，包括：根据预设的迭代训练次数n，对超参数的取值进行卷积神经网络模型的迭代训练；确定所述超参数的取值在每次迭代训练中的超参数价值；将所述n次迭代训练得到的超参数价值中的最大超参数价值所对应的取值作为所述超参数的最优取值。为解决上述技术问题，本专利技术实施例中的一种调参装置，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序，以实现如上所述方法的步骤。为解决上述技术问题，本专利技术实施例中的一种计算机可读存储介质，存储有计算机程序，所述计算机程序被至少一个处理器执行时，以实现如上所述方法的步骤。本专利技术有益效果如下：本专利技术各个实施例根据预设的迭代训练次数n，对超参数取值进行卷积神经网络模型的迭代训练，并通过超参数价值，确定所述超参数取值在每次迭代训练中的超参数价值，进而将所述n次迭代训练中最大超参数价值对应的超参数取值作为所述超参数的最优取值，从而有效提高卷积神经网络模型中最优超参数的决策速度。附图说明图1是本专利技术实施例一种调参方法的流程图；图2是本专利技术实施例一种可选地调参方法的流程图；图3是对图2进行详细描述的流程图；图4是本专利技术实施例中一种调参装置的结构示意图。具体实施方式为了解决现有技术的问题，本专利技术提供了一种调参方法、装置及存储介质，以下结合附图以及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不限定本专利技术。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本专利技术的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。使用用于区分元件的诸如“第一”、“第二”等前缀仅为了有利于本专利技术的说明，其本身没有特定的意义。实施例一本专利技术实施例提供一种调参方法，如图1所示，所述方法包括：S101，根据预设的迭代训练次数n，对超参数的取值进行卷积神经网络模型的迭代训练；S102，确定所述超参数的取值在每次迭代训练中的超参数价值；S103，将所述n次迭代训练得到的超参数价值中的最大超参数价值所对应的取值作为所述超参数的最优取值。详细地，卷积神经神经网络中超参数非常多，但卷积神经网络对部分超参数不敏感，这些超参数是否为最优值对模型性能表现的影响不大，因此本专利技术实施例中的超参数一般为对模型性能影响较大的超参数；例如学习率、动量、L2正则化系数、批处理大小、卷积层和全连接层中权重滤波器的初始化类型等。本专利技术实施例根据预设的迭代训练次数n，对超参数取值进行卷积神经网络模型的迭代训练，并通过超参数价值，确定所述超参数取值在每次迭代训练中的超参数价值，进而将所述n次迭代训练中最大超参数价值对应的超参数取值作为所述超参数的最优取值，从而有效提高卷积神经网络模型中最优超参数的决策速度。在本专利技术实施例中，可选地，所述根据预设的迭代训练次数n，对超参数取值进行卷积神经网络模型的迭代训练，包括：对于第i次迭代训练：当所述i等于1时，将第一次随机采样的采样值作为所述超参数的取值，进行所述卷积神经网络模型的第一次迭代训练；当所述i大于1且小于所述n时，将第i次随机采样的采样值或预先确定的最优经验采样值作为所述超参数的取值，进行所述卷积神经网络模型的第i次迭代训练。本专利技术可选实施例中，将最优经验采样值引入超参数自动化调参的采样过程，进而更加有效提高卷积神经网络模型中最优超参数的决策速度。其中，可选地，将预先确定的最优经验采样值作为所述超参数取值，进行所述卷积神经网络模型的第i次迭代训练之前，包括：将前i-1次迭代训练得到的超参数价值中的最大超参数价值所对应的取值确定为所述最优经验采样值。本专利技术可选实施例通过超参数价值确定的最优经验采用值，有效解决网格搜索的算法时间复杂度会随着超参数增多呈指数上升的问题，并有效解决随机搜索的算法需要多次迭代采样才有可能确定最优超参数，当采样次数不足时会漏掉最优超参数组合的问题。在本专利技术实施例中，可选地，所述确定所述超参数取值在每次迭代训练中的超参数价值，包括：对于任意一次迭代训练，在所述任意一次迭代训练结束时，根据当前已完成的迭代训练分别对应的各个超参数取值效应值，确定所述超参数的取值在所述任意一次迭代训练中所对应的超参数价值；也就是说，假如所述任意一次迭代训练为第p次迭代训练，在第p次迭代训练结束时，根据前p次迭代训练中每次迭代训练对应的超参数取值效应值，确定所述超参数的取值在所述第p次迭代训练中所对应的超参数价值；所述p小于或等于n。本专利技术实施例中超参数取值效应值用于评价超参数不同取值对模型训练效果的影响程度；本专利技术实施例中超参数价值用于度量多次训练中超参数取值效应值的统计特性，利用最大化超参数价值确定多次训练后每个超参数的最优经验采样值。本专利技术可选实施例进一步提高卷积神经网络模型中最优超参数的决策速度，并且通过超参数取值效应值设置超参数价值，可以有效的提高模型的性能。其中，可选地，根据当前已完成的迭代训练分别对应的各个超参数取值效应值，确定所述超参数的取值在所述任意一次迭代训练中所对应的超参数价值，包括：将所述各个超参数取值效应值的均值确定为所述超参数的取值在所述任意一次迭代训练中所对应的超参数价值。本专利技术可选实施例通过超参数取值效应值的均值表示超参数价值，从而可以获取超参数取值效应值的统计特征，有效避免保存所有效应值带来的内存开销。超参数价值用于评价超参数不同取值对模型训练效果的影响程度，超参数价值越高，则表明该超参数的取值越有利于模型性能。在本专利技术实施例中，可选地，所述根据当前已完成的迭代训练分别对应的各个超参数取值效应值，确定所述超参数的取值在所述任意一次迭代训练中所对应的超参数价值之前，包括：在所述当前已完成的迭代训练中的每次迭代训练后，确定所述每次迭代训练中所述卷积神经网络模本文档来自技高网...

【技术保护点】
1.一种调参方法，其特征在于，所述方法包括：根据预设的迭代训练次数n，对超参数的取值进行卷积神经网络模型的迭代训练；确定所述超参数的取值在每次迭代训练中的超参数价值；将所述n次迭代训练得到的超参数价值中的最大超参数价值所对应的取值作为所述超参数的最优取值。

【技术特征摘要】
1.一种调参方法，其特征在于，所述方法包括：根据预设的迭代训练次数n，对超参数的取值进行卷积神经网络模型的迭代训练；确定所述超参数的取值在每次迭代训练中的超参数价值；将所述n次迭代训练得到的超参数价值中的最大超参数价值所对应的取值作为所述超参数的最优取值。2.如权利要求1所述的方法，其特征在于，所述根据预设的迭代训练次数n，对超参数取值进行卷积神经网络模型的迭代训练，包括：对于第i次迭代训练，当所述i等于1时，将第一次随机采样的采样值作为所述超参数的取值，进行所述卷积神经网络模型的第一次迭代训练；当所述i大于1且小于所述n时，将第i次随机采样的采样值或预先确定的最优经验采样值作为所述超参数的取值，进行所述卷积神经网络模型的第i次迭代训练。3.如权利要求2所述的方法，其特征在于，其中将第i次随机采样的采样值或预先确定的最优经验采样值作为所述超参数的取值，进行所述卷积神经网络模型的第i次迭代训练之前，包括：将前i-1次迭代训练得到的超参数价值中的最大超参数价值所对应的取值确定为所述最优经验采样值。4.如权利要求2所述的方法，其特征在于，所述将第i次随机采样的采样值或预先确定的最优经验采样值作为所述超参数取值，进行所述卷积神经网络模型的第i次迭代训练之前，包括：根据预设的第一选取概率，将所述第i次随机采样的采样值作为所述超参数取值；根据预设的第二选取概率，将所述最优经验采样值作为所述超参数取值。5.如权利要求1-4中任意一项所述的方法，其特征在于，所述确定所述超参数的取值在每次迭代训练中的超参数价值，包括：对于任意一次迭代训练，在所述任意一次迭代训练结束...

【专利技术属性】
技术研发人员：徐茜，屠要峰，高洪，陈小强，李忠良，
申请(专利权)人：南京中兴软件有限责任公司，
类型：发明
国别省市：江苏,32