一种神经网络的超参数处理的方法及装置制造方法及图纸

一种神经网络的超参数处理的方法，包括：将用于进行模型训练的数据中的第一数据分为K等份，为模型生成一个超参数字典；每次训练时，对所述超参数字典中的参数的取值进行排列组合，针对每一种排列组合循环选取K‑1份的数据进行训练，剩余一份数据进行验证，记录K次模型验证的模型得分均值和训练时间的平均值；选择最优的模型得分均值及处于指定范围内的训练时间的平均值对应的参数组合，作为所述模型的超参数组合。还提供一种神经网络的超参数处理的装置。本方案可以将超参数这种手动设置，转变为依赖于经验的过程自动化，极大减轻了模型设计人员的工作量，提高了工作效率。同时通过更适合的超参数设置，提高模型训练的速度和模型的精度。

【技术实现步骤摘要】
一种神经网络的超参数处理的方法及装置
本专利技术涉及机器学习神经网络领域，尤指一种神经网络的超参数处理的方法及装置。
技术介绍
在机器学习和相关领域，神经网络(人工神经网络)的计算模型灵感来自动物的中枢神经系统(尤其是脑)，并且被用于估计或可以依赖于大量的输入和一般的未知近似函数。人工神经网络通常呈现为相互连接的“神经元”，它可以从输入的计算值，并且能够机器学习以及模式识别由于它们的自适应性质的系统。人工神经网络也具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境(即输入信号情况)而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，在机器学习过程中需要对超参数进行优化，给学习器选择一组最优超参数，以提高学习的性能和效果。比如学习率，正则化参数，神经网络的层数，每一个隐藏层中神经元的个数，学习的回合数(Epoch)，批量数据的大小(minibatchsize)，神经元的激活函数，cost函数的选择等都是超参数。与超参数区别的概念是参数，它是模型训练过程中学习到的一部分，比如神经网络权重。参数是通过模型训练获得的，而超参数是人工配置参数(本质上是参数的参数，每次改变超参数，模型都要重新训练)。超参数是可以影响神经网络学习速度和最后分类结果，其中神经网络的学习速度主要根据训练集上代价函数下降的快慢有关，而最后的分类的结果主要跟在验证集上的分类正确率有关。在以往的神经网络的模型训练中，超参数的设置往往依赖于设计人员的经验。在完成超参设置之后，进行模型训练、评估。之后根据模型训练、评估的结果，进行超参数的调整，之后再重新训练、评估。通常这个过程需要反复多次，直到找到一组较为合适的超参数。模型设计人员的工作量具大，且效率低下。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种处理神经网络的超参数的方法及装置，提高模型训练的速度和模型的精度。为了达到本专利技术目的，本专利技术提供了一种神经网络的超参数处理的方法，包括：将用于进行模型训练的数据中的第一数据分为K等份，为模型生成一个超参数字典；每次训练时，对所述超参数字典中的参数的取值进行排列组合，针对每一种排列组合循环选取K-1份的数据进行训练，剩余一份数据进行验证，记录K次模型验证的模型得分均值和训练时间的平均值；选择最优的模型得分均值及处于指定范围内的训练时间的平均值对应的参数组合，作为所述模型的超参数组合。进一步地，所述选择最优的模型得分均值及处于指定范围内的训练时间的平均值对应的参数组合，作为所述模型的超参数组合后，还包括：使用所选的超参数组合，应用所述用于进行模型训练的数据中除所述第一数据外的数据，进行模型评估。进一步地，所述超参数字典中的参数至少包括以下参数：学习率，学习的回合数，批量数据的大小。一种神经网络的超参数处理的装置，包括：存储器和处理器；其中：所述存储器，用于保存用于处理神经网络的超参数的程序；所述处理器，用于读取执行所述用于处理神经网络的超参数的程序，执行如下操作：将用于进行模型训练的数据中的第一数据分为K等份，为模型生成一个超参数字典；每次训练时，对所述超参数字典中的参数的取值进行排列组合，针对每一种排列组合循环选取K-1份的数据进行训练，剩余一份数据进行验证，记录K次模型验证的模型得分均值和训练时间的平均值；选择最优的模型得分均值及处于指定范围内的训练时间的平均值对应的参数组合，作为所述模型的超参数组合。进一步地，所述处理器，还用于使用所选的超参数组合，应用所述用于进行模型训练的数据中除所述第一数据外的数据，进行模型评估。进一步地，所述超参数字典中的参数至少包括以下参数：学习率，学习的回合数，批量数据的大小。本实施例的方案可以将超参数这种手动设置，转变为依赖于经验的过程自动化，极大减轻了模型设计人员的工作量，提高了工作效率。同时通过更适合的超参数设置，提高模型训练的速度和模型的精度。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本专利技术技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本专利技术的技术方案，并不构成对本专利技术技术方案的限制。图1为本专利技术实施例的一种神经网络的超参数处理的方法的流程图；图2为本专利技术一应用示例的神经网络的超参数处理的方法的流程图；图3为本专利技术应用示例的训练数据划分的示意图；图4为本专利技术实施例的一种神经网络的超参数处理的装置的示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下文中将结合附图对本专利技术的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。图1为本专利技术实施例的一种神经网络的超参数处理的方法的流程图，如图1所示，本实施例的方法包括：步骤101、将用于进行模型训练的数据中的第一数据分为K等份，为模型生成一个超参数字典；步骤102、每次训练时，对所述超参数字典中的参数的取值进行排列组合，针对每一种排列组合循环选取K-1份的数据进行训练，剩余一份数据进行验证，记录K次模型验证的模型得分均值和训练时间的平均值；步骤103、选择最优的模型得分均值及处于指定范围内的训练时间的平均值对应的参数组合，作为所述模型的超参数组合。本专利技术实施例提出的神经网络的超参数处理的方法，依赖于经验的过程自动化，极大减轻了模型设计人员的工作量，提高工作效率。同时通过更适合的超参数设置，提高模型训练的速度和模型的精度。图2为本专利技术一应用示例的神经网络的超参数处理的方法的流程图，如图2所示，本示例的方法包括：步骤201、首先系统对用于进行模型训练的数据进行自动的划分。本示例中，原始的数据被自动划分为3份，分别为：训练集和测试集。其中训练集用来训练模型，测试集用来衡量模型表现的好坏。步骤202、系统为模型自动生成一个超参数字典。本示例中，超参数字典中包含若干个超参数以及对应超参数的取值。例如如下字典：{"learning_rate":(0.0001，0.0009，0.001，0.009，0.01，0.09，0.1，0.9)，"batch_size":(1000，2000，3000，4000，5000，6000，7000，8000)，"epoch_num":(1，5，9，15)}。该字典代表学习率的取值可为：0.0001，0.0009，0.001，0.009，0.01，0.本文档来自技高网...

【技术保护点】
1.一种神经网络的超参数处理的方法，其特征在于，包括：将用于进行模型训练的数据中的第一数据分为K等份，为模型生成一个超参数字典；每次训练时，对所述超参数字典中的参数的取值进行排列组合，针对每一种排列组合循环选取K‑1份的数据进行训练，剩余一份数据进行验证，记录K次模型验证的模型得分均值和训练时间的平均值；选择最优的模型得分均值及处于指定范围内的训练时间的平均值对应的参数组合，作为所述模型的超参数组合。

【技术特征摘要】
1.一种神经网络的超参数处理的方法，其特征在于，包括：将用于进行模型训练的数据中的第一数据分为K等份，为模型生成一个超参数字典；每次训练时，对所述超参数字典中的参数的取值进行排列组合，针对每一种排列组合循环选取K-1份的数据进行训练，剩余一份数据进行验证，记录K次模型验证的模型得分均值和训练时间的平均值；选择最优的模型得分均值及处于指定范围内的训练时间的平均值对应的参数组合，作为所述模型的超参数组合。2.根据权利要求1所述的方法，其特征在于，所述选择最优的模型得分均值及处于指定范围内的训练时间的平均值对应的参数组合，作为所述模型的超参数组合后，还包括：使用所选的超参数组合，应用所述用于进行模型训练的数据中除所述第一数据外的数据，进行模型评估。3.根据权利要求1或2所述的方法，其特征在于，所述超参数字典中的参数至少包括以下参数：学习率，学习的回合数，批量数据的大小。4.一种神经网络的超参数...

【专利技术属性】
技术研发人员：赵仁明，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41