一种超参数调优方法、装置及设备制造方法及图纸

本发明专利技术实施例提供了一种超参数调优方法、装置及设备。其中，该方法包括：确定待确定超参数；获取预先保存的超参数候选值组合，超参数候选值组合中包括待确定超参数的多个候选值；遍历超参数候选值组合中待确定超参数的各个候选值，将该候选值赋值给建立模型函数中的函数参数，函数参数为待确定超参数；运行包括建立模型函数的训练模型，得到训练后模型；确定训练后模型对应的模型评分；选择所有模型评分中的最大值，其中，所有模型评分包括各个候选值分别对应的模型评分；确定最大值为待确定超参数的值。通过本发明专利技术实施例提供的超参数调优方法、装置及设备，能够实现超参数的自动调优，降低超参数调优过程的复杂度。

【技术实现步骤摘要】
一种超参数调优方法、装置及设备
本专利技术涉及机器学习
，特别是涉及一种超参数调优方法、装置及设备。
技术介绍
超参数，用于定义关于模型的更高层次的概念，如复杂性或学习能力等。也可以理解为，超参数就是机器学习模型里面的框架参数，比如聚类方法里面类的个数，或者话题模型里面话题的个数等等。在机器学习过程中，超参数是在开始学习过程之前设置的参数。不能直接从标准模型训练过程中的数据中学习，需要预先定义。目前技术中通常是通过手动设定，实现超参数的调优。而手动调优过程一般情况下比较复杂。
技术实现思路
本专利技术实施例的目的在于提供一种超参数调优方法、装置及设备，以降低超参数调优过程的复杂度。具体技术方案如下：第一方面，本专利技术实施例提供了一种超参数调优方法，包括：确定待确定超参数；获取预先保存的超参数候选值组合，所述超参数候选值组合中包括所述待确定超参数的多个候选值；遍历所述超参数候选值组合中所述待确定超参数的各个候选值，将该候选值赋值给建立模型函数中的函数参数，所述函数参数为所述待确定超参数；运行包括所述建立模型函数的训练模型，得到训练后模型；确定所述训练后模型对应的模型评分；选择所有模型评分中的最大值，其中，所述所有模型评分包括各个候选值分别对应的模型评分；确定所述最大值为所述待确定超参数的值。可选的，在所述获取预先保存的超参数候选值组合之前，所述方法还包括：确定所述待确定超参数的候选值；将所述待确定超参数的标识与所述待确定超参数的候选值对应保存至列表；基于所述列表，得到所述超参数候选值组合。可选的，在所述运行包括所述建立模型函数的训练模型，得到训练后模型之后，所述方法还包括：保存所述训练后模型。可选的，在所述遍历所述超参数候选值组合中所述待确定超参数的各个候选值，将该候选值赋值给建立模型函数中的函数参数之前，所述方法还包括：建立所述函数参数为所述待确定超参数的所述建立模型函数。可选的，所述训练模型包括基于深度学习框架keras的模型。第二方面，本专利技术实施例提供了一种超参数调优装置，包括：第一确定模块，用于确定待确定超参数；获取模块，用于获取预先保存的超参数候选值组合，所述超参数候选值组合中包括所述待确定超参数的多个候选值；赋值模块，用于遍历所述超参数候选值组合中所述待确定超参数的各个候选值，将该候选值赋值给建立模型函数中的函数参数，所述函数参数为所述待确定超参数；运行模块，用于运行包括所述建立模型函数的训练模型，得到训练后模型；第二确定模块，用于确定所述训练后模型对应的模型评分；选择模块，用于选择所有模型评分中的最大值，其中，所述所有模型评分包括各个候选值分别对应的模型评分；第三确定模块，用于确定所述最大值为所述待确定超参数的值。可选的，所述装置还包括：第四确定模块，用于确定所述待确定超参数的候选值；第一保存模块，用于将所述待确定超参数的标识与所述待确定超参数的候选值对应保存至列表；第五确定模块，用于基于所述列表，得到所述超参数候选值组合。可选的，所述装置还包括：第二保存模块，用于保存所述训练后模型。可选的，所述装置还包括：建立模块，用于建立所述函数参数为所述待确定超参数的所述建立模型函数。第三方面，本专利技术实施例提供了一种超参数调优设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序时，实现第一方面所述的方法步骤。本专利技术实施例提供的超参数调优方法、装置及设备，可以确定待确定超参数；获取预先保存的超参数候选值组合，超参数候选值组合中包括待确定超参数的多个候选值；遍历超参数候选值组合中待确定超参数的各个候选值，将该候选值赋值给建立模型函数中的函数参数，函数参数为待确定超参数；运行包括建立模型函数的训练模型，得到训练后模型；确定训练后模型对应的模型评分；选择所有模型评分中的最大值，其中，所有模型评分包括各个候选值分别对应的模型评分；确定最大值为待确定超参数的值。如此，能够实现超参数的自动调优，降低超参数调优过程的复杂度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的超参数调优方法的流程图；图2为本专利技术实施例提供的超参数调优装置的结构示意图；图3为本专利技术实施例提供的超参数调优设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供了一种超参数调优方法，如图1所示，包括：S101，确定待确定超参数。本专利技术实施例提供的超参数调优方法可以应用于电子设备。具体地，电子设备可以为智能手机、平板电脑、笔记本电脑或台式电脑等。具体地，电子设备可以通过专门的调优程序来实现超参数调优方法的过程。在机器学习过程中，在开始学习过程之前首先确定需要确定的超参数，即待确定超参数。如复杂性或学习能力等；机器学习模型里面的框架参数，比如聚类方法里面类的个数，或者话题模型里面话题的个数等等。S102，获取预先保存的超参数候选值组合。超参数候选值组合中包括待确定超参数的多个候选值。本专利技术实施例中在获取预先保存的超参数候选值组合之前，还可以包括如下步骤：A1，确定待确定超参数的候选值。待确定超参数的候选值包括待确定超参数可能会取的值，可以根据实际需求或者经验等确定。A2，将待确定超参数的标识与待确定超参数的候选值对应保存至列表。一种可选的实施例中，包括多个待确定超参数。将各个待确定超参数的标识以及该待确定超参数的候选值对应保存至列表。A3，基于列表，得到超参数候选值组合。把需要调优的超参数，即待确定超参数设置为列表，列表中的值为调优时超参数的候选值，如batch_size＝[10,20,40,60,80,100]。循环遍历需要调优的队列，形成一个调优超参数的组合，根据调优参数组合，生成一个目录名，并建立目录。如此，在进行超参数调优过程中可以获取预先保存的超参数候选值组合。S103，遍历超参数候选值组合中待确定超参数的各个候选值，将该候选值赋值给建立模型函数中的函数参数，函数参数为待确定超参数。在遍历超参数候选值组合中待确定超参数的各个候选值，将该候选值赋值给建立模型函数中的函数参数之前，方法还包括：建立函数参数为待确定超参数的建立模型函数。在训练模型的程序中，将建立模型的代码通过函数编程，需要调试的超参数，即待确定超参数设置为函数参数，并设置参数默认值。S104，运行包括建立模型函数的训练模型，得到训练后模型。运行不同的训练模型，不同的训练模型中包括函数参数为不同候选值的建立模型函数，如此得到对应的训练后模型。其中，训练模型包括基于深度学习框架keras的模型。Keras是一个高层神经网络应用程序编程接口(Appli本文档来自技高网...

【技术保护点】
1.一种超参数调优方法，其特征在于，包括：确定待确定超参数；获取预先保存的超参数候选值组合，所述超参数候选值组合中包括所述待确定超参数的多个候选值；遍历所述超参数候选值组合中所述待确定超参数的各个候选值，将该候选值赋值给建立模型函数中的函数参数，所述函数参数为所述待确定超参数；运行包括所述建立模型函数的训练模型，得到训练后模型；确定所述训练后模型对应的模型评分；选择所有模型评分中的最大值，其中，所述所有模型评分包括各个候选值分别对应的模型评分；确定所述最大值为所述待确定超参数的值。

【技术特征摘要】
1.一种超参数调优方法，其特征在于，包括：确定待确定超参数；获取预先保存的超参数候选值组合，所述超参数候选值组合中包括所述待确定超参数的多个候选值；遍历所述超参数候选值组合中所述待确定超参数的各个候选值，将该候选值赋值给建立模型函数中的函数参数，所述函数参数为所述待确定超参数；运行包括所述建立模型函数的训练模型，得到训练后模型；确定所述训练后模型对应的模型评分；选择所有模型评分中的最大值，其中，所述所有模型评分包括各个候选值分别对应的模型评分；确定所述最大值为所述待确定超参数的值。2.根据权利要求1所述的方法，其特征在于，在所述获取预先保存的超参数候选值组合之前，所述方法还包括：确定所述待确定超参数的候选值；将所述待确定超参数的标识与所述待确定超参数的候选值对应保存至列表；基于所述列表，得到所述超参数候选值组合。3.根据权利要求1所述的方法，其特征在于，在所述运行包括所述建立模型函数的训练模型，得到训练后模型之后，所述方法还包括：保存所述训练后模型。4.根据权利要求1所述的方法，其特征在于，在所述遍历所述超参数候选值组合中所述待确定超参数的各个候选值，将该候选值赋值给建立模型函数中的函数参数之前，所述方法还包括：建立所述函数参数为所述待确定超参数的所述建立模型函数。5.根据权利要求1至4任一项所述的方法，其特征在于，所述训练模型包括基于深度学习框架keras的模型。6.一种超参数调优装置，其特征在于，包括：第一确定模块，用于确定待确定超参数...

【专利技术属性】
技术研发人员：沈文策，
申请(专利权)人：沈文策，
类型：发明
国别省市：福建,35