超参数搜索方法、装置、设备以及存储介质制造方法及图纸

本申请实施例公开了超参数搜索方法、装置、设备以及存储介质，涉及人工智能技术领域。该方法的一具体实施方式包括：获取模型的训练脚本和超参数配置信息；基于超参数配置信息，生成超参数搜索空间；将训练脚本作为第一组件，在超参数搜索空间中执行，自动搜索超参数搜索空间中的超参数的目标值。该实施方式通过自动搜索的方式进行超参数的搜索，大大缩短了为模型选择较优的超参数所花费的时间。同时，在接口设计上采用组件化的设计方式，将训练脚本作为组件，方便任意模型的快速接入。

【技术实现步骤摘要】
超参数搜索方法、装置、设备以及存储介质
本申请实施例涉及计算机
，具体涉及人工智能

技术介绍
深度学习技术在很多方向上都取得了巨大的成功。在深度学习技术中，模型的超参数对模型的性能和效果有着非常重要的影响。目前，所有的模型在开始训练过程之前都需要对超参数进行设置。而传统的超参数设置严重依赖人工的干预，例如人工设定超参数，并花费大量的时间进行多次调节，以得到较优的超参数。
技术实现思路
本申请实施例提出了超参数搜索方法、装置、设备以及存储介质。第一方面，本申请实施例提出了一种超参数搜索方法，包括：获取模型的训练脚本和超参数配置信息；基于超参数配置信息，生成超参数搜索空间；将训练脚本作为第一组件，在超参数搜索空间中执行，自动搜索超参数搜索空间中的超参数的目标值。第二方面，本申请实施例提出了一种超参数搜索装置，包括：模型信息获取模块，被配置成获取模型的训练脚本和超参数配置信息；搜索空间生成模块，被配置成基于超参数配置信息，生成超参数搜索空间；超参数搜索模块，被配置成将训练脚本作为第一组件，在超参数搜索空间中执行，自动搜索超参数搜索空间中的超参数的目标值。第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。本申请实施例提供的超参数搜索方法、装置、设备以及存储介质，首先获取模型的训练脚本和超参数配置信息；然后基于超参数配置信息，生成超参数搜索空间；最后将训练脚本作为第一组件，在超参数搜索空间中执行，自动搜索超参数搜索空间中的超参数的目标值。通过自动搜索的方式进行超参数的搜索，大大缩短了为模型选择较优的超参数所花费的时间。同时，在接口设计上采用组件化的设计方式，将训练脚本作为组件，方便任意模型的快速接入。因而，适用于任意模型训练方式全部自动化，并且为模型自动搜索较优的超参数。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请可以应用于其中的示例性系统架构；图2是根据本申请的超参数搜索方法的一个实施例的流程图；图3是根据本申请的超参数搜索方法的又一个实施例的流程图；图4是可以实现本申请实施例的超参数搜索方法的场景图；图5是根据本申请的超参数搜索装置的一个实施例的结构示意图；图6是用来实现本申请实施例的超参数搜索方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以应用本申请的超参数搜索方法或超参数搜索装置的实施例的示例性系统架构100。如图1所示，系统架构100中可以包括终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用，例如超参数搜索应用、模型训练应用等。服务器103可以提供各种服务，例如，服务器103可以对从终端设备101获取到的模型的训练脚本和超参数配置信息等数据进行分析等处理，并生成处理结果(例如超参数搜索空间中的超参数的目标值)。需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。需要说明的是，本申请实施例所提供的超参数搜索方法一般由服务器103执行，相应地，超参数搜索装置一般设置于服务器103中。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。继续参考图2，其示出了根据本申请的超参数搜索方法的一个实施例的流程200。该超参数搜索方法包括以下步骤：步骤201，获取模型的训练脚本和超参数配置信息。在本实施例中，超参数搜索方法的执行主体(例如图1所示的服务器103)可以获取模型的训练脚本和超参数配置信息。其中，模型的训练脚本和超参数配置信息可以是用户通过其终端设备(例如图1所示的终端设备101)提交的信息。脚本也即代码，训练脚本可以包括对模型训练所需的各种信息，包括但不限于网络结构、初始参数、激活函数、损失函数等等。在实践中，模型可以是各种深度神经网络，比如卷积神经网络。超参数可以是在模型开始训练过程之前设置值的参数，而不是通过训练得到的参数。通常，对超参数进行优化，给模型选择一组较优的超参数，能够提高模型的性能和效果。其中，超参数可以包括但不限于以下至少一种：学习率、学习率衰减策略、一次训练所选取的样本数(batchsize)、指数移动平均值(ema)、丢弃率(dropout)、预热学习率(warmup)等等。超参数配置信息可以是用户设置的、用于确定超参数的候选值的信息。例如，超参数配置信息可以包括超参数的最大值、最小值和最小粒度。其中，超参数的最大值确定了超参数的候选值的最大值，超参数的最小值确定了超参数的候选值的最小值，也即超参数的候选值可以是在超参数的最大值与最小值确定的范围之内，且是超参数的最小粒度的整数倍的数值。以学习率为例，超参数配置信息中的学习率最大值可以是0.5，学习率最小值可以是0.001，学习率最小粒度可以是0.001。其确定的学习率候选值可以包括0.001、0.002、0.003…0.499、0.5。又例如，超参数配置信息可以仅包括超参数的名称。此时，通过查询超参数的默认最大值、默认最小值和默认最小粒度，也能够确定超参数的候选值。步骤202，基于超参数配置信息，生成超参数搜索空间。在本实施例中，上述执行主体可以本文档来自技高网...

【技术保护点】
1.一种超参数搜索方法，包括：/n获取模型的训练脚本和超参数配置信息；/n基于所述超参数配置信息，生成超参数搜索空间；/n将所述训练脚本作为第一组件，在所述超参数搜索空间中执行，自动搜索所述超参数搜索空间中的超参数的目标值。/n

【技术特征摘要】
1.一种超参数搜索方法，包括：
获取模型的训练脚本和超参数配置信息；
基于所述超参数配置信息，生成超参数搜索空间；
将所述训练脚本作为第一组件，在所述超参数搜索空间中执行，自动搜索所述超参数搜索空间中的超参数的目标值。


2.根据权利要求1所述的方法，其中，所述训练脚本具有组件化传参接口；以及
所述将所述训练脚本作为第一组件，在所述超参数搜索空间中执行，自动搜索所述超参数搜索空间中的超参数的目标值，包括：
对于所述超参数搜索空间中的超参数的候选值，将该候选值作为第二组件，通过组件化传参接口传递给所述训练脚本进行模型训练，得到该候选值对应的模型；
将满足预设效果的模型对应的候选值确定为所述目标值。


3.根据权利要求1所述的方法，其中，所述获取模型的超参数配置信息，包括：
将所述超参数配置信息作为第三组件，以及从组件化配置信息提交接口获取所述超参数配置信息，其中，所述超参数配置信息的提交方式包括在线提交或命令行提交。


4.根据权利要求1所述的方法，其中，所述方法还包括：
获取训练样本集；
将所述目标值设置成模型的超参数，以及利用所述训练样本集进行训练，得到目标模型。


5.根据权利要求1-4之一所述的方法，其中，超参数包括以下至少一种：学习率、学习率衰减策略、一次训练所选取的样本数、指数移动平均值、丢弃率、预热学习率。


6.一种超参数搜索装置，包括：
模型信息获取模块，被配置成获取模型的训练脚本和超参数配置信息；
搜索空间生成模块，被配置成基于所述超参数配置信息，生成超参数搜索空间；
超参数搜索模块，...

【专利技术属性】
技术研发人员：希滕，张刚，温圣召，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11