一种分布式模型参数的搜索方法、装置和电子设备制造方法及图纸

本发明专利技术实施例提供了一种分布式模型参数的搜索方法、装置和电子设备，该方法和装置具体为针对每个网格化空间，利用预先获取的验证样本集进行验证计算，得到每个网格化空间对应的评估指标的交叉验证均值；从所得到的多个交叉验证均值中选取出当前最优交叉验证均值，并根据当前最优交叉验证均值选定最可能的局部搜索空间；根据预先选出的最佳采样点在局部搜索空间内进行贝叶斯调优计算，得到局部搜索空间内的最优参数组合。由于本方案先基于相应规则缩小搜索空间，然后在缩小后的搜索空间内进行参数搜索，从而在参数空间维度较高时，提高了参数的调优效率。

A Search Method, Device and Electronic Equipment for Distributed Model Parameters

The embodiments of the present invention provide a search method, device and electronic equipment for distributed model parameters. The method and device are specifically for each grid space, using pre-acquired validation sample set for validation calculation, to obtain the cross-validation mean of evaluation index corresponding to each grid space, and to select the current optimal cross-validation mean from the obtained multiple cross-validation mean. According to the current optimal cross-validation mean, the most probable local search space is selected. According to the pre-selected optimal sampling points, Bayesian optimization is carried out in the local search space to obtain the optimal combination of parameters in the local search space. Because this scheme first reduces the search space based on the corresponding rules, and then searches the parameters in the reduced search space, it improves the efficiency of parameter optimization when the dimension of parameter space is high.

【技术实现步骤摘要】
一种分布式模型参数的搜索方法、装置和电子设备
本专利技术涉及机器学习
，特别是涉及一种分布式模型参数的搜索方法、装置和电子设备。
技术介绍
在机器学习的应用中，通过训练会产生很多的参数，以便利用这些参数构建相应的模型。为了使最终得到的函数的具有最佳效果，需要从中找出最优的参数或者参数组合，并将其代入该相应函数以最终构造模型，即参数调优。当参数或参数组合较少时，通过随机搜索即可满足调优的目的；当参数或参数组合较多、即参数空间维度较高时，随机搜索需要在较大的参数空间内随机大量取点，从而造成时间成本很高，导致调优效率很低。
技术实现思路
有鉴于此，本专利技术提供了一种分布式模型参数的搜索方法、装置和电子设备，以解决参数空间维度较高时，参数的调优效率较低的问题。为了解决上述问题，本专利技术公开了一种分布式模型参数的搜索方法，包括步骤：针对每个网格化空间，利用预先获取的验证样本集进行验证计算，得到每个所述网格化空间对应的评估指标的交叉验证均值，所述网格化空间为模型训练所得到的分布式模型参数之间的随机组合；从所得到的多个所述交叉验证均值中选取出当前最优交叉验证均值，并根据所述当前最优交叉验证均值选定最可能的局部搜索空间；根据预先选出的最佳采样点在所述局部搜索空间内进行贝叶斯调优计算，得到所述局部搜索空间内的最优参数组合。可选的，所述利用预先获取的验证样本集进行验证计算，包括：针对每个所述网格化空间，利用所述验证样本集、并按预设的最大搜索次数进行验证计算，得到所述交叉验证均值。可选的，所述根据预先选出的最佳采样点在所述局部搜索空间内进行贝叶斯调优计算，包括:按预设的迭代次数进行贝叶斯调优计算。可选的，还包括：利用多个采集函数投票，选取出所述最佳采样点。还提供了一种分布式模型参数的搜索装置，包括：网格搜索模块，用于针对每个网格化空间，利用预先获取的验证样本集进行验证计算，得到每个所述网格化空间对应的评估指标的交叉验证均值，所述网格化空间为模型训练所得到的分布式模型参数之间的随机组合；空间缩小模块，用于从所得到的多个所述交叉验证均值中选取出当前最优交叉验证均值，并根据所述当前最优交叉验证均值选定最可能的局部搜索空间；参数调优模块，用于根据预先选出的最佳采样点在所述局部搜索空间内进行贝叶斯调优计算，得到所述局部搜索空间内的最优参数组合。可选的，所述网格搜索模块具体用于针对每个所述网格化空间，利用所述验证样本集、并按预设的最大搜索次数进行验证计算，得到所述交叉验证均值。可选的，所述参数调优模块具体用于按预设的迭代次数进行贝叶斯调优计算。可选的，还包括：采集函数自动化模块，用于利用多个采集函数投票，选取出所述最佳采样点。还提供了一种电子设备，包括处理器以及与所述处理器相连接的存储器，其中：所述存储器用于存储计算机程序或指令；所述处理器用于执行所述计算机程序或指令，以使实现如上所述的搜索方法。从上述技术方案可以看出，本专利技术提供了一种分布式模型参数的搜索方法、装置和电子设备，该方法和装置具体为针对每个网格化空间，利用预先获取的验证样本集进行验证计算，得到每个网格化空间对应的评估指标的交叉验证均值；从所得到的多个交叉验证均值中选取出当前最优交叉验证均值，并根据当前最优交叉验证均值选定最可能的局部搜索空间；根据预先选出的最佳采样点在局部搜索空间内进行贝叶斯调优计算，得到局部搜索空间内的最优参数组合。由于本方案先基于相应规则缩小搜索空间，然后在缩小后的搜索空间内进行参数搜索，从而在参数空间维度较高时，提高了参数的调优效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例的一种分布式模型参数的搜索方法的流程图；图2为本申请实施例的另一种分布式模型参数的搜索方法的流程图；图3为本申请实施例的一种分布式模型参数的搜索装置的框图；图4为本申请实施例的另一种分布式模型参数的搜索装置的框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一图1为本申请实施例的一种分布式模型参数的搜索方法的流程图。参照图1所示，本实施例提供的搜索方法用于对分布式模型参数进行搜索，以便从中找出相应模型的最佳参数组合，该分布式模型参数为在进行模型训练中得到的参数或者超参数，该搜索方法具体包括如下步骤：S1、针对每个网格化空间进行验证计算。即针对每个具体的网格化空间，并利用预先获取的验证样本集进行验证计算，从而得到每个网格化空间对应的评估指标的交叉验证均值。这里的网格化空间是指通过模型训练所得到分布式模型参数经过随机组合所得的参数组合或超参数组合；验证样本集本身属于在模型训练之前所获得的训练样本集中的一部分，另一部分已经作为训练样本对模型做了训练，其与训练样本没有本质的区别。在具体进行验证计算时，针对每个网格化空间，即针对每个参数组合或者超参数组合，将其赋予到进行训练的函数中，如深度神经网络函数，然后利用赋予参数后的函数对验证样本中的每个样本分别进行计算，并利用相应的采集函数进行评估，得到预相应网格化空间对应的评估指标，然后在得出针对该评估指标的交叉验证均值。在进行验证计算时，为了节省计算资源，可以设定最大搜索次数，在达到相应最大搜索次数后即停止搜索。S2、输出当最优参数及最可能的局部搜索空间。在得到每个网格化空间对应的评估指标的交叉验证均值后，从中选出当前最优参数，并根据相应的当前最优参数确定最可能的局部搜索空间。S3、根据最优采样点从局部搜索空间内进行调优计算。在确定最可能的局部搜索空间后，根据预先选出的最佳采样点在该局部搜索空间内进行贝叶斯调优计算，从而得到基于该局部搜索空间的最优参数组合，即满足所生成的模型对验证样本进行计算所得到结果与真实数据的拟合程度最高。具体来说，在进行贝叶斯调优计算时，为了节省计算资源，可以按预设的迭代次数进行贝叶斯调优计算。从上述技术方案可以看出，本实施例提供了一种分布式模型参数的搜索方法，具体为针对每个网格化空间，利用预先获取的验证样本集进行验证计算，得到每个网格化空间对应的评估指标的交叉验证均值；从所得到的多个交叉验证均值中选取出当前最优交叉验证均值，并根据当前最优交叉验证均值选定最可能的局部搜索空间；根据预先选出的最佳采样点在局部搜索空间内进行贝叶斯调优计算，得到局部搜索空间内的最优参数组合。由于本方案先基于相应规则缩小搜索空间，然后在缩小后的搜索空间内进行参数搜索，从而在参数空间维度较高时，提高了参数的调优效率。另外，如图2所示，本实施例提供的搜索方法还包括如下步骤：S4、通过多个采集函数投票选取最佳采样点。即基于多个用于评价的采集函数进行投票操作，从而从中得到用于进行贝叶斯调优计算所需要的最佳采样点。需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动本文档来自技高网...

【技术保护点】
1.一种分布式模型参数的搜索方法，其特征在于，包括步骤：针对每个网格化空间，利用预先获取的验证样本集进行验证计算，得到每个所述网格化空间对应的评估指标的交叉验证均值，所述网格化空间为模型训练所得到的分布式模型参数之间的随机组合；从所得到的多个所述交叉验证均值中选取出当前最优交叉验证均值，并根据所述当前最优交叉验证均值选定最可能的局部搜索空间；根据预先选出的最佳采样点在所述局部搜索空间内进行贝叶斯调优计算，得到所述局部搜索空间内的最优参数组合。

【技术特征摘要】
1.一种分布式模型参数的搜索方法，其特征在于，包括步骤：针对每个网格化空间，利用预先获取的验证样本集进行验证计算，得到每个所述网格化空间对应的评估指标的交叉验证均值，所述网格化空间为模型训练所得到的分布式模型参数之间的随机组合；从所得到的多个所述交叉验证均值中选取出当前最优交叉验证均值，并根据所述当前最优交叉验证均值选定最可能的局部搜索空间；根据预先选出的最佳采样点在所述局部搜索空间内进行贝叶斯调优计算，得到所述局部搜索空间内的最优参数组合。2.如权利要求1所述的搜索方法，其特征在于，所述利用预先获取的验证样本集进行验证计算，包括：针对每个所述网格化空间，利用所述验证样本集、并按预设的最大搜索次数进行验证计算，得到所述交叉验证均值。3.如权利要求1所述的搜索方法，其特征在于，所述根据预先选出的最佳采样点在所述局部搜索空间内进行贝叶斯调优计算，包括:按预设的迭代次数进行贝叶斯调优计算。4.如权利要求1所述的搜索方法，其特征在于，还包括：利用多个采集函数投票，选取出所述最佳采样点。5.一种分布式模型参数的搜索装置，其特征在于，包括：网格搜索模块，用于针对每个网格化空间，利用预先获...

【专利技术属性】
技术研发人员：吴浩然，顾全，
申请(专利权)人：同盾控股有限公司，
类型：发明
国别省市：浙江,33