一种高效的多保真度黑盒优化方法技术

本发明专利技术公开了一种高效的多保真度黑盒优化方法，针对现有的单一的采集函数会限制优化过程的效率和有效性等问题，在基于序列模型的全局优化过程中，采用多目标优化的方法，结合多个有效的获取函数进行并行采样，生成帕累托平面，并采集平面上的最优配置，实现并行加速获取高质量配置的效果；同时针对现有的贝叶斯优化方法无法与多保真度有效结合的问题，通过资源分配机制，将配置划分为多保真度的配置集合，利用连续减半策略获取多个单代理模型，结合广义专家积方法对多个代理模型进行融合，从而提高代理模型对目标函数的拟合度以及优化效率。效率。效率。

【技术实现步骤摘要】
一种高效的多保真度黑盒优化方法


[0001]本专利技术涉及黑盒优化
，尤其涉及一种高效的多保真度黑盒优化方法。

技术介绍

[0002]黑盒优化在工业设计中有着广泛应用，机器学习以及深度学习中的超参数优化就是其中的一种应用。但是，这些超参数的选择大部分都是按照人工手动调节。因此，有专家提出自动化生成超参数的方法，例如，网格搜索按照一定步长来进行搜索，随机搜索性能要高于网格搜索。但是，这些简单方法不能利用过去搜索到的知识来学习，效率慢。
[0003]近年来，针对以上问题有专家提出了基于序列的贝叶斯模型优化方案。由于贝叶斯公式可以利用过去的知识，可以有效指导函数按照先前知识走向函数最优点。但是，针对评价高保真度的参数所需时间长、花费资源昂贵、对目标函数刻画度高，评价低保真度的参数运行快、对目标函数刻画度低的问题，学术界展开了广泛研究。例如，使用结合了Hyperband与树采样的BOHB算法，将参数分为高、低两组配置来对高保真度的核密度区域进行采样，可以缓解上述一些问题。但是，这些算法仍然存在以下问题：
[0004]1.所使用的采集函数单一，例如，只使用期望最大的采样函数只能利用下一步最优的解，不能朝着函数最优的方向收敛，在指定迭代次数下很难走向全局最优解，概率最大模型选择概率最大的点进行优化，倾向于利用缺乏探索；并且BOHB算法基于高低保真度进行树划分的策略，采集参数的效率低下。
[0005]2.基于BOHB算法只是简单的将参数划分为高、低两种类型的保真度，并没有有效利用低保真度的参数，导致多保真度的参数无法有效结合，不能生成更高质量的参数。
[0006]综上所述，由于现有的黑盒优化算法无法有效的利用低保真度的参数配置，并且使用单一的采集函数无法对目标函数进行有效的探索和利用，采集函数生成参数配置的效率低下。因此，有必要研究一种高效的多保真度黑盒优化方法来解决上述问题。

技术实现思路

[0007]本专利技术针对现有黑盒优化算法不能高效的进行参数配置采样、无法获取高保真度的参数配置的问题，提出一种高效的多保真度黑盒优化方法，对传统黑盒算法进行优化，从而达到对黑盒优化算法加速，获取高保真度参数配置的目的。
[0008]为了实现上述目的，本专利技术提供如下技术方案：
[0009]一种高效的多保真度黑盒优化方法，包括如下步骤：
[0010]S1、利用资源分配机制，构建多组多保真度的配置；
[0011]S2、进入外部循环，使用多目标优化算法对多个采集函数进行并行计算，生成带有推荐参数配置的帕累托平面，采集平面上的推荐配置点；
[0012]S3、进入内部循环，根据步骤S2中获取到的配置，更新各自的高斯线性回归模型，再从小到大分配相应的资源带入目标函数进行评估，评估过程中使用连续减半策略根据淘汰参数返回多保真度配置集；
[0013]S4、返回外部循环，使用广义专家积方法进行多个代理模型集成，生成新的代理模型，不断循环迭代直至结束，输出高保真度的配置。
[0014]进一步地，步骤S1具体过程如下：
[0015]设置资源参数R以及淘汰参数η，根据循环参数s＝log
η
R将配置划分为D
i
，i∈{1，2，3，..，N}组多保真度配置集合，集合所对应的各自代理为M
i
，i∈{1，2，3，..，N}，其中N＝s+1，s为循环参数，每个集合中的配置为个，配置所对应的资源数为r＝R
η
‑
i，i∈{s，s
‑
1，...，0}个，初始化代理模型T以及采集函数Q
i
，i∈{0，1，...，Ｋ}。
[0016]进一步地，步骤S2的具体过程如下：
[0017]初始阶段，使用网格搜索算法设置固定步长或随机算法对配置进行搜索，在次轮迭代过程中，选择多种采集函数构建多目标任务，采用进化算法对此函数进行并行计算，生成帕累托平面，选择个配置点。
[0018]进一步地，多种采集函数包括改进的期望最大提升函数、最小置信边界函数和改进的概率提升采集函数。
[0019]进一步地，改进的期望最大提升函数表示为：
[0020][0021][0022]其中，μ(x)表示均值函数，f(x
+
)表示代理函数，σ(x)表示方差函数，φ(Z)表示Z的概率密度函数，γ＞0，用来控制探索与平衡。
[0023]进一步地，最小置信边界函数表示为：
[0024]LCB(x)＝μ(x)
‑
τσ(x)
[0025]其中，μ(x)表示均值函数，σ(x)表示方差函数，参数τ用来控制探索。
[0026]进一步地，改进的概率提升采集函数表示为：
[0027][0028]其中，μ(x)表示均值函数，f(x
+
)表示代理函数，σ(x)表示方差函数，φ表示概率密度函数，ε用来控制探索或者利用。
[0029]进一步地，步骤S3具体过程如下：
[0030]进入内部循环，将步骤2中的配置x使用贝叶斯公式计算得到y，不断带入高斯线性回归代理模型M
i
，i∈{１，２，３，..，Ｎ}中更新模型的均值函数与协方差函数μ(x)，Σ(x)，使用资源r＝η
i
，i∈{0，１，．．．，s}带入目标函数进行评估，在评估过程中记录目标函数最优值作为对比，根据淘汰策略进行筛选出log
η
r个配置加入到多保真度配置集合D
i
，i∈{1，2，3，..，N}中，将多保真度配置集带入各自的代理模型，使用贝叶斯公式更新各自的模型。
[0031]进一步地，步骤S4具体过程如下：
[0032]返回外部循环后，多保真度配置集合D
i
，i∈{1，2，3，..，N}中各自都包含数据，并且生成各自的代理模型M
i
，i∈{1，2，3，..，N}，使用广义专家积模型进行模型集成：
[0033][0034][0035]其中∑
i
(x)
‑
1表示第i个模型的协方差矩阵，τ
i
(x)表示第i个模型的权重，低保真度集合的权重低于高保真度集合的权重；
[0036]之后使用生成的新高斯集成模型代理T进行计算，不断进行外部循环直至结束，返回高保真度的配置集。
[0037]与现有技术相比，本专利技术的有益效果为：
[0038]本专利技术提出的高效的多保真度黑盒优化方法，针对现有的单一的采集函数会限制优化过程的效率和有效性等问题，在基于序列模型的全局优化过程中，采用多目标优化的方法，结合多个有效的获取函数进行并行采样，生成帕累托平面，并采集平面上的最优配置，实现并行加速获取高质量配置的效果；同时针对现有的贝叶斯优化方法无法与多保真度有效结合的问题，通过资源分配机制，将配置划分为多保真度的配置集合，利用连续减半策略获取多个单代理模型，结合广义专家积方法对多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高效的多保真度黑盒优化方法，其特征在于，包括如下步骤：S1、利用资源分配机制，构建多组多保真度的配置；S2、进入外部循环，使用多目标优化算法对多个采集函数进行并行计算，生成带有推荐参数配置的帕累托平面，采集平面上的推荐配置点；S3、进入内部循环，根据步骤S2中获取到的配置，更新各自的高斯线性回归模型，再从小到大分配相应的资源带入目标函数进行评估，评估过程中使用连续减半策略根据淘汰参数返回多保真度配置集；S4、返回外部循环，使用广义专家积方法进行多个代理模型集成，生成新的代理模型，不断循环迭代直至结束，输出高保真度的配置。2.根据权利要求1所述的高效的多保真度黑盒优化方法，其特征在于，步骤S1具体过程如下：设置资源参数R以及淘汰参数η，根据循环参数s＝log
η
R将配置划分为D
i
，i∈{1，2，3，..，N}组多保真度配置集合，集合所对应的各自代理为M
i
，i∈{1，2，3，
…
，N}，其中N＝s+1，s为循环参数，每个集合中的配置为个，配置所对应的资源数为r＝Rη
‑
i
，i∈{s，s
‑
1，
…
，0}个，初始化代理模型T以及采集函数Q
i
，i∈{0，1，...，K}。3.根据权利要求1所述的高效的多保真度黑盒优化方法，其特征在于，步骤S2的具体过程如下：初始阶段，使用网格搜索算法设置固定步长或随机算法对配置进行搜索，在次轮迭代过程中，选择多种采集函数构建多目标任务，采用进化算法对此函数进行并行计算，生成帕累托平面，选择个配置点。4.根据权利要求1所述的高效的多保真度黑盒优化方法，其特征在于，多种采集函数包括改进的期望最大提升函数、最小置信边界函数和改进的概率提升采集函数。5.根据权利要求4所述的高效的多保真度黑盒优化方法，其特征在于，改进的期望最大提升函数表示为：提升函数表示为：其中，μ(x)表示均值函数，f(x
+
)表示代理函数，σ(x)表示方差函数，φ(Z)表示Z的概...

【专利技术属性】
技术研发人员：彭海朋，李明远，刘霄，李丽香，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：