【技术实现步骤摘要】
一种基于主动降维的高维贝叶斯优化方法
本专利技术属于机器学习中的贝叶斯优化领域，特别是涉及一种高维贝叶斯优化方法。
技术介绍
在目前流行的机器学习任务中，调参是一项繁琐但至关重要的任务，因为它很大程度上影响了算法的性能。手动调参十分耗时，网格和随机搜索不需要人力，但需要很长的运行时间。因此，诞生了许多自动调整超参数的方法。贝叶斯优化就是其中一种，贝叶斯优化通过基于目标函数的过去评估结果建立替代函数(概率模型)，来找到最小化目标函数的值。贝叶斯优化方法可以有效地逼近探索非线性或非凸黑盒目标函数的全局最优值，因此被广泛应用于各种科学和工程领域。贝叶斯优化方法包括两个主要步骤，目标函数建模和采集函数最大化。前者通常使用高斯过程实现，而各种贝叶斯优化方法之间的差异主要体现在采集函数上。作为一类有效的贝叶斯优化方法，最大值熵搜索在每次评估中最大化关于黑盒函数全局最优值的信息熵，并以此来近似估计黑盒函数的全局最优值，但是基于高维函数的最大值熵搜索方法的应用受到两个方面的限制。首先，估计高维空间中黑盒函数argmax的熵需要大量的时间来近...
【技术保护点】
1.一种基于主动降维的高维贝叶斯优化方法，其特征在于，该方法具体包括如下步骤：/n步骤1、设待优化目标函数为：/ny＝f(x)，x∈R
【技术特征摘要】
1.一种基于主动降维的高维贝叶斯优化方法，其特征在于，该方法具体包括如下步骤：
步骤1、设待优化目标函数为：
y＝f(x)，x∈RD
y表示目标函数的输出，x表示目标函数的输入，f表示目标函数。RD表示D维的实数空间；
初始化程序参数集合θ、第一个随机点x1＝randomx以及针对各个维度初始化汤普森采样所需的beta分布；
步骤2、判断迭代次数n是否达到预设分支阈值t，若达到则顺序执行，若未达到则跳至7执行；步骤3、计算历史查询中输入维度x在各维度之间关于y的偏相关系数；偏相关系数的计算方法如下所示：
其中，rij.y表示维度i和维度j关于输出维度y的偏相关系数；rij表示维度i和维度j的相关性，
步骤4、对于关于输出维度y的偏相关系数大于阈值的维度，利用最小二乘法计算两个维度的相关关系；
求得两个维度的相关关系：xi＝kij×xj+bij，其中xi和xj分别表示维度i和维度j；
步骤5、根据历史查询结果，针对各维度维护一个汤普森采样，根据汤普森采样结果，选择具有相关性的维度进行压缩；
步骤6、通过基于最大值熵搜索...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。