一种通过置信区间上界选择优化器的超参数优化方法技术

本发明专利技术涉及自动化机器学习技术领域，公开了一种通过置信区间上界选择优化器的超参数优化方法。包括以下步骤：S1：构建优化器池；S2：选择优化器模块基于各个优化器的置信区间上界选择“最好”的优化器去优化超参数；S3：目标模型观察点求值；S4：信息共享，在获得任务的观察值后，观察信息会通过观察信息共享模块传递给所有的优化器；S5：优化器更新，各个优化器会使用获得的观测点信息进行各自的更新操作；S6：优化器选择模块更新，优化器选择模块会根据这个观测点的信息以及优化器的预测效果对被选择的优化器进行置信区间上界的更新。优化器选择模块以UCB算法为中心，利用获得的观测点信息选择不同的优化器，有效地解决了多优化器的选择问题。器的选择问题。器的选择问题。

【技术实现步骤摘要】
一种通过置信区间上界选择优化器的超参数优化方法


[0001]本专利技术涉及自动化机器学习
，具体而言，涉及一种通过置信区间上界选择优化器的超参数优化方法。

技术介绍

[0002]置信区间是指由样本统计量所构造的总体参数的估计区间。在统计学中，一个概率样本的置信区间是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度，其给出的是被测量参数的测量值的可信程度，即前面所要求的“一个概率”。机器学习的发展迅速，出现了许多新颖的机器学习模型，而一个机器学习模型的优劣在很大程度上取决于它的超参数。我们希望用尽量少的时间找到目标超参数配置，但是要评估一组超参数的时间花费是很高的，这不利于超参数的优化工作。超参数优化旨在找到最优超参数配置，其中传统的方法有随机化搜索，网格搜索等，但是优化效率低，不能满足我们的需求，而现在比较流行的超参数优化方法有贝叶斯优化，进化算法，在优化效率上有了很大提升。
[0003]如果只使用一个优化器，容易陷入局部最优，使用具有多个优化器的模型有利于解决这个问题，在每一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通过置信区间上界选择优化器的超参数优化方法，其特征在于，包括以下实施步骤：S1：构建优化器池，构建可供给优化器选择丰富的优化器池；S2：选择优化器模块，在优化器选择阶段，优化器选择模块会基于各个优化器的置信区间上界选择“最好”的优化器去优化超参数；S3：目标模型观察点求值，在优化器基于目前获得信息推荐一组超参数配置后，任务会使用这组超参数通过目标模型求得观察值，该观察值被记录下来以完成后续的模型更新工作；S4：信息共享，在获得任务的观察值之后，观察信息会通过观察信息共享模块传递给所有的优化器；S5：优化器更新，各个优化器会使用获得的观测点信息进行各自的更新操作；S6：优化器选择模块更新，优化器选择模块会根据这个观测点的信息以及优化器的预测效果对被选择的优化器进行置信区间上界的更新，以保证在接下来的迭代过程中选择适配的优化器。2.如权利要求1所述的一种通过置信区间上界选择优化器的超参数优化方法，其特征在于：上述方法包括三个模块：优化器池，其包含多种可供选择的优化器；优化器选择模块，其用于根据置信区间上界选择合适的优化器；以及观察信息共享模块，其用于将获取的观察信息传递给各个优化器；且优化器池、优化器选择模块和观察信息共享模块构成超参数优化系统。3.如权利要求2所述的一种通过置信区间上界选择优化器的超参数优化方法，其特征在于：优化器池包含贝叶斯优化器、进化算法优化器、网格搜索优化器和随机搜索优化器，而且不同优化器内部的组件也是组合配置的，贝叶斯优化器以代理模型和采集模型相结合，代理模型有gp、rf和tpe，采集模型有pi和ei，通过随机组合形成多种不同的贝叶斯优化器；且贝叶斯优化的执行方式为：步骤一：初始化一个高斯过程「代理模...

【专利技术属性】
技术研发人员：吴斌豪，
申请(专利权)人：深圳深度赋智科技有限公司，
类型：发明
国别省市：