一种基于异步贝叶斯优化的机器学习超参优化系统及方法技术方案

本发明专利技术涉及一种基于异步贝叶斯优化的机器学习超参优化系统及方法，包括：贝叶斯优化模块、模型参数池模型、Kmeans聚类模块、任务调度模块、自适应确定模型并行度模块；本发明专利技术对大数据环境下的机器学习高效的进行自动化调参，有效利用多机并行计算能力，高效的进行大数据机器学习自动化调参，从而使得人们在生产实践中可以更好地使用大数据机器学习。

【技术实现步骤摘要】
一种基于异步贝叶斯优化的机器学习超参优化系统及方法
本专利技术涉及一种基于异步贝叶斯优化的机器学习超参优化系统及方法。属于计算机人工智能领域。
技术介绍
随着云计算和大数据技术的发展，机器学习技术成为学术界和企业界的热点。然而机器学习涉及大量理论知识，同时机器学习模型包含大量参数，需要有丰富的经验才能设计一个高效的模型。为了促进机器学习技术更广泛的应用，有效降低开展机器学习应用的门槛，自动化机器学习(AutomaticMachineLearning，简称AutoML)技术应运而生，即通过对机器学习各环节提供自动化技术，让初学者也可以开展机器学习模型训练和应用。AutoML的核心是机器学习模型的自动化调参，即自动选择超参数，超参数的选择对机器学习应用非常重要，不同超参数直接影响着机器学习应用在生产实践中的效果(比如预测准确率等)，机器学习模型的超参数选择过程如图1所示，由于机器学习模型通常包含大量参数，参数空间巨大，如何高效的进行调参是一个亟待解决的问题。目前常用的调参方法有：以人工调参、Gridsearch和Randomsearch为代表的简单调参方法；以基于贝叶斯优化的方法等为代表本文档来自技高网...

【技术保护点】
1.一种基于异步贝叶斯优化的机器学习超参优化系统，其特征在于：包括，贝叶斯优化模块、模型参数池模型、Kmeans聚类模块、任务调度模块、自适应确定模型并行度模块；贝叶斯优化模块，实现贝叶斯优化算法，产生候选参数点；接收到模型参数池模块或者Kmeans聚类模块的信号后，访问模型参数池中模型参数点及对应模型评价指标，更新贝叶斯优化；提供get接口供模型参数池模块直接调用；针对多模型同时收敛的场景，提供GetBatch接口供Kmeans聚类模块调用；GetBatch接口实现如下算法：随机的产生L个参数点，L>10000，计算L个参数点对应的EI值，即收益函数值，找到l个EI值最大的参数点，从每个参数...

【技术特征摘要】
1.一种基于异步贝叶斯优化的机器学习超参优化系统，其特征在于：包括，贝叶斯优化模块、模型参数池模型、Kmeans聚类模块、任务调度模块、自适应确定模型并行度模块；贝叶斯优化模块，实现贝叶斯优化算法，产生候选参数点；接收到模型参数池模块或者Kmeans聚类模块的信号后，访问模型参数池中模型参数点及对应模型评价指标，更新贝叶斯优化；提供get接口供模型参数池模块直接调用；针对多模型同时收敛的场景，提供GetBatch接口供Kmeans聚类模块调用；GetBatch接口实现如下算法：随机的产生L个参数点，L>10000，计算L个参数点对应的EI值，即收益函数值，找到l个EI值最大的参数点，从每个参数点开始执行梯度下降算法，找到局部最优点；l>200andl<1000；模型参数池模块，负责模型参数点的管理工作，具体的包括：获取模型超参数点、模型参数池中参数点替换、将模型参数池中的参数点提供给计算集群使用功能；模型参数池通过一个数组实现，将模型参数点抽象成参数点对象，提供Push和Pull接口供计算集群和模型参数池交互；模型参数池模块调用贝叶斯优化模块Get接口获取模型参数点，通过GetBatch接口从Kmeans聚类模块获取多组互异参数点；模型参数池模块中的参数点被计算集群Pull，接收计算集群Push的模型评价指标；Kmeans聚类模块，通过Kmeans聚类产生多个互异的参数点；被模型参数池模块调用，接收产生k个互异参数点的信号；调用贝叶斯优化模块产生多个原始候选参数点；通过Kmeans聚类将候选参数点聚成k类，然后选择k类中收益函数值最大的参数点，从而产生k个互异的参数点，将结果返回给模型参数池模块；K大于k；任务调度模块，判断模型参数池模块中的模型是否应该停止训练；具体包括：模型收敛性和EarlyStopping...

【专利技术属性】
技术研发人员：王建飞，刘杰，杨诏，叶丹，钟华，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：北京,11