基于贝叶斯优化的联邦学习超参数选择系统及方法技术方案

本发明专利技术涉及基于贝叶斯优化的联邦学习超参数选择系统及方法，该系统应用于中心节点和多个数据拥有方的参与节点，包括配置策略模块和贝叶斯超参数选择模块；其中，配置策略模块负责配置联邦模型和贝叶斯超参数选择策略；贝叶斯超参数选择模块，用于完成超参数的选择；该联邦学习超参数选择方法包括以下步骤：多个参与节点准备好本地交叉训练和交叉预测模块，分别启动服务并监听等待中心节点的调度；中心节点根据业务配置联邦模型和贝叶斯超参数选择策略；中心节点启用贝叶斯超参数选择模块，多次基于不同超参数组合，调度联邦学习的交叉训练和交叉预测过程，选择性能最优的超参数组合。合。合。

【技术实现步骤摘要】
基于贝叶斯优化的联邦学习超参数选择系统及方法


[0001]本专利技术涉及机器学习
，尤其涉及基于贝叶斯优化的联邦学习超参数选择系统及方法。

技术介绍

[0002]联邦学习是一种新兴的基于机器学习的技术，很好的解决了多个数据拥有方既要保证数据隐私安全，又要联合建模的问题。在训练模型的过程中，不同的超参数对应的模型性能不同，对超参数进行调优可以一定程度上改进模型的性能。但是，模型的超参数可能有很多，而每个超参数的可选范围又很广，以至于超参数组合的数量就呈指数增长。现有技术在超参数搜索过程中，需要提前设定好各个参数的最优值可能范围，使用网格穷举搜索方法选取最优的超参数组合。由于要遍历所有的超参数组合，因而会造成超参数搜索效率较低。

技术实现思路

[0003]本申请为了解决上述技术问题提供基于贝叶斯优化的联邦学习超参数选择系统及方法。
[0004]本申请通过下述技术方案实现：基于贝叶斯优化的联邦学习超参数选择系统，包括：配置策略模块，负责配置联邦模型和贝叶斯超参数选择策略，贝叶斯超参数选择模块，用于联合中心节点和各数据提供方的参与节点共同完成超参数的选择。
[0005]优选地，所述配置策略模块负责配置贝叶斯优化目标函数、超参数搜索空间、贝叶斯优化算法、超参数迭代次数、联邦模型参数、以及多个数据拥有方的参与节点的地址。
[0006]进一步的，所述贝叶斯超参数选择模块包括部署在中心节点的参数选择模块、联邦训练模块以及联邦预测模块；所述参数选择模块，负责贝叶斯优化的参数估计，根据已有的参数样本估计并更新参数的高斯分布，选择下一个超参数组合；所述联邦交叉训练模块，负责基于超参数组合，利用中心节点和各参与节点进行联邦交叉验证训练，得到联邦交叉验证模型；所述联邦交叉预测模块，负责得到该超参数组合的联邦模型的性能指标。
[0007]进一步的，所述贝叶斯超参数选择模块还包括部署在各参与节点的本地交叉训练模块和本地交叉预测模块；所述本地交叉训练模块，负责基于接收到的模型列表，对本地样本做交叉验证样本分割，使用不同交叉验证训练集做增量训练，得到本地模型列表；本地交叉预测模块，负责基于本地交叉验证测试集和联邦模型列表进行预测，得到本地全部样本的预测结果。
[0008]基于贝叶斯优化的联邦学习超参数选择方法，该方法使用了所述的联邦学习超参数选择系统，具体包括以下步骤：多个参与节点准备好本地交叉训练和交叉预测模块，分别启动服务并监听等待中心节点的调度；中心节点根据业务配置联邦模型和贝叶斯超参数选择策略；中心节点启用贝叶斯超参数选择模块，多次基于不同超参数组合，调度联邦学习的交叉训练和交叉预测过程，选择性能最优的超参数组合。
[0009]进一步的，联邦交叉训练过程中，联邦训练会多次迭代模型训练过程，任意一次迭代包括以下步骤：中心节点将模型列表下发至参与节点；参与节点基于本地训练数据同时训练多个本地模型，并将其发送至中心节点；中心节点接收后更新联邦模型列表；中心节点继续与下一个参与节点进行交互，直至各参与节点都完成一次训练。
[0010]其中，联邦交叉预测包括以下步骤：中心节点将联邦模型列表下发至所有的参与节点；各参与节点基于本地交叉验证测试集进行预测，并将其发送至中心节点；中心节点接收并聚合所有参与节点的预测结果，计算本轮超参数组合对应联邦模型的性能评估指标。
[0011]进一步的，贝叶斯超参数选择模块根据配置策略模块预设的迭代次数，迭代超参数训练过程，每次超参数训练过程均包括参数选择、联邦训练以及联邦预测；达到预设的迭代次数后，基于多次迭代训练多个超参数组合对应的联邦模型性能值，选择性能最优的超参数组合。
[0012]与现有技术相比，本申请具有以下有益效果：本申请会充分利用前面迭代的先验知识来得到下一次迭代的超参数组合，避免了多余无谓的某些超参数组合的计算，从而提高超参数效率。本申请可解决联邦学习建模时的超参数搜索效率较低的问题，适用于联邦学习的超参数调优场景。
附图说明
[0013]此处所说明的附图用来提供对本申请实施方式的进一步理解，构成本申请的一部分，并不构成对本专利技术实施方式的限定。
[0014]图1为实施例中的基于贝叶斯优化的联邦学习超参数选择系统架构图；图2为实施例中的基于贝叶斯优化的联邦学习超参数选择系统的中心节点的贝叶斯参数选择流程图；图3为实施例中的基于贝叶斯优化的联邦学习超参数选择方法步骤图；图4为实施例中的基于贝叶斯优化的联邦学习超参数选择方法的联邦交叉训练的流程图；图5为实施例中的基于贝叶斯优化的联邦学习超参数选择方法的联邦交叉预测的流程图。
具体实施方式
[0015]为使本申请的目的、技术方案和优点更加清楚，下面将结合实施方式中的附图，对本专利技术实施方式中的技术方案进行清楚、完整地描述。显然，所描述的实施方式是本专利技术一部分实施方式，而不是全部的实施方式。
[0016]因此，以下对在附图中提供的本专利技术的实施方式的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。
[0017]实施例一本实施例公开的基于贝叶斯优化的联邦学习超参数选择系统，应用于中心节点和各数据提供方的参与节点。如图1所示，该系统具体包括配置策略模块和贝叶斯超参数选择模块。
[0018]其中，配置策略模块负责配置联邦模型和贝叶斯超参数选择策略，包括：贝叶斯优化目标函数、超参数搜索空间、贝叶斯优化算法、超参数迭代次数、联邦模型参数、以及多个数据拥有方的参与节点的地址。
[0019]贝叶斯超参数选择模块，包括部署在中心节点的参数选择模块、联邦训练模块和联邦预测模块。其中，参数选择模块，负责贝叶斯优化的参数估计，根据已有的参数样本估计并更新参数的高斯分布，选择下一个超参数组合；联邦交叉训练模块，负责基于超参数组合，利用中心节点和各参与节点进行联邦交叉验证训练，得到联邦交叉验证模型；联邦交叉预测模块，负责得到该超参数组合的联邦模型的性能指标。
[0020]值得一提的是，贝叶斯超参数选择模块还包括部署在各参与节点的本地交叉训练模块和本地交叉预测模块。
[0021]其中，本地交叉训练模块是基于接收到的模型列表，对本地样本做交叉验证样本分割，使用不同交叉验证训练集做增量训练，得到本地模型列表；本地交叉预测模块是基于本地交叉验证测试集和联邦模型列表进行预测，得到本地全部样本的预测结果。
[0022]如图2所示，本实施例中的基于贝叶斯优化的联邦学习超参数选择系统的中心节点的贝叶斯参数选择流程，贝叶斯超参数选择模块，会多次迭代超参数训练过程，一次完整的超参数训练过程包括参数选择、联邦训练以及联邦预测。达到配置策略模块预设的迭代次数后，基于多次迭代训练多个超参数组合对应的联邦模型性能值，选择性能最优的超参数组合。
[0023]贝叶斯优化假设超参数和模型的性能服从一个高斯函数关系，假设超参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于贝叶斯优化的联邦学习超参数选择系统，其特征在于：包括：配置策略模块，负责配置联邦模型和贝叶斯超参数选择策略，贝叶斯超参数选择模块，用于联合中心节点和各数据提供方的参与节点共同完成超参数的选择。2.根据权利要求1所述的基于贝叶斯优化的联邦学习超参数选择系统，其特征在于：所述配置策略模块负责配置贝叶斯优化目标函数、超参数搜索空间、贝叶斯优化算法、超参数迭代次数、联邦模型参数、以及多个数据拥有方的参与节点的地址。3.根据权利要求1所述的基于贝叶斯优化的联邦学习超参数选择系统，其特征在于：所述贝叶斯超参数选择模块包括部署在中心节点的参数选择模块、联邦训练模块以及联邦预测模块；所述参数选择模块，负责贝叶斯优化的参数估计，根据已有的参数样本估计并更新参数的高斯分布，选择下一个超参数组合；所述联邦交叉训练模块，负责基于超参数组合，利用中心节点和各参与节点进行联邦交叉验证训练，得到联邦交叉验证模型；所述联邦交叉预测模块，负责得到该超参数组合的联邦模型的性能指标。4.根据权利要求3所述的基于贝叶斯优化的联邦学习超参数选择系统，其特征在于：所述贝叶斯超参数选择模块还包括部署在各参与节点的本地交叉训练模块和本地交叉预测模块；所述本地交叉训练模块，负责基于接收到的模型列表，对本地样本做交叉验证样本分割，使用不同交叉验证训练集做增量训练，得到本地模型列表；本地交叉预测模块，负责基于本地交叉验证测试集和联邦模型列表进行预测，得到本地全部样本的预测结果。5.基于贝叶斯优化的联邦学习超参数选择方法，其特征在于：所述方法使用了如权利要求1<...

【专利技术属性】
技术研发人员：顾见军，邓旭宏，
申请(专利权)人：成都数融科技有限公司，
类型：发明
国别省市：