一种联邦学习系统中集成学习模型及其构建方法技术方案

本申请提供一种联邦学习系统中集成学习模型及其构建方法。方法包括：确定联邦学习系统的优化目标和约束条件；系统中包含一个中心服务器以及多个参与方；设置集成学习模型的迭代次数，在每一轮迭代中，中心服务器随机选择预设数量个参与方进行并行的决策树训练，每个所选的参与方利用本地数据集训练出一棵决策树；将训练好的决策树发送给中心服务器进行聚合，聚合为一个基学习器，用于下一轮的迭代，更新全局的集成学习模型；中心服务器向各个参与方发送全局的集成学习模型，每个参与方利用本地数据集对全局的集成学习模型进行微调，最终获得个性化的、各自用于预测的集成学习模型。本申请的集成学习模型相较于现有的模型，预测准确度更高。准确度更高。准确度更高。

【技术实现步骤摘要】
一种联邦学习系统中集成学习模型及其构建方法


[0001]本申请涉及联邦学习
，具体涉及一种联邦学习系统中集成学习模型及其构建方法。

技术介绍

[0002]基于决策树的学习算法是一类重要的机器学习分支，在各项公开数据集的比赛中取得佳绩，并且应用广泛。决策树(Tree)模型因其对于数据类型和数据分布的不敏感性而具有显著应用价值。TreeBoost指的是一类集成学习算法，它基于梯度和误差信息迭代地训练决策树并将其组合为预测性能更佳的集成学习模型，并且在推荐、排序、用户行为预测、点击率预测、产品分类等应用中取得很好效果。虽然深度神经网络在近几年内获得广泛关注，但是TreeBoost 算法在有限数据集和缺乏调参信息的场景下显现优势。相比于深度神经网络，TreeBoost算法能够以更具可解释性的方式分析表单数据。
[0003]随着物联网的兴起，大数据不再以单一实体为主导，而是分散在不同的领域，形成大量的小数据集，数据分布各不相同。例如，每家医院都有自己有限的患者记录，并且可以从与其他医院的协作数据分析中受益，因为在综合数据集上训练机器学习模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦学习系统中集成学习模型的构建方法，其特征在于，包括：确定联邦学习系统的优化目标和约束条件；所述联邦学习系统中包含一个中心服务器以及多个参与方，所述多个参与方参与集成学习模型的训练，同时避免暴露其本地数据；所述联邦学习系统采用星型拓扑的网络架构，多个参与方可同时与中心服务器进行通信；设置集成学习模型的迭代次数，在每一轮迭代中，中心服务器随机选择预设数量个参与方进行并行的决策树训练，每个所选的参与方利用本地数据集，结合差分隐私机制训练出一棵决策树；每个所选的参与方将训练好的决策树发送给中心服务器进行聚合，中心服务器将接收到的决策树聚合为一个基学习器，再将该基学习器发送给各参与方用于下一轮的迭代，以及根据该基学习器更新全局的集成学习模型，直至迭代完成；中心服务器向各个参与方发送全局的集成学习模型，每个参与方利用本地数据集对全局的集成学习模型进行微调，最终获得每个参与方各自用于预测的集成学习模型。2.根据权利要求1所述的方法，其特征在于，所述每个参与方利用本地数据集对全局的集成学习模型进行微调，包括：每个参与方基于本地数据集，利用预设的集成修剪算法对全局的集成学习模型进行微调。3.根据权利要求2所述的方法，其特征在于，所述每个参与方基于本地数据集，利用预设的集成修剪算法对全局的集成学习模型进行微调，包括：基于本地数据集，利用预设的集成修剪算法计...

【专利技术属性】
技术研发人员：张斐斐，王智瑾，葛季栋，黄子峰，李传艺，
申请(专利权)人：南京大学，
类型：发明
国别省市：