一种面向决策树的横向联邦学习方法技术

本发明专利技术公开了一种面向决策树的横向联邦学习方法，该方法包括：所有参与者基于二分法查找数据特征集合中每个特征的分位数草图；参与者根据分位数草图，利用本地持有数据特征，为每个特征构建局部直方图；在所有局部直方图添加满足差分隐私的噪声，并通过安全聚合方法处理后发送给协调者；所述协调者将每个特征的局部直方图合并为一个全局的直方图，并根据所述直方图训练第一棵决策树的根节点；所述协调者将所述节点信息发送给其余参与者；所有参与者更新局部直方图并重复以上过程进行训练，得到训练好的决策树。本发明专利技术的横向联邦学习方法具有使用简便、训练高效等优点，可以保护数据隐私，为数据保护水平提供量化支持。为数据保护水平提供量化支持。为数据保护水平提供量化支持。

【技术实现步骤摘要】
一种面向决策树的横向联邦学习方法


[0001]本专利技术涉及联邦学习
，尤其涉及一种面向决策树的横向联邦学习方法。

技术介绍

[0002]联邦学习又称为集成学习，是一种在多个分散的设备或存储有数据的服务器上共同训练模型的机器学习技术。与传统的中心化学习不同，该方式不需要将数据合并在一起，因此数据之间是独立存在的。
[0003]联邦学习的概念首先于2017年由Google所提出，现如今已经得到了巨大的发展，应用场景也越来越广泛。根据数据划分方式的不同，其主要分为横向联邦学习和纵向联邦学习。在横向联邦学习中，研究人员将神经网络的训练过程分布在多个参与者上，迭代地将本地的训练模型聚合为一个联合的全局模型。在这个过程中，主要存在两种角色：中心服务器以及多个参与者。在训练开始阶段，中心服务器将模型初始化并将其发送给所有参与者。在每次迭代过程中，每个参与者利用本地数据训练接收到的模型，并将训练梯度发送给中心服务器。中心服务器聚合接收到的梯度来更新全局模型。得益于这种传输中间结果而不是原始数据的方式，联邦学习具有以下优势：(1)保护隐私：训练过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向决策树的横向联邦学习方法，其中，所述决策树为Gradient Boosting Decision Trees，其特征在于，包括以下步骤：(1)所有参与者通过二分法查找数据特征集合中每个特征的所有数据的分位数草图，并将所述分位数草图公布给所有参与者；(2)所有参与者根据步骤(1)查找的分位数草图，分别构建所述数据特征集合中每个特征的局部直方图，根据差分隐私原理，在局部直方图上添加噪声；(3)随后除去协调者的参与者通过安全聚合将添加噪声的局部直方图发送给协调者，其中所述协调者为所有参与者中一员；(4)所述协调者将每个数据特征的局部直方图合并为一个全局直方图，并根据所述全局直方图训练第一棵决策树的根节点；(5)所述协调者将节点信息发送给其余参与者；所述节点信息包括：被选中的数据特征以及所述数据特征对应全局直方图的分隔方法；(6)所有参与者根据节点信息更新局部直方图；(7)根据更新的局部直方图，重复步骤(2)-(6)，直至完成第一棵决策树上剩余子节点的训练；(8)重复步骤(7)，直至完成所有决策树的训练，得到最终的Gradient Boosting Decision Trees模型。2.根据权利要求1所述面向决策树的横向联邦学习方法，其特征在于，所述数据特征集合为个人隐私信息。3.根据权利要求1所述面向决策树的横向联邦学习方法，其特征在于：步骤(1)中的二分法具体为：(a)协调者通过安全聚合方法获取所有参与者持有的数据特征集合的样本总量；(b)协调者设定每一个数据特征的特征值的极大值和极小值，并将每一个特征值的极大值和极...

【专利技术属性】
技术研发人员：田志华，张睿，侯潇扬，刘健，任奎，
申请(专利权)人：浙江大学，
类型：发明
国别省市：