基于联邦学习的模型训练方法、装置、设备以及存储介质制造方法及图纸

本申请公开了基于联邦学习的模型训练方法和装置，具体实现方案为：当未达到梯度提升树的棵树阈值并且未达到梯度提升树的深度阈值，向联邦学习系统中的各个第二电子设备发送梯度数据；接收各个第二电子设备基于梯度数据发送的表征第二特征信息集中每个特征和相应特征的分裂阈值的随机数编码和第一融合梯度；基于各个第一融合梯度和第一特征信息集，确定信息增益的目标值；响应于信息增益的目标值为本方信息增益的最大值，基于信息增益的目标值对应特征和分裂阈值对样本空间进行划分，生成样本空间划分结果和目标融合梯度；根据目标融合梯度，对第一电子设备的模型参数进行更新。该方案实现了一种具有可解释性的基于联邦学习的模型训练方法。习的模型训练方法。习的模型训练方法。

【技术实现步骤摘要】
基于联邦学习的模型训练方法、装置、设备以及存储介质


[0001]本申请的实施例涉及计算机
，具体涉及机器学习
，尤其涉及基于联邦学习的模型训练方法和装置。

技术介绍

[0002]随着大数据、人工智能技术的蓬勃发展，互联网金融领域对于大数据和人工智能技术的需求与日俱增。联邦学习作为一种解决“数据孤岛问题”的建模方案，是一种基于隐私安全的分布式机器学习范式，逐渐受到业内关注。联邦学习通常由一方(称为Guest方)提供标签信息和部分特征信息，其他方(称为Host方)提供特征信息。而在机器学习算法中，梯度提升树在具备决策树模型可解释性的同时提升了分类性能及效果。在多方安全建模的需求下，基于联邦学习技术和梯度提升树算法，某银行提出了一种基于半同态加密的梯度提升树方法，即SecureBoost算法。但现有SecureBoost算法为了防止样本信息泄露，各方之间的建模特征无法进行公开，降低了模型的可解释性，并且在现有技术方案中数据方可能通过提供恶意数据破坏模型，存在较大的安全隐患。

技术实现思路

[0003]本申请提供了一种基于联本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的模型训练方法，应用于联邦学习系统中的第一电子设备，所述第一电子设备中存储有各个用户标识和所述各个用户的第一特征信息集，所述模型基于梯度提升树算法而构建，所述方法包括：当未达到所述梯度提升树的棵树阈值并且未达到所述梯度提升树的深度阈值，向所述联邦学习系统中的各个第二电子设备发送梯度数据，其中，所述梯度数据基于所述梯度提升树的已构建棵树的预测结果而生成，所述第二电子设备中存储有与所述第一电子设备中相同用户的第二特征信息集；接收各个所述第二电子设备基于所述梯度数据发送的表征所述第二特征信息集中每个特征和相应特征的分裂阈值的随机数编码和与各个随机数编码对应的第一融合梯度；基于各个第一融合梯度和所述第一特征信息集，确定信息增益的目标值，其中，所述信息增益的目标值通过对本方信息增益的最大值和各个第二电子设备信息增益的最大值进行选取而得到，所述本方信息增益的最大值用于表征当前节点样本空间中所述第一特征信息集中每个特征在每个分裂阈值分裂后的各个信息增益中的最大值，所述第二电子设备信息增益的最大值通过对相应的第一融合梯度进行解密而得到；响应于所述信息增益的目标值为本方信息增益的最大值，基于所述信息增益的目标值对应特征和分裂阈值对样本空间进行划分，生成样本空间划分结果和所述样本空间划分结果对应的目标融合梯度；根据所述目标融合梯度，对所述第一电子设备的模型参数进行更新。2.根据权利要求1所述方法，其中，在所述基于各个第一融合梯度和所述第一特征信息集，确定信息增益的目标值之后，还包括：响应于所述信息增益的目标值为第二电子设备信息增益的最大值，向所述第二电子设备发送所述信息增益的目标值对应的所述随机数编码；接收所述第二电子设备发送的样本空间划分结果和所述样本空间划分结果对应的目标融合梯度。3.根据权利要求1所述方法，其中，所述随机数编码为表征所述第二特征信息集中每个特征和相应特征的分裂阈值的加密后的随机数编码。4.根据权利要求1所述方法，其中，所述随机数编码基于当前节点样本空间中所述第二特征信息集中每个特征标识和相应特征的分裂阈值利用打乱特征排序的方式而生成，所述随机数编码互不相同。5.根据权利要求1所述方法，还包括：向各个所述第二电子设备发送所述样本空间划分结果；和/或，当达到所述梯度提升树的深度阈值，基于所述样本空间划分结果对所述模型的预测结果进行更新。6.根据权利要求5所述方法，还包括：当达到所述梯度提升树的棵树阈值，生成训练完成后的最终模型，并将所述最终模型发送至各个所述第二电子设备；接收各个所述第二电子设备基于所述最终模型发送的与所述第二特征信息集中各个特征对应的贡献度。7.一种基于联邦学习的模型训练系统，所述系统包括：第一电子设备，其中，
所述第一电子设备用于执行如权利要求1
‑
6任意一项的基于联邦学习的模型训练方法。8.根据权利要求7所述系统，其中，所述系统还包括：至少一个第二电子设备；所述第二电子设备，用于接收所述联邦学习系统中的第一电子设备发送的梯度数据；基于所述梯度数据，生成表征所述第二特征信息集中每个特征和相应特征的分裂阈值对应的随机数编码和与各个随机数编码对应的第一融合梯度，并将所述随机数编码和所述第一融合梯度发送至所述第一电子设备；响应于接收到所述第一电子设备发送的随机数编码，基于所述第一电子设备发送的随机数编码对应特征和分裂阈值对样本空间进行划分，生成样本空间划分结果和所述样本空间划分结果对应的目标融合梯度。9.根据权利要求7所述系统，其中，所述第二电子设备还用于向所述第一电子设备发送所述样本空间划分结果和所述样本空间划分结果对应的目标融合梯度。10.根据权利...

【专利技术属性】
技术研发人员：陈晓霖，杨恺，王虎，黄志翔，彭南博，
申请(专利权)人：京东科技控股股份有限公司，
类型：发明
国别省市：