基于纵向联邦学习的模型训练方法、系统、设备及介质技术方案

本发明专利技术提供了一种基于纵向联邦学习的模型训练方法、系统、设备及介质，所述方法包括步骤：当前参与方获取自身对应的待训练模型和训练样本；所述当前参与方基于所述待训练模型，计算得到所述训练样本对应的第一预测值，并将所述第一预测值发送至异步辅助器；所述异步辅助器基于所述预设损失函数、预设标签值和所述第二预测值，计算得到当前参与方基于所述训练样本的真实值；所述当前参与方基于所述第一预测值和所述真实值，计算得到梯度；所述当前参与方基于所述梯度，对所述待训练模型的参数进行更新，更新后的模型作为下一轮迭代的待训练模型或者当前参与方的最终模型；本申请实现了上述模型的异步训练，提高了模型训练效率。提高了模型训练效率。提高了模型训练效率。

【技术实现步骤摘要】
基于纵向联邦学习的模型训练方法、系统、设备及介质


[0001]本专利技术涉及人工智能
，具体地说，涉及一种基于纵向联邦学习的模型训练方法、系统、设备及介质。

技术介绍

[0002]联邦学习指的是多个数据拥有方(即参与方)在原始数据不出本地的情况下也可进行模型训练并得到最终模型的计算过程，并且保证模型效果与聚合训练效果的差距足够小。根据数据分布情况，可以把联邦学习分为横向联邦学习、纵向联邦学习以及联邦迁移学习。
[0003]对于纵向联邦学习，由于同一样本的不同特征分属于不同的训练参与方，并且样本标签与特征也是处于分离的状态，即训练参与方拥有相同的样本空间和不同的特征空间。现有技术中提出的基于纵向联邦学习的模型同步训练方法在进行训练时，每轮迭代更新都需要联合全部参与方的计算值去拟合样本标签值，所有参与方同步更新模型参数。由于各个参与方的数据量、计算速度和网络延迟都不一致，训练时间由处理最慢的参与方决定，从而形成木桶效应，影响训练效率。

技术实现思路

[0004]针对现有技术中的问题，本专利技术的目的在于提供一种基于纵向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于纵向联邦学习的模型训练方法，其特征在于，所述方法由多个参与方、异步辅助器和密钥服务器实现，所述方法用于对所述多个参与方中的当前参与方的模型参数进行多轮迭代更新，其中一轮迭代更新包括：当前参与方获取自身对应的待训练模型和训练样本；所述当前参与方基于所述待训练模型，计算得到所述训练样本对应的第一预测值，并将所述第一预测值发送至异步辅助器；所述异步辅助器存储有预设损失函数、所述训练样本对应的预设标签值和所述多个参与方中的其余参与方基于所述训练样本的第二预测值；所述异步辅助器基于所述预设损失函数、预设标签值和所述第二预测值，计算得到当前参与方基于所述训练样本的真实值；所述当前参与方基于所述第一预测值和所述真实值，计算得到梯度；所述当前参与方基于所述梯度，对所述待训练模型的参数进行更新，更新后的模型作为下一轮迭代的待训练模型或者当前参与方的最终模型。2.如权利要求1所述的基于纵向联邦学习的模型训练方法，其特征在于，所述当前参与方基于所述第一预测值和所述真实值，计算得到梯度，包括：所述异步辅助器基于所述第一预测值和所述真实值，计算得到损失值；所述当前参与方基于所述损失值，计算得到梯度。3.如权利要求2所述的基于纵向联邦学习的模型训练方法，其特征在于，所述当前参与方基于所述损失值，计算得到梯度，包括：所述异步辅助器基于所述损失值，计算得到所述当前参与方对应的训练偏差；所述当前参与方基于所述训练偏差，计算得到梯度。4.如权利要求3所述的基于纵向联邦学习的模型训练方法，其特征在于，在所述当前参与方获取自身对应的待训练模型和训练样本的步骤之前，所述方法还包括：密钥服务器生成同态加密密钥，并将所述同态加密密钥分发至当前参与方、其余参与方以及异步辅助器；所述将所述第一预测值发送至异步辅助器，包括：当前参与方基于所述同态加密密钥对所述第一预测值加密后，发送至异步辅助器。5.如权利要求4所述的基于纵向联邦学习的模型训练方法，其特征在于，所述当前参与方基于所述损失值，计算得到梯度，包括：所述异步辅助器将所述训练偏差发送至密钥服务器；所述密钥服务器对所述训练偏差进行解密，得到解密后的训练偏差；所述密钥服务器将所述解密后的训练偏差发送至所述当前参与方；所述当前参与方基于所述解密后的训练偏差，计算得到梯度。6.如权利要求1所述的基于纵向联邦学习的模型训练方法，其特征在于，在将所述第一预测值发送至异步辅助器的步骤之后，所述方法还包括：所述异步辅助器对存储的关联当前参与方的第一预测值进行更新。7.如权利要求3所述的基于纵向联邦学习的模型训练方法，其特征在于，所述异步...

【专利技术属性】
技术研发人员：李鑫超，章枝宪，周旭华，杨诗友，尹虹舒，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：