联邦学习模型的训练方法及装置制造方法及图纸

本申请公开了一种联邦学习模型的训练方法及装置，执行主体为参与联邦学习模型训练的目标训练节点，其中，目标训练节点为任意一个参与联邦学习模型训练的训练节点，该方法包括：获取所述目标训练节点上第一学习模型的梯度秘密份额；根据所述梯度秘密份额，恢复所述第一学习模型的梯度信息；根据所述梯度信息更新所述第一学习模型的模型参数，并重新对更新后的所述第一学习模型进行训练。本申请在半诚实假设的前提下，基于秘密共享算法对联邦学习模型进行训练，确保了数据安全、提高了模型训练有效性、缩短了运算耗时。

【技术实现步骤摘要】
联邦学习模型的训练方法及装置
本申请涉及数据处理
，尤其涉及一种联邦学习模型的训练方法及装置。
技术介绍
目前，在企业数字化转型发展进程中，数据驱动的业务创新正起着至关重要的推动作用。为打破数据孤岛，提高数据使用质量，机构间数据合作逐渐频繁。联邦学习是一个能够满足隐私保护和数据安全的可行解决方案，通过同态加密、秘密分享等方式保证各方私有数据不出本地，实现联合计算和建模。另一方面，在对模型进行训练的过程中，运算速度也是需要保证的。由此，如何兼顾对联邦学习模型进行有效训练的同时，确保数据安全、缩短运算耗时，已成为了重要的研究方向之一。
技术实现思路
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的第一个目的在于提出一种联邦学习模型的训练方法，用于解决现有联邦学习模型的训练方法中存在的无法兼顾对联邦学习模型进行有效训练的同时，确保数据安全、缩短运算耗时的技术问题。本专利技术的第二个目的在于提出另一种联邦学习模型的训练方法。本专利技术的第三个目的在于提出一种联邦学习模型的训练装置。本文档来自技高网...

【技术保护点】
1.一种联邦学习模型的训练方法，其特征在于，执行主体为参与联邦学习模型训练的目标训练节点，其中，所述目标训练节点为任意一个参与所述联邦学习模型训练的训练节点，所述方法包括以下步骤：/n获取所述目标训练节点上第一学习模型的梯度秘密份额；/n根据所述梯度秘密份额，恢复所述第一学习模型的梯度信息；/n根据所述梯度信息更新所述第一学习模型的模型参数，并重新对更新后的所述第一学习模型进行训练。/n

【技术特征摘要】
1.一种联邦学习模型的训练方法，其特征在于，执行主体为参与联邦学习模型训练的目标训练节点，其中，所述目标训练节点为任意一个参与所述联邦学习模型训练的训练节点，所述方法包括以下步骤：
获取所述目标训练节点上第一学习模型的梯度秘密份额；
根据所述梯度秘密份额，恢复所述第一学习模型的梯度信息；
根据所述梯度信息更新所述第一学习模型的模型参数，并重新对更新后的所述第一学习模型进行训练。


2.根据权利要求1所述的联邦学习模型的训练方法，其特征在于，所述获取所述目标训练节点上第一学习模型的梯度秘密份额，包括：
接收参与所述联邦学习模型训练的剩余训练节点和协助节点发送的所述第一学习模型的第一梯度秘密份额；
获取所述第一学习模型在所述目标训练节点上的第二梯度秘密份额。


3.根据权利要求1所述的联邦学习模型的训练方法，其特征在于，所述根据所述梯度信息更新所述第一学习模型的模型参数，包括：
接收所述协助节点反馈的所述第一学习模型的损失函数，其中，所述损失函数是由所述协助节点根据所述第一学习模型的损失函数秘密份额恢复出的；
根据所述损失函数识别所述第一学习模型是否收敛；
若识别出所述第一学习模型未收敛，则根据所述梯度信息更新所述第一学习模型的模型参数。


4.根据权利要求1所述的联邦学习模型的训练方法，其特征在于，所述根据所述梯度信息更新所述第一学习模型的模型参数之前，还包括
接收所述协助节点反馈的更新指示，其中，所述更新指示由所述协助节点根据所述第一学习模型的损失函数识别出所述第一学习模型未收敛时生成的。


5.根据权利要求2-4任一项所述的联邦学习模型的训练方法，其特征在于，所述获取所述第一学习模型在所述目标训练节点上的第二梯度秘密份额，包括：
对所述第一学习模型对应的样本数据进行秘密共享处理，以获取在所述目标训练节点上的数据秘密份额；
获取所述第一学习模型的中间结果，并对所述中间结果进行秘密共享处理，以获取在所述目标训练节点上的中间结果秘密份额；
获取在所述目标训练节点上的标签秘密份额，其中，所述标签秘密份额为有标签训练节点对自身样本的标签数据进行秘密共享处理后生成的；
根据所述数据秘密份额、所述中间结果秘密份额和所述标签秘密份额，获取所述第二梯度秘密份额。


6.根据权利要求5所述的联邦学习模型的训练方法，其特征在于，所述对所述第一学习模型对应的样本数据进行秘密共享处理之后，还包括：
将所述样本数据秘密共享处理后生成的其他数据秘密份额，分别发送给所述剩余训练节点和所述协助节点。


7.根据权利要求5所述的联邦学习模型的训练方法，其特征在于，所述目标训练节点为有标签的训练节点，其中，所述对所述第一学习模型对应的样本数据进行秘密共享处理，包括：
对所述样本数据和样本的标签数据进行秘密共享处理。


8.根据权利要求5所述的联邦学习模型的训练方法，其特征在于，所述对所述中间结果进行秘密共享处理之后，还包括：
将所述中间结果秘密共享处理后生成的其他中间结果秘密份额分别发送给所述剩余训练节点和所述协助节点。


9.根据权利要求5所述的联邦学习模型的训练方法，其特征在于，还包括：
根据所述中间结果秘密份额和所述标签秘密份额，获取所述第一学习模型的损失函数秘密份额并发送给所述协助节点。


10.一种联邦学习模型的训练方法，其特征在于，执行主体为参与联邦学习模型训练的协助节点，所述方法包括以下步骤：
获取目标训练节点上第一学习模型的第一梯度秘密份额，其中，所述目标训练节点为任意一个参与所述联邦学习模型训练的训练节点；
向所述目标训练节点发送第一学习模型的第一梯度秘密份额。


11.根据权利要求10所述的联邦学习模型的训练方法，其特征在于，所述获取目标训练节点上第一学习模型的第一梯度秘密份额，包括：
接收所述目标训练节点发送的数据秘密份额，其中，所述数据秘密份额为所述第一学习模型对应的样本数据经过秘密共享处理后生成的；
接收所述目标训练节点发送的中间结果秘密份额，其中，所述中间结果密码份额为所述第一学习模型训练时产生的中间结果经过秘密共享处理后生成的；
接收有标签训练节点发送的标签秘密份额，其中，所述标签秘密份额为所述有标签训练节点对自身样本的标签数据进行秘密共享处理后生成的；
根据所述数据秘密份额、所述中间结果秘密份额和所述标签秘密份额，获取所述第一梯度秘密份额。


12.根据权利要求10所述的联邦学习模型的训练方法，其特征在于，还包括：
接收各训练节点发送的所述第一学习模型的损失函数秘密份额；
根据接收到的所述损失函数秘密份额，恢复出所述第一学习模型的损失函数。


13.根据权利要求12所述的联邦学习模型的训练方法，其特征在于，所述恢复出所述第一学习模型的所述损失函数之后，还包括：
根据所述损失函数，判断所述第一学习模型是否收敛；
若所述第一学习模型未收敛，则向所述目标训练节点发送更新模型参数的更新指示；
若所述第一学习模型收敛，则向所述目标训练节点发送所述第一学习模型训练完成的完成指示。


14.根据权利要求12所述的联邦学习模型的训练方法，其特征在于，所述恢复出所述第一学习模型的所述损失函数之后，还包括：
向所述目标训练节点发送所述损失函数。


15.一种联邦学习模型的训练装置，其特征在于，所述训练装置设置有目标训练节点上，其中，所述目标训练节点为任意一个参与所述联邦学习模型训练的训练节点；
所述联邦学习模型的训练装置，包括：
第一获取模块，用于获取所述目标训练节点上第一学习模型的梯度秘密份额；
梯度恢复模块，用于根据所述梯度秘密份额，恢复所述第一学习模型的梯度信息；
更新模块，用于根据所述梯度信息更新所述第一学习模型的模型参数，并重新对更新后的所述第一学习模型进行训练。


16.根据权利要求15所述的联邦学习模型的训练装置，其特征在于，所述第一获取模块，包括：
第一接收单元，用于接收参与所述联邦学习模型训练的剩余训练节点和协助节点发送的所述第一学习模型的第一梯度秘密份额；
第一获取单元，用于获取所述第一学习模型在所述目标训练节...

【专利技术属性】
技术研发人员：夏家骏，鲁颖，张珣，沈敏均，陈楚元，张佳辰，
申请(专利权)人：光之树北京科技有限公司，
类型：发明
国别省市：北京;11