联邦学习模型的训练方法及装置制造方法及图纸

本申请公开了一种联邦学习模型的训练方法及装置，执行主体为目标节点，该方法包括：在联邦学习模型的训练的过程中，获取处于掉线状态的第一训练节点，从本地缓存中获取第一训练节点的替代中间结果秘密份额；根据替代中间结果秘密份额，获取第一训练节点在目标节点上的第一损失函数秘密份额；接收处于在线状态的剩余参与节点发送的第二中间结果秘密份额，并根据第二中间结果秘密份额，获取剩余参与节点在目标节点上的第二损失函数秘密份额；根据第一梯度秘密份额、第二梯度秘密份额和目标节点自身的损失函数，获取联邦学习模型的损失函数。由此，若训练节点掉线，目标节点从本地缓存中获取替代中间结果秘密份额继续训练，减小节点掉线导致的影响。

【技术实现步骤摘要】
联邦学习模型的训练方法及装置
本申请涉及数据处理
，尤其涉及一种联邦学习模型的训练方法及装置。
技术介绍
目前，在企业数字化转型发展进程中，数据驱动的业务创新正起着至关重要的推动作用。为打破数据孤岛，提高数据使用质量，机构间数据合作逐渐频繁。联邦学习是一个能够满足隐私保护和数据安全的可行解决方案，通过同态加密、秘密分享等方式保证各方私有数据不出本地，实现联合计算和建模。另一方面，在对模型进行训练的过程中，训练节点的连接状态也是影响模型训练有效性的重要因素。由此，如何兼顾对联邦学习模型进行有效训练的同时，确保训练节点掉线不会导致模型训练过程无法顺利完成，已成为了重要的研究方向之一。
技术实现思路
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的第一个目的在于提出一种联邦学习模型的训练方法，用于解决现有联邦学习模型的训练方法中存在的无法兼顾对联邦学习模型进行有效训练的同时，确保训练节点掉线不会导致模型训练过程无法顺利完成的技术问题。本专利技术的第二个目的在于提出一种联邦学习模型的训练装本文档来自技高网...

【技术保护点】
1.一种联邦学习模型的训练方法，其特征在于，执行主体为目标节点，其中，所述目标节点为参与联邦学习模型训练且处于在线状态的训练节点和协调节点中的任意一个，所述联邦学习模型基于秘密共享算法进行训练，所述方法包括以下步骤：/n在所述联邦学习模型的训练的过程中，获取处于掉线状态的第一训练节点，并从本地缓存中获取所述第一训练节点的替代中间结果秘密份额，其中，所述替代中间结果秘密份额为所述本地缓存中所缓存的所述第一训练节点掉线前完成训练时产生的第一中间秘密份额；/n根据所述替代中间结果秘密份额，获取所述第一训练节点在所述目标节点上的第一损失函数秘密份额；/n接收处于在线状态的剩余参与节点发送的第二中间结果...

【技术特征摘要】
1.一种联邦学习模型的训练方法，其特征在于，执行主体为目标节点，其中，所述目标节点为参与联邦学习模型训练且处于在线状态的训练节点和协调节点中的任意一个，所述联邦学习模型基于秘密共享算法进行训练，所述方法包括以下步骤：
在所述联邦学习模型的训练的过程中，获取处于掉线状态的第一训练节点，并从本地缓存中获取所述第一训练节点的替代中间结果秘密份额，其中，所述替代中间结果秘密份额为所述本地缓存中所缓存的所述第一训练节点掉线前完成训练时产生的第一中间秘密份额；
根据所述替代中间结果秘密份额，获取所述第一训练节点在所述目标节点上的第一损失函数秘密份额；
接收处于在线状态的剩余参与节点发送的第二中间结果秘密份额，并根据所述第二中间结果秘密份额，获取所述剩余参与节点在所述目标节点上的第二损失函数秘密份额，其中，所述剩余参与节点包括剩余的训练节点和所述协调节点；
根据所述第一损失函数秘密份额、所述第二损失函数秘密份额和所述目标节点自身的第三损失函数秘密份额，获取每个所述训练节点上的损失函数。


2.根据权利要求1所述的联邦学习模型的训练方法，其特征在于，所述获取处于掉线状态的第一训练节点，并从本地缓存中获取所述第一训练节点的替代中间结果秘密份额，包括：
获取用于提示存在所述训练节点掉线的第一提示信息，其中，所述第一提示信息中至少包括所述第一训练节点的标识信息和掉线时间；
根据所述掉线时间，从所述本地缓存中获取所述第一训练节点的所述替代中间结果秘密份额。


3.根据权利要求2所述的联邦学习模型的训练方法，其特征在于，所述根据所述掉线时间，从所述本地缓存中获取所述第一训练节点的所述替代中间结果秘密份额，包括：
根据所述掉线时间，确定所述第一训练节点当次模型训练是否完成；
若所述掉线时间指示当次模型训练未完成，则将所述第一训练节点上一次模型训练产生的第一中间结果秘密份额作为所述替代中间结果秘密份额；
若掉线时间指示当次模型训练完成，则将所述第一训练节点当次模型训练产生的第一中间结果秘密份额作为所述替代中间结果秘密份额。


4.根据权利要求1-3任一项所述的联邦学习模型的训练方法，其特征在于，当所述目标节点为任一训练节点时，所述根据所述第一损失函数秘密份额、所述第二损失秘密份额和所述目标节点自身的第三损失秘密份额，获取所述联邦学习模型的损失函数，包括：
将所述第一损失函数秘密份额、所述第二损失函数秘密份额以及所述第三损失函数秘密份额发送给所述协调节点，由所述协调节点根据每个所述训练节点的损失函数秘密份额，获取每个所述训练节点的损失函数。


5.根据权利要求1-3任一项所述的联邦学习模型的训练方法，其特征在于，当所述目标节点为协调节点时，所述方法还包括：
获取所述第一训练节点重新上线的第二提示信息；
向所述第一训练节点发送初始模型参数；
协调各参与节点向所述第一训练节点发送所缓存的所述第一训练节点掉线前每次模型训练后的梯度秘密份额，以使所述第一训练节点根据所述初始模型参数和所述掉线前每次模型训练后的梯度秘密份额，获取所述第一训练节点上第一学习模型的目标模型参数。


6.根据权利要求1-3任一项所述的联邦学习模型的训练方法，其特征在于，所述方法还包括：
当所述第一训练节点掉线后至所述联邦学习模型训练结束后一直未重新上线时，识别所述目标节点是否为授权节点；
若所述目标节点为所述授权节点，则获取所述第一训练节点的初始模型参数和各参与节点缓存的所述第一训练节点掉线前每次模型训练后的梯度秘密份额；
根据所述初始模型参数和所述掉线前每次模型训练后的梯度秘密份额，获取所述第一训练节点的目标模型参数；
其中，所述授权节点由所述第一训练节点授权，用于对所述第一训练节点上第一学习模型的模型参数进行恢复，所述授权节点为所述训练节点或者所述协调节点。


7.根据权利要求6所述的联邦学习模型的训练方法，其特征在于，所述获取所述第一训练节点的目标模型参数之后，还包括：
获取预测节点发送的预测数据；
根据所述目标模型参数和所述预测数据，生成所述第一训练节点对应的第二中间结果并反馈给所述预测节点，以使所述预测节点根据所述第二中间结果获取所述第一训练节点对应的所述预测数据的预测结果。


8.根据权利要求6所述的联邦学习模型的训练方法，其特征在于，所述根据所述初始模型参数和所述掉线前每次模型训练后的梯度秘密份额，获取所述第一训练节点的目标模型参数，包括：
根据各参与节点所述掉线前每次模型训练后的梯度秘密份额，获取掉线前每次模型训练后的梯度信息；
基于梯度下降算法，根据掉线前的所述梯度信息，对所述初始模型参数进行逐次更新，以获取所述目标模型参数。


9.根据权利要求6所述的联邦学习模型的训练方法，其特征在于，所述方法还包括：
若所述目标节点非所述授权节点，获取所述第一训练节点的初始模型参数的第一参数秘密份额；
根据所述第一参数秘密份额和在所述目标节点上缓存的所述第一训练节点掉线前的每次模型训练后的梯度秘密份额，获取所述目标模型参数的第二参数秘密份额。


10.根据权利要求9所述的联邦学习模型的训练方法，其特征在于，所述获取所述目标模型参数的第二参数秘密份额之后，还包括：
获取预测节点发送的针对所述第一训练节点的预测数据的数据秘密份额；
根据所述第一训练节点对应的所述数据秘密份额和所述第二参数秘密份额，生成所述第一训练节点对应的第二中间结果秘密份额，并反馈给所述预测节点，以使所述预测节点根据预设数量的所述第二中间结果秘密份额获取所述第一训练节点对应的所述预测数据的预测结果。


11.根据权利要求9所述的联邦学习模型的训练方法，其特征在于，所述根据所述第一参数秘密份额和在所述目标节点上缓存的所述第一训练节点掉线前的每次模型训练后的梯度秘密份额，获取所述目标模型参数的第二参数秘密份额，包括：
基于梯度下降算法，根据所述掉线前的每次模型训练后的梯度秘密份额，对所述第一参数秘密份额进行逐次更新，以获取所述第二参数秘密份额。


12.根据权利要求6所述的联邦学习模型的训练方法，其特征在于，所述方法还包括：
在所述第一训练节点未上线之前，将掉线前最后一次所缓存的所述第一中间结果秘密份额作为所述目标中间结果秘密份额。


13.根据权利要求1-3任一项所述的联邦学习模型的训练方法，其特征在于，所述方法还包括：
获取处于在线状态的所述训练节点的个数，若所述训练节点的个数小于或者等于预设数量，则终止所述联邦学习模型的训练。


14.一种联邦学习模型的训练装置，其特征在于，所述联邦学习模型的训练装置设置在目标节点上，其中，所述目标节点为参与联邦学习模型训练且处于在线状态的训练节点和协调节点中的任意一个；所述联邦学习模型基于秘密共享...

【专利技术属性】
技术研发人员：夏家骏，鲁颖，张珣，沈敏均，陈楚元，张佳辰，
申请(专利权)人：光之树北京科技有限公司，
类型：发明
国别省市：北京;11