基于自然语言处理的联邦学习方法、装置及可读存储介质制造方法及图纸

本申请实施例提供了一种基于自然语言处理的联邦学习方法、装置、电子设备及计算机可读存储介质，方法包括：对本地自然语言模型进行初始化处理；在接收到第二训练参与节点发送过来的消息报文符合预设策略的情况下，向第二训练参与节点反馈回答消息；接收第二训练参与节点响应于回答消息发送过来的第一梯度信息，其中，第一梯度信息由第二训练参与节点根据第一本地数据训练而得到；根据第一梯度消息对本地自然语言模型的网络参数进行更新处理。通过上述技术方案，可以避免传统联邦学习的消息拥塞的问题，提高了联邦学习的训练效率。提高了联邦学习的训练效率。提高了联邦学习的训练效率。

【技术实现步骤摘要】
基于自然语言处理的联邦学习方法、装置及可读存储介质


[0001]本申请涉及计算机
，特别涉及一种基于自然语言处理的联邦学习方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]近年来，深度学习技术在自然语言处理领域取得了巨大的成功，但这很大程度上建立在投入大量的人力物力进行样本标注的基础上。在实践的过程中，本地自然语言处理模型性能受到每个用户拥有的本地数据的这一因素制约；为了进一步提升性能，采取多个用户共享各自数据进行联合建模的方式又带来敏感信息泄露的较大风险；近年来兴起的联邦学习技术可以使得“数据可用不可见，数据不动模型动”，用户无需提供敏感数据的明文，也能够进行共同训练得到一个性能优异的模型。
[0003]但是现有的联邦学习技术还存在着一些不足。例如，大多数联邦学习系统由多个训练参与方和一个充当各训练参与方协调者角色的服务器构成；在每轮训练过程中，各训练参与方需要向该协调者发送梯度信息，由该协调者进行模型参数聚合得到模型，再下发至训练参与方，直至模型训练结束。然而在实践中，由于大家都向协调者发送大量信息，因此该协调本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自然语言处理的联邦学习方法，其特征在于，用于经由第一训练参与节点和第二训练参与节点进行模型训练，所述第二训练参与节点具有第一本地数据，所述方法应用于所述第一训练参与节点，所述方法包括：对本地自然语言模型进行初始化处理；在接收到所述第二训练参与节点发送过来的消息报文符合预设策略的情况下，向所述第二训练参与节点反馈回答消息；接收所述第二训练参与节点响应于所述回答消息发送过来的第一梯度信息，其中，所述第一梯度信息由所述第二训练参与节点根据所述第一本地数据训练而得到；根据所述第一梯度消息对所述本地自然语言模型的网络参数进行更新处理。2.根据权利要求1所述的基于自然语言处理的联邦学习方法，其特征在于，所述第一训练参与节点具有第二本地数据，所述根据所述第一梯度消息对所述本地自然语言模型的网络参数进行更新处理，包括：根据所述第二本地数据进行训练处理得到第二梯度消息；根据所述第一梯度消息和所述第二梯度消息确定梯度均值信息；根据所述梯度均值信息对所述本地自然语言模型的所述网络参数进行更新处理。3.根据权利要求1所述的基于自然语言处理的联邦学习方法，其特征在于，所述消息报文包括时间戳信息和训练样本复杂度信息，所述在接收到所述第二训练参与节点发送过来的消息报文符合预设策略的情况下，向所述第二训练参与节点反馈回答消息，包括：在接收到所述第二训练参与节点发送过来的所述时间戳信息达到第一预设阈值的情况下，向所述第二训练参与节点反馈所述回答消息；或者，在接收到所述第二训练参与节点发送过来的所述训练样本复杂度信息达到第二预设阈值的情况下，向所述第二训练参与节点反馈所述回答消息；或者，在接收到所述第二训练参与节点发送过来的所述消息报文的次数达到第三预设阈值的情况下，向所述第二训练参与节点反馈所述回答消息。4.根据权利要求3所述的基于自然语言处理的联邦学习方法，其特征在于，所述训练样本复杂度信息通过以下方式得到：对所述第一本地数据去除停用词得到第一处理数据；对所述第一处理数据进行分词处理得到多个短语信息；从多个所述短语信息中选取符合预设的词频
‑
逆文档频率设置的多个所述短语信息；求取多个所述短语信息之间的互信息以及杰卡德距离；将多个所述互信息的均值和多个所述杰卡德距离的均值确定为所述训练样本复杂度信息。5.根据权利要求3所述的基于自然语言处理的联邦学习方法，其特征在于，所述根据所述第一梯度消息对所述本地自然语言模型的网络参数进行更新处理后，所述方法还包括：在经过预设训练周期后，根据所述第一梯度消息对所述本地自然语言模型的所述网络参数进行更新处理过程中得到的第一损失函数值与上一个训练...

【专利技术属性】
技术研发人员：王伟，钟焰涛，张黔，陈焕坤，曾志贤，
申请(专利权)人：华润数字科技有限公司，
类型：发明
国别省市：