基于联邦学习的分布式语言关系识别方法、系统和装置制造方法及图纸

本发明专利技术属于数据识别领域，具体涉及了一种基于联邦学习的分布式语言关系识别方法、系统和装置，旨在解决多个参与方在不共享数据的基础上难以联合建模的问题。本发明专利技术包括：各个本地平台获取待识别数据和带标签的本地训练数据，在根据本地训练数据训练本地分类器模型，用训练好的分类器模型集成为全局分类器模型，再通过全局分类器模型初始化本地分类器模型，用初始化后的本地分类模型识别待识别的数据获得语言关系预测结果。本发明专利技术实现了在不共享数据的基础上将本地平台结合其它平台进行数据使用和机器学习建模，提高了自然语言识别模型训练的协作性，解决了数据孤岛的问题，降低各个平台训练模型所需的训练数据总量和要求。

【技术实现步骤摘要】
基于联邦学习的分布式语言关系识别方法、系统和装置
本专利技术属于数据识别领域，具体涉及了一种基于联邦学习的分布式语言关系识别方法、系统和装置。
技术介绍
现实生活中，绝大多数企业都存在数据量少，数据质量差的问题，不足以支撑人工智能技术的实现；同时国内外环境也在逐步加强数据保护，因此数据在安全合规的前提下自由流动，成了大势所趋；在用户和企业角度下，商业公司所拥有的数据往往都有巨大的潜在价值。两个公司甚至公司间的部门都要考虑利益的交换，往往这些机构不会向其他公司提供其私有数据，即使在同一个公司内，数据也往往以孤岛形式出现。为了解决数据孤岛，以及隐私保护问题，联邦学习应运而生。联邦机器学习(FederatedMachineLearning/FederatedLearning)，又名联邦学习，联合学习，联盟学习，是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现人工智能的协本文档来自技高网...

【技术保护点】
1.一种基于联邦学习的分布式语言关系识别方法，其特征在于，所述方法包括：/n步骤S100，各个本地平台获取待识别数据和带标签的本地训练数据；/n步骤S200，各个本地平台通过带标签的本地训练数据训练第一本地分类器模型，获得第二本地分类器模型；/n步骤S300，基于各个本地平台的所述第二本地分类器模型，通过加权平均的方法生成全局分类器模型；/n步骤S400，基于所述全局分类器模型初始化各个本地平台的所述第二本地分类器模型，生成第三本地分类器模型；/n步骤S500，通过所述第三本地分类器模型进行所述待识别数据的语言关系识别，获取待识别数据的语言关系预测结果。/n

【技术特征摘要】
1.一种基于联邦学习的分布式语言关系识别方法，其特征在于，所述方法包括：
步骤S100，各个本地平台获取待识别数据和带标签的本地训练数据；
步骤S200，各个本地平台通过带标签的本地训练数据训练第一本地分类器模型，获得第二本地分类器模型；
步骤S300，基于各个本地平台的所述第二本地分类器模型，通过加权平均的方法生成全局分类器模型；
步骤S400，基于所述全局分类器模型初始化各个本地平台的所述第二本地分类器模型，生成第三本地分类器模型；
步骤S500，通过所述第三本地分类器模型进行所述待识别数据的语言关系识别，获取待识别数据的语言关系预测结果。


2.根据权利要求1所述的基于联邦学习的分布式语言关系识别方法，其特征在于，步骤S200包括：
步骤S210，令t=1，通过BERT模型进行所述带标签的本地训练数据的编码操作，将所述带标签的本地训练数据的每个句子生成1个句子特征化表示和多个实体特征化表示；
步骤S220，选取所述带标签的本地数据的第t句子，选取2个实体特征化表示，并将选取
的2个实体特征化表示和所述句子特征化表示拼接生成蕴含实体信息的句子表示：



其中，为句子特征化表示，为第1个选取的实体特征化表示，为第2个选取的
实体特征化表示，表示实数空间，表示每个特征化表示的维度；
步骤S230，基于所述蕴含实体信息的句子表示，通过第一本地分类器模型获取带标签
的本地训练数据的预测语言关系p：



其中，表示每个蕴含实体信息的句子表示的预测关系分布，预测关系分
布中数值最大的为最终预测关系p，表示关系标签，表示句子的集合，表示模型参数，W
和b为训练过程中调整的可训练参数，softmax表示通用的softmax分类器；
步骤S240，令t=t+1并跳转至步骤S220，通过随机梯度下降算法调整可训练参数W和可训练参数b，直至模型的本地损失函数小于预设的第一阈值，获得第二本地分类器模型。


3.根据权利要求2所述的基于联邦学习的分布式语言关系识别方法，其特征在于，步骤S300还包括步骤S300B基于各个本地平台的所述第二本地分类器模型通过知识蒸馏的方式获得全局分类器模型。


4.根据权利要求3所述的基于联邦学习的分布式语言关系识别方法，其特征在于，所述基于各个本地平台的所述第二本地分类器模型通过知识蒸馏的方式获得全局分类器模型，其方法为：
步骤S310B，各个本地平台获取带标签的全局服务器数据；
步骤S320B，分别通过各个本地平台的第二本地分类器模型对所述带标签的全局服务
器数据进行预测，获得全局数据本地预测关系集；
步骤S330B，进行所述全局数据本地预测关系集的聚合，并通过随机梯度下降算法优
化全局数据本地预测关系集和带标签的全局服务器数据的全局损失函数L至所述全局损
失函数值L小于预设的第二阈值，获得全局分类器模型；
所述全局损失函数L为：



其中，为带标签的本地训练数据，为全局数据，i为索引，为本地蕴含
实体信息的句子表示的预测关系分布，为各第二本地分类器模型聚合后模型
的预测关系分布：



其中，τ为温度参数用于控制蒸馏的分布，r为与i不同的另一个索引，为：



其中，是各第二本地分类器模型标签聚合后模型的logit值，
表示用于聚合的本地蕴含实体信息的句子表示的预测关系分布，s表示句子，j为局部分
类器模型中的索引，J为局部分类器模型。


5.一种基于联邦学习的分布式语言关系识别系统，其特征在于，所述系统包括：数据获取模块、局部训练模块、聚合模块、本地分类器优化模块和数据识别模块；
所述数据获取模块，各个本地平台获取待识别数据和带标签的本地训练数据；
所述局部训练模块，配置为各个本地平台通过...

【专利技术属性】
技术研发人员：赵军，陈玉博，刘康，隋典伯，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11