一种基于联邦学习的中文地址分词方法及装置制造方法及图纸

本发明专利技术公开了一种基于联邦学习的中文地址分词方法及装置，将中文地址分词任务分割成地址分词模型和地名分类模型两个部分单独进行训练，地址分词模型使用本地地址数据进行训练，地名分类模型使用联邦学习技术实现多数据源联合训练；决策时由两个模型共同完成中文地址分词任务。本发明专利技术首次提出双模型共同完成中文地址分词任务，地址分词模型基于本地数据训练，模型用于对完整地址的名词进行切分；地名分类模型使用联邦学习进行训练，学习多源数据的数据分布，模型用于对地址分词模型切分后的地名名词进行分级。同时改进地名分类模型的联邦学习过程，引入知识蒸馏技术加速训练效率。最后改进知识蒸馏方法的损失函数，增强知识蒸馏的效果。馏的效果。馏的效果。

【技术实现步骤摘要】
一种基于联邦学习的中文地址分词方法及装置


[0001]本专利技术涉及中文地址分词
，尤其涉及一种基于联邦学习的中文地址分词方法及装置。

技术介绍

[0002]随着人工智能技术和分布式计算的发展，数据孤岛的情况日益严重。而现代机器学习算法依赖于大量数据，尤其是在从文本和图像等高维数据训练深度神经模型时。大多数数据自然来自各个机构组织，这些数据保存在不同的机器中，这些数据都涉及私人信息，不允许私自分享和传播。因此，有必要在保护用户隐私的同时学习性能良好的机器学习模型。联邦学习作为一种保护数据隐私的技术，已成为一种新的机器学习范式，可以在多个分散的机构或服务器上训练模型，且无需交换信息，这些设备或服务器都拥有本地数据样本。同时，知识蒸馏技术，作为一种模型压缩方法，把信息浓缩到一个更小的模型中，应用在联邦学习中，可以提高信息传递的效率，提升联邦学习的性能。
[0003]在现实世界的场景中，不同银行、企业等组织持有用户的地址数据，而这些银行想训练一个地址分词模型供大家使用，但因为法律等原因，无法要求他们将自己的数据集中上传到云端。即使在同一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的中文地址分词方法，其特征在于，该方法包括以下步骤：(1)使用本地地址数据训练地址分词模型，负责将地址切分成多个地点名词，整个训练过程仅在本地进行，模型参数更新不参与联邦学习参数传递和共享；(2)使用地名分类模型进行联邦学习训练，所述地名分类模型使用地点名词和地点级别标签数据进行训练，训练过程基于横向联邦学习技术实现；所述地名分类模型的训练由本地复杂模型和联邦简单模型共同完成；每轮模型训练，所述本地复杂模型学习联邦简单模型的聚合参数和本地训练数据中的知识，所述联邦简单模型学习本地复杂模型的知识，联邦简单模型参与横向联邦学习，迭代更新，直至满足预设终止条件；(3)训练完成的地址分词模型和地名分类模型共同完成中文地址分词任务；将一条完整的中文地址送入所述地址分词模型，所述地址分词模型将其切分成多个中文地点名词，所述本地复杂模型对所述各地点名词进行分级决策。2.根据权利要求1所述的一种基于联邦学习的中文地址分词方法，其特征在于，所述步骤(2)中，所述地名分类模型的训练过程分三个步骤：1)本地复杂模型通过知识蒸馏学习联邦简单模型和本地数据集的知识；2)联邦简单模型通过知识蒸馏学习本地复杂模型的知识后，作为参与方，将更新参数上传至协作方进行参数聚合，参与联邦学习训练；3)协作方返回聚合参数用于更新联邦简单模型。3.根据权利要求2所述的一种基于联邦学习的中文地址分词方法，其特征在于，知识蒸馏方法的损失函数由任务损失函数和蒸馏损失函数组成；所述知识蒸馏方法的任务损失函数为其中y
i
表示数据标注，表示学生模型预测结果；所述知识蒸馏方法的蒸馏损失函数为其中表示教师模型预测结果，T为超参数用于控制蒸馏结果的平滑度；所述知识蒸馏方法的完整损失函数为其中，α为超参数用于控制知识蒸馏的学习侧重，α越大则更侧重对教师模型的拟合，α越小更侧重对数据的拟合。4.根据权利...

【专利技术属性】
技术研发人员：李莹，李文龙，金路，鲍迪恩，彭聪，
申请(专利权)人：浙江邦盛科技股份有限公司，
类型：发明
国别省市：