一种多语言的术语识别和双语术语对齐方法技术

一种多语言的术语识别和双语术语对齐方法，包括如下步骤：步骤S1：数据集获取；步骤S2：分词标注；步骤S3：模型训练，输出每个词是否为术语；步骤S4：词向量加载；步骤S5：词向量相似度计算；步骤S6：词对齐：步骤S7：术语对齐；根据词对齐结果，查询对应的术语译文。本发明专利技术克服了现有技术的不足，不再依赖多语言术语库，相对来说，成本更低，准确率更高。并且本发明专利技术支持多语言，之前针对于不同的语言都要调用机器翻译，现在利用多语言蒸馏后的模型，成本大大降低，准确率也有显著提高。准确率也有显著提高。准确率也有显著提高。

【技术实现步骤摘要】
一种多语言的术语识别和双语术语对齐方法


[0001]本专利技术涉及人工智能
，具体涉及一种多语言的术语识别和双语术语对齐方法。

技术介绍

[0002]现有方法的基本思路是基于术语库，识别原文中的术语，通过机器翻译将原文术语翻译为目标语言，利用机翻术语在译文中查询最匹配的字符串，例如识别原文“我爱中国”中的“中国”，使用机器翻译模型将“中国”翻译成“China”，利用“China”匹配译文中最相似的字符串。现有方法有以下缺陷：(1)术语识别依赖术语库，无法识别术语库以外的术语，尤其是多语言业务场景下，多语言术语库时间和人力成本较高；(2)双语术语对齐依赖机翻质量，会出现机翻术语无法在译文中匹配相似字符串的情况，而且在多语言业务场景下，需要部署不同语言方向的机翻模型或者调用外部机翻引擎，运行和维护成本高。

技术实现思路

[0003]针对现有技术的不足，本专利技术提供了一种多语言的术语识别和双语术语对齐方法，克服了现有技术的不足，设计合理，不再依赖多语言术语库，相对来说，成本更低，准确率更高。并且本专利技术支持多语言，之前针对于不同的语言都要调用机器翻译，现在利用多语言蒸馏后的模型，成本大大降低，准确率也有显著提高。
[0004]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0005]一种多语言的术语识别和双语术语对齐方法，包括以下步骤：
[0006]步骤S1：数据集获取：从Wikidata多语言知识库中获取数据集，并筛选出500万个含有术语的句子；
[0007]步骤S2：分词：将不同语言文本进行分词，对分词后的文本进行标注；
[0008]步骤S3：模型训练：使用预训练模型作为文本特征提取器，接入一层全连接层，最后输出每个词是否为术语；
[0009]步骤S4：词向量加载：使用预训练模型中自带的分词器对不同语言文本进行分词；根据分词结果，使用预训练模型作为文本特征提取器，输出词向量；
[0010]步骤S5：词向量相似度计算：
[0011]词向量相似度是语义相似度和位置相似度的乘积(公式1)，语义相似度为原文句向量和译文句向量的余弦距离(公式2)，位置相似度为原文的句子位置和译文的句子位置的相对距离(公式3)：
[0012]S
ij
＝SEM
ij
*POS
ij
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0013][0014][0015]其中，S
ij
表示原文第i个词向量和译文第j个词向量的相似度，SEM
ij
表示原文第i个词向量和译文第j个词向量的语义相似度，POS
ij
表示原文第i个词向量和译文第j个词向量的位置相似度，v
i
表示原文第i个词向量，v
j
表示译文第j个词向量，l
s
表示原文的词数，l
t
表示译文的词数，α为超参数，经过实验取0.5，限制位置相似度的权重；
[0016]步骤S6：词对齐：
[0017]原文词向量和译文词向量使用双向最优匹配，，即当原文第i个词向量的相似度最高是译文第j个词向量，同时译文第j个词向量的相似度最高是原文第i个词向量时，第i个原文词向量与第j个译文词向量匹配(公式4)：
[0018][0019]其中，M
ij
为词对匹配矩阵，1为匹配，0为不匹配；
[0020]步骤S7：术语对齐；使用多语言术语识别模型识别原文中的术语，根据词对齐结果，查询对应的术语译文。
[0021]优选地，所述步骤S3模型训练中，训练集和测试集的比例为8：2。
[0022]优选地，所述步骤S6词对齐中，还包括：
[0023]步骤S61：双向最优匹配无法一次性将所有的原文句子和译文句子，为了匹配剩下的句向量，需要在每一次双向最优匹配后更新相似度矩阵S'
ij
(公式5)；
[0024]S'
ij
＝(1
‑
M
ij
)*S
ij
ꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0025]将已匹配的词对(M
ij
＝1)的相似度变为0(S'
ij
＝0)，进行下一次双向最优匹配，并不断重复公式4和公式5的操作，直到所有原文和译文单词匹配。
[0026]本专利技术提供了一种多语言的术语识别和双语术语对齐方法。具备以下有益效果：本专利技术不再依赖多语言术语库，相对来说，成本更低，准确率更高。并且本专利技术支持多语言，之前针对于不同的语言都要调用机器翻译，现在利用多语言蒸馏后的模型，成本大大降低，准确率也有显著提高。
附图说明
[0027]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对现有技术描述中所需要使用的附图作简单地介绍。
[0028]图1本专利技术的运行流程示意图；
[0029]图2本专利技术中术语识别模型的流程图；
[0030]图3是分词示意图；
[0031]图4是词向量加载示意图；
[0032]图5是双向最优匹配和相似度更新示意图。
具体实施方式
[0033]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述。
[0034]如图1
‑
5所示，一种多语言的术语识别和双语术语对齐方法，包括以下步骤：
[0035]步骤S1：数据集获取：从Wikidata多语言知识库中获取数据集，并筛选出500万个
含有术语的句子；
[0036]步骤S2：分词：将不同语言文本进行分词，对分词后的文本进行标注；T表示术语词组，O表示非术语，标注示例如图2所示；
[0037]步骤S3：模型训练：使用预训练模型作为文本特征提取器，接入一层全连接层，最后输出每个词是否为术语；在本申请中，预训练模型是谷歌公司开源的distilbert
‑
base
‑
multilingual
‑
cased模型，该模型支持104种语言的预训练词向量，因此本方法支持104种语言的术语识别和双语术语提取；
[0038]步骤S4：词向量加载：使用预训练模型中自带的分词器对不同语言文本进行分词；在本申请中，distilbert
‑
base
‑
multilingual
‑
cased模型的分词器使用的是BPE算法，建立词表，以词表中的单词或者字作为最小分词单位，对文本进行分词，比如原文“我爱中国”和译文“I love China”，分词后分别得到“我”，“爱”，“中”，“国”和“I”，“love”，“China”；如图3所示；
[0039]再根据分词结果，使用distilbert
‑
base
‑
multilingu本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多语言的术语识别和双语术语对齐方法，其特征在于，包括以下步骤：步骤S1：数据集获取：从Wikidata多语言知识库中获取数据集，并筛选出500万个含有术语的句子；步骤S2：分词：将不同语言文本进行分词，对分词后的文本进行标注；步骤S3：模型训练：使用预训练模型作为文本特征提取器，接入一层全连接层，最后输出每个词是否为术语；步骤S4：词向量加载：使用预训练模型中自带的分词器对不同语言文本进行分词；根据分词结果，使用预训练模型作为文本特征提取器，输出词向量；步骤S5：词向量相似度计算：词向量相似度是语义相似度和位置相似度的乘积(公式1)，语义相似度为原文句向量和译文句向量的余弦距离(公式2)，位置相似度为原文的句子位置和译文的句子位置的相对距离(公式3)：S
ij
＝SEM
ij
*POS
ij
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)(1)其中，S
ij
表示原文第i个词向量和译文第j个词向量的相似度，SEM
ij
表示原文第i个词向量和译文第j个词向量的语义相似度，POS
ij
表示原文第i个词向量和译文第j个词向量的位置相似度，v
i
表示原文第i个词向量，v
j
表示译文第j个词向量，l
s
表示原文的词数，l
t

【专利技术属性】
技术研发人员：陈件，潘丽婷，张井，
申请(专利权)人：上海一者信息科技有限公司，
类型：发明
国别省市：