一种多语言的术语识别和双语术语对齐方法技术

一种多语言的术语识别和双语术语对齐方法，包括如下步骤：步骤S1：数据集获取；步骤S2：分词标注；步骤S3：模型训练，输出每个词是否为术语；步骤S4：词向量加载；步骤S5：词向量相似度计算；步骤S6：词对齐：步骤S7：术语对齐；根据词对齐结果，查询对应的术语译文。本发明专利技术克服了现有技术的不足，不再依赖多语言术语库，相对来说，成本更低，准确率更高。并且本发明专利技术支持多语言，之前针对于不同的语言都要调用机器翻译，现在利用多语言蒸馏后的模型，成本大大降低，准确率也有显著提高。准确率也有显著提高。准确率也有显著提高。

【技术实现步骤摘要】
一种多语言的术语识别和双语术语对齐方法


[0001]本专利技术涉及人工智能
，具体涉及一种多语言的术语识别和双语术语对齐方法。

技术介绍

[0002]现有方法的基本思路是基于术语库，识别原文中的术语，通过机器翻译将原文术语翻译为目标语言，利用机翻术语在译文中查询最匹配的字符串，例如识别原文“我爱中国”中的“中国”，使用机器翻译模型将“中国”翻译成“China”，利用“China”匹配译文中最相似的字符串。现有方法有以下缺陷：(1)术语识别依赖术语库，无法识别术语库以外的术语，尤其是多语言业务场景下，多语言术语库时间和人力成本较高；(2)双语术语对齐依赖机翻质量，会出现机翻术语无法在译文中匹配相似字符串的情况，而且在多语言业务场景下，需要部署不同语言方向的机翻模型或者调用外部机翻引擎，运行和维护成本高。

技术实现思路

[0003]针对现有技术的不足，本专利技术提供了一种多语言的术语识别和双语术语对齐方法，克服了现有技术的不足，设计合理，不再依赖多语言术语库，相对来说，成本更低，准确率更高。并且本专利技术支持多语言，之前针对于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多语言的术语识别和双语术语对齐方法，其特征在于，包括以下步骤：步骤S1：数据集获取：从Wikidata多语言知识库中获取数据集，并筛选出500万个含有术语的句子；步骤S2：分词：将不同语言文本进行分词，对分词后的文本进行标注；步骤S3：模型训练：使用预训练模型作为文本特征提取器，接入一层全连接层，最后输出每个词是否为术语；步骤S4：词向量加载：使用预训练模型中自带的分词器对不同语言文本进行分词；根据分词结果，使用预训练模型作为文本特征提取器，输出词向量；步骤S5：词向量相似度计算：词向量相似度是语义相似度和位置相似度的乘积(公式1)，语义相似度为原文句向量和译文句向量的余弦距离(公式2)，位置相似度为原文的句子位置和译文的句子位置的相对距离(公式3)：S
ij
＝SEM
ij
*POS
ij
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)(1)其中，S
ij
表示原文第i个词向量和译文第j个词向量的相似度，SEM
ij
表示原文第i个词向量和译文第j个词向量的语义相似度，POS
ij
表示原文第i个词向量和译文第j个词向量的位置相似度，v
i
表示原文第i个词向量，v
j
表示译文第j个词向量，l
s
表示原文的词数，l
t

【专利技术属性】
技术研发人员：陈件，潘丽婷，张井，
申请(专利权)人：上海一者信息科技有限公司，
类型：发明
国别省市：