基于跨语言预训练模型的中朝翻译质量估计方法和系统技术方案

本申请公开了基于跨语言预训练模型的中朝翻译质量估计方法和系统，本方法包括：将源语言句子和机器译文拼接，并使用XLM

【技术实现步骤摘要】
基于跨语言预训练模型的中朝翻译质量估计方法和系统


[0001]本申请属于人工智能中的自然语言处理领域，具体涉及基于跨语言预训练模型的中朝翻译质量估计方法和系统。

技术介绍

[0002]机器翻译译文质量估计(Quality Estimation,QE)做为机器翻译的子任务，由于其在机器翻译的系统评价、译后优化和语料筛选等方面的重要作用，受到学术界和工业界广泛关注。与常见机器翻译评价指标不同，QE任务能够在有监督训练后自动地评估机器生成译文的翻译质量，且在预测阶段不依赖任何参考译文。随着神经机器翻译模型的迅速发展，诸多学者开始将深度学习方法引入至翻译质量估计任务中，这使得翻译质量估计领域取得了巨大进展。
[0003]机器翻译质量估计不同于机器翻译评价指标，如BLEU、TER、 METEOR等。它可以在不依赖任何参考翻译的情况下，自动给出机器生成翻译的质量预测。最常用的质量评分是人工翻译编辑率(HTER)。 QuEst是special等提出的用于质量估计任务的模型。该模型作为机器翻译质量估计任务的基线模型，由特征提取模块和机器学习模块组成。为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于跨语言预训练模型的中朝翻译质量估计方法，其特征在于，包括如下步骤：将源语言句子和目标语言的机器译文按预设格式拼接，获得一个拼接句子，使用XLM
‑
R模型得到所述拼接句子的初始特征矩阵X；对所述初始特征矩阵X进行语言学注意力计算和词项注意力计算，并通过卷积神经网络进行句子嵌入，得到所述拼接句子的句子向量；基于所述句子向量，使用全连接神经网络计算得到质量估计得分，完成翻译质量估计。2.根据权利要求1所述的基于跨语言预训练模型的中朝翻译质量估计方法，其特征在于，得到拼接句子的方法包括：所述源语言句子和所述机器译文前后衔接组成一个序列，同时在所述序列首位以及所述源语言句子和所述机器译文之间添加特殊嵌入符，得到所述拼接句子。3.根据权利要求2所述的基于跨语言预训练模型的中朝翻译质量估计方法，其特征在于，得到所述初始特征矩阵X的方法包括：基于所述XLM
‑
R模型的隐藏层和各词项位置，得到所述XLM
‑
R模型的隐藏层状态h
i
，h
i
为所述XLM
‑
R模型第i层待评估句对和特殊嵌入符词嵌入的按序拼接；将所述XLM
‑
R模型所有的隐藏层和词嵌入层e特征拼接后，得到所述拼接句子的所述初始特征矩阵X，所述初始特征矩阵X＝Concat(e，h1，...，h
24
)。4.根据权利要求3所述的基于跨语言预训练模型的中朝翻译质量估计方法，其特征在于，所述语言学注意力计算的方法包括：基于所述初始特征矩阵X，对所述隐藏层的全局信息进行压缩后，分别使用平均池化操作和最大池化操作聚合句子词项的位置信息，生成第一上下文特征和第二上下文特征基于所述第一上下文特征和所述第二上下文特征分别通过共享神经网络生成第一上下文注意力矩阵和第二上下文注意力矩阵；基于所述第一上下文注意力矩阵和所述第二上下文注意力矩阵，使用元素求和合并的方式，得到语言学注意力矩阵A
L
；对所述初始特征矩阵X和语言学注意力矩阵A
L
进行张量积运算后，得到语言学注意力计算结果X
′
。5.根据权利要求4所述的基于跨语言预训练模型的中朝翻译质量估计方法，其特征在于，所述词项注意力计算的方法包括：对所述语言学注意力计算结果X
′
沿不同隐藏层方向分别使用平均池化操作和最大池化操作进行压缩，再进行拼接处理，得到特征X
T
；应用标准卷积层对所述特征X
T
进行卷积，生成词项注意力矩阵A
T
。6.根据权利要求5所述的基...

【专利技术属性】
技术研发人员：赵亚慧，李飞雨，崔荣一，李德，金国哲，张振国，金晶，姜克鑫，刘帆，王苑儒，夏明会，鲁雅鑫，
申请(专利权)人：延边大学，
类型：发明
国别省市：