一种提升多语言神经机器翻译模型零样本翻译能力的方法技术

本发明专利技术属于机器翻译技术领域，公开了一种提升多语言神经机器翻译模型零样本翻译能力的方法，包括：设计损失函数：计算训练样本中的源语言句子和目标语言句子对应的Encoder输出之间的相似度，并相应相似度添加到原有的Loss中，用所述Loss优化模型的参数，指导Encoder将具有相似语义的句子映射到语义空间中相近位置；优化模型结构：在Decoder的最后一层的输出和用于生成目标语言词表上的概率分布的线性层之间为每种目标语言都添加了一个独立的线性层；在Decoder中额外添加目标语言信息；并调整采样方法。本发明专利技术可以显著提升多语言神经机器翻译模型的零样本翻译能力。器翻译模型的零样本翻译能力。器翻译模型的零样本翻译能力。

【技术实现步骤摘要】
一种提升多语言神经机器翻译模型零样本翻译能力的方法


[0001]本专利技术属于机器翻译
，尤其涉及一种提升多语言神经机器翻译模型零样本翻译能力的方法。

技术介绍

[0002]目前：机器翻译研究如何通过计算机将一种语言的文本转换具有相同语义的另一种语言的文本，和人工翻译相比，机器翻译不仅翻译速度更快，而且费用更低廉。鉴于机器翻译巨大的应用前景，学术界和工业界都在机器翻译领域投入了巨大的人力、物力和财力，机器翻译也一直都是学术界和工业界的研究热点之一。经过多年的研究，机器翻译的研究成果已经得到了实际的应用，很多公司例如谷歌、微软、百度等都构建了自己的翻译引擎并对外提供了在线翻译服务。根据谷歌发布的消息，谷歌旗下的翻译服务平台每天提供的翻译服务多达10亿次，每天翻译的词汇量超过了1000亿。在各种语言交流碰撞的今天，机器翻译已经成为了生活中不可或缺的工具。
[0003]神经机器翻译是基于神经网络的机器翻译方法的统称，它研究的是通过神经网络实现文本在两种语言之间等价的语义转换。得益于大规模平行语料库的产生和计算机硬件运算能力的提升，基于神本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提升多语言神经机器翻译模型零样本翻译能力的方法，其特征在于，所述提升多语言神经机器翻译模型零样本翻译能力的方法包括：通过构建神经机器翻译模型，设计所述翻译模型的损失函数、优化模型结构、调整采样方法提升多语言神经机器翻译模型的零样本翻译能力。2.如权利要求1所述提升多语言神经机器翻译模型零样本翻译能力的方法，其特征在于，所述提升多语言神经机器翻译模型零样本翻译能力的方法包括以下步骤：步骤一，设计损失函数：计算训练样本中的源语言句子和目标语言句子对应的Encoder输出之间的相似度，并相应相似度添加到原有的Loss中，用所述Loss优化模型的参数，指导Encoder将具有相似语义的句子映射到语义空间中相近位置；步骤二，优化模型结构：在Decoder的最后一层的输出和用于生成目标语言词表上的概率分布的线性层之间为每种目标语言都添加了一个独立的线性层；在Decoder中额外添加目标语言信息；并调整采样方法。3.如权利要求2所述提升多语言神经机器翻译模型零样本翻译能力的方法，其特征在于，步骤一中，所述计算训练样本中的源语言句子和目标语言句子对应的Encoder输出之间的相似度，并相应相似度添加到原有的Loss中包括：采用两种方法进行相似度计算，并进行相应的相似度添加；(1)利用下式计算相似度：将所述相似度的值域平移到[
‑
2,0]区间，并取相反数再添加到原有的Loss中，如下：2,0]区间，并取相反数再添加到原有的Loss中，如下：(2)通过计算两个向量之间的差异进行相似度计算，并将计算结果直接添加到原有的Loss中，如下：Loss中，如下：Loss中，如下：其中，λ表示用于控制添加的Loss和原有的Loss之间的比例的超参数。4.如权利要求1所述提升多语言神经机器翻译模型零样本翻译能力的方法，其特征在于，所述提升多语言神经机器翻译模型零样本翻译...

【专利技术属性】
技术研发人员：张婷，金任任，熊德意，
申请(专利权)人：中译语通科技股份有限公司，
类型：发明
国别省市：