一种基于非自回归的神经机器翻译解码加速方法技术

本发明专利技术公开一种基于非自回归的神经机器翻译解码加速方法，步骤为：采用基于自注意力机制的Transformer模型，构造自回归神经机器翻译模型；构建训练平行语料，生成机器翻译词表后训练从左到右和从右到左两个模型直到收敛；构造非自回归机器翻译模型；获得从左到右和从右到左两个自回归翻译模型的编码解码器注意力和隐层状态；计算其与自回归模型对应输出的差异性，作为额外的损失，用于模型训练；提取源语句子信息，解码器预测对应的目标语句子；计算预测出的分布与真实数据分布的损失，解码出不同长度的翻译结果，进一步得到最优翻译结果。本发明专利技术充分利用回归模型中的知识，在损失了较小性能的情况下，能够获得8.6倍的速度提升。

【技术实现步骤摘要】
一种基于非自回归的神经机器翻译解码加速方法
本专利技术涉及一种神经机器翻译推断加速方法，具体为基于非自回归的神经机器翻译解码加速方法。
技术介绍
机器翻译是将一种自然语言翻译为另一种自然语言的技术。机器翻译是自然语言处理的一个分支，是人工智能的终极目标之一，具有重要的科学研究价值。同时，随着互联网技术的飞速发展，机器翻译技术在人们日常的生活工作中起到了越来越重要的作用。机器翻译技术从上世纪70年代基于规则的方法，到80年代基于实例的方法，90年代基于统计的方法，到如今基于神经网络的方法，历经多年的发展，终于达到了良好的效果，在人们的日常生活中得到了更广泛的使用。传统的基于规则的机器翻译虽然在短时间内满足了机器翻译的需要，但随着研究的深入，一系列问题也逐渐的暴露出来。例如，人工规则的覆盖度非常有限，规则与语种强相关，必须为每种语言自定义词典及规则，并且随着规则数量增多由人工规则导致的冲突也会增多。随后，统计机器翻译开始兴起，其完全抛弃了对人工规则的依赖，把翻译问题建模为搜索最大概率译文问题，显著加强了系统的鲁棒性和可扩展性。但统计本文档来自技高网...

【技术保护点】
1.一种基于非自回归的神经机器翻译解码加速方法，其特征在于包括以下步骤：/n1)采用基于自注意力机制的Transformer模型，构造一个包含编码器解码器的自回归神经机器翻译模型；/n2)构建训练平行语料，进行分词和字词切分预处理流程，得到源语序列和目标语序列，生成机器翻译词表后训练从左到右和从右到左两个模型直到收敛；/n3)移除Transformer中解码端对未来信息屏蔽的矩阵，同时在自注意力和编码解码注意力之间加入多头位置注意力，构造非自回归机器翻译模型；/n4)使用层级知识精炼的方法，通过强制解码的方式逐层获得从左到右和从右到左两个自回归翻译模型的编码解码器注意力和隐层状态，并融合这些输...

【技术特征摘要】
1.一种基于非自回归的神经机器翻译解码加速方法，其特征在于包括以下步骤：
1)采用基于自注意力机制的Transformer模型，构造一个包含编码器解码器的自回归神经机器翻译模型；
2)构建训练平行语料，进行分词和字词切分预处理流程，得到源语序列和目标语序列，生成机器翻译词表后训练从左到右和从右到左两个模型直到收敛；
3)移除Transformer中解码端对未来信息屏蔽的矩阵，同时在自注意力和编码解码注意力之间加入多头位置注意力，构造非自回归机器翻译模型；
4)使用层级知识精炼的方法，通过强制解码的方式逐层获得从左到右和从右到左两个自回归翻译模型的编码解码器注意力和隐层状态，并融合这些输出；逐层计算其与自回归模型对应输出的差异性，将其作为额外的损失，用于模型训练；
5)使用平行语料训练加入正则化项后的非自回归机器翻译模型，编码器对源语句子进行编码，提取源语句子信息，解码器根据该信息来预测对应的目标语句子；然后计算预测出的分布与真实数据分布的损失，通过反向传播不断减少该损失，完成模型的训练过程；
6)将用户输入的源语句子送入机器翻译模型中，解码出不同长度的翻译结果，并通过自回归模型的评价来得到最优的翻译结果。


2.按权利要求1所述的基于非自回归的神经机器翻译解码加速方法，其特征在于：步骤3)中构造非自回归机器翻译模型，具体为：
301)移除解码端对未来信息屏蔽的矩阵后，非自回归机器翻译模型将问题建模为：



其中，X为源语序列，Y为目标语序列，T为目标语序列长度，T′为源语序列长度，xt为第t个位置的源语词，yt为第t个位置的目标语词；
302)在每个解码器层中添加额外的多头位置注意力模块，该模块与Transformer模型的其它部分中使用的多头注意力机制相同，即：



其中，Q为查询矩...

【专利技术属性】
技术研发人员：杨木润，朱靖波，肖桐，张春良，
申请(专利权)人：沈阳雅译网络技术有限公司，
类型：发明
国别省市：辽宁;21