一种神经机器翻译系统的性能提升方法技术方案

本发明专利技术公开一种神经机器翻译系统的性能提升方法，步骤为：处理训练数据并初始化神经机器翻译系统的参数；将神经机器翻译系统中的绝对位置编码生成规则调整为乘积式正余弦编码生成规则；输入训练数据，将绝对位置编码读入神经机器翻译系统，与输入源语句的词向量相加，得到与位置信息融合的词向量，并送入神经机器翻译模型；使用梯度下降方法训练神经机器翻译系统至收敛，训练过程与现有神经机器翻译系统的训练过程一致；在解码过程中，对于绝对位置编码生成规则，与乘积式正余弦编码生成规则保持一致。本发明专利技术在不改变神经机器翻译系统参数量与计算量的前提下，提升了翻译系统对输入语言语序的识别能力，有效地提升了神经机器翻译系统的翻译性能。翻译系统的翻译性能。翻译系统的翻译性能。

【技术实现步骤摘要】
一种神经机器翻译系统的性能提升方法


[0001]本专利技术涉及一种神经机器翻译技术，具体为一种神经机器翻译系统的性能提升方法。

技术介绍

[0002]机器翻译(Machine Translation，简称MT)是一门使用计算机进行自然语言之间相互翻译的学科。它是自然语言处理研究方向的一个支系，也是人工智能的最终目标之一。机器翻译相比于人工翻译，即使翻译质量有着一定差距，但是机器翻译的高效率以及低成本所带来的收益是极为可观的，并且对于促进人类文化交流有着重要意义。
[0003]早期的机器翻译研究都是以基于规则的方法为主，特别是在上世纪70年代，以基于规则方法为代表的专家系统是人工智能中最具代表性的研究领域。它的主要思想是以词典和人工书写的规则库作为翻译知识，用一系列规则的组合完成翻译。该方法的缺陷在于需要大量语言学专家构造规则，并且制定的规则难以统一，甚至人工定义的规则之间会出现冲突，造成基于规则的翻译系统的可扩展性和可维护性较差。
[0004]直到上世纪90年代，统计机器翻译逐渐兴起。它利用统计模型从单语或双语语料中自动学习翻译本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经机器翻译系统的性能提升方法，其特征包括以下步骤：1)处理训练数据并初始化神经机器翻译系统的参数，其参数初始化规则遵从Xavier参数初始化规则；2)将神经机器翻译系统中的绝对位置编码生成规则调整为一种乘积式正余弦编码生成规则；3)输入训练数据，并将步骤2)中生成的绝对位置编码读入神经机器翻译系统，与输入源语句的词向量相加，得到与位置信息融合的词向量，并送入神经机器翻译模型；4)使用梯度下降方法训练神经机器翻译系统至收敛，训练过程与现有神经机器翻译系统的训练过程保持一致；5)在解码过程中，对于神经机器翻译系统中的绝对位置编码生成规则，应与步骤2)中乘积式正余弦编码生成规则保持一致。2.按权利要求1所述的神经机器翻译系统的性能提升方法，其特征在于：步骤1)中，处理训练数据并初始化神经机器翻译系统的参数，其参数初始化规则遵从Xavier参数初始化规则，具体为：101)选择需要训练的参数，包括词表中的每个词向量、编码器和解码器中每层的参数以及解码器输出层的参数；102)使用Xavier参数初始化规则对101)步骤中的参数进行初始化，具体公式如下：其中w表示需要训练的参数，U表示均匀分布，n
in
与n
...

【专利技术属性】
技术研发人员：杨迪，代孟丽，
申请(专利权)人：沈阳雅译网络技术有限公司，
类型：发明
国别省市：