机器翻译方法和机器翻译训练方法、电子设备和存储介质技术

本发明专利技术公开机器翻译方法和机器翻译训练方法、电子设备和存储介质，其中，一种机器翻译方法，包括：对输入文本进行编码得到编码表示；对所述编码表示进行对应于目标语言文本的长度预测，并构建非自回归解码输入；对所述非自回归解码输入进行解码获取非自回归解码输出；将所述非自回归解码输出作为自回归解码输入，获取自回归解码输出；判断所述非自回归解码输出与所述自回归解码输出是否一致且末尾是否是终止符号；若所述非自回归解码输出与所述自回归解码输出一致且末尾是终止符号，输出目标语言文本。语言文本。语言文本。

【技术实现步骤摘要】
机器翻译方法和机器翻译训练方法、电子设备和存储介质


[0001]本申请实施例涉及人工智能
，特别是涉及一种机器翻译和机器翻译训练方法、电子设备和存储介质。

技术介绍

[0002]机器翻译是通过计算机将一种自然语言转换为另一种自然语言的过程，它是计算语言学的一个分支，是人工智能的终极目标之一，具有重要的科学研究价值。
[0003]同时，机器翻译又具有重要的实用价值。随着经济全球化及互联网的飞速发展，机器翻译技术在促进政治、经济、文化交流等方面起到越来越重要的作用。
[0004]相关技术中，通过非自回归神经机器翻译的方法将待翻译句子中的待翻译词按照目标语言的结构进行重排序，得到伪翻译句子，再将伪翻译句子使用非自回归方法翻译成所述目标语言的目标句子，缺陷是在非自回归模型中，每个单词之间没有依赖关系，整个输出序列的每个单词被并行地同步预测，虽然其推断速度得到了很大改善，但是生成质量却往往较差。
[0005]进一步地，通过建模协同关系来提高非自回归神经机器翻译质量的方法来生成翻译结果，但是由于目前的依存句法分析的准确度不高而且现有模型无法很好的对依存句法树进行建模，容易引入错误信息，对翻译结果产生负面影响。

技术实现思路

[0006]本专利技术实施例提供了一种机器翻译方法和机器翻译训练方法以及装置，用于至少解决上述技术问题之一。
[0007]第一方面，本专利技术实施例提供了一种机器翻译方法，包括：对输入文本进行编码得到编码表示；对所述编码表示进行对应于目标语言文本的长度预测，并构建非自回归解码输入；对所述非自回归解码输入进行解码获取非自回归解码输出；将所述非自回归解码输出作为自回归解码输入，获取自回归解码输出；判断所述非自回归解码输出与所述自回归解码输出是否一致且末尾是否是终止符号；若所述非自回归解码输出与所述自回归解码输出一致且末尾是终止符号，输出目标语言文本。
[0008]第二方面，本专利技术实施例提供了一种机器翻译训练方法，包括：获取与解码器输入对应的自回归解码输出与非自回归解码输出；基于所述自回归解码输出的后验概率和真实标签以及所述非自回归解码输出的后验概率和真实标签计算得到所述自回归解码输出的交叉熵损失函数和所述非自回归解码输出的交叉熵损失函数；基于所述自回归解码输出的交叉熵损失函数和所述非自回归解码输出的交叉熵损失函数的误差，计算所述自回归解码输出与所述非自回归解码输出的一致性。
[0009]第三方面，本专利技术实施例提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本
专利技术上述任一项机器翻译和机器翻译训练方法。
[0010]第四方面，本专利技术实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本专利技术上述任一项机器翻译和机器翻译训练方法。
[0011]第五方面，本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项机器翻译和机器翻译训练方法。
[0012]本申请的方法通过使用一个共享参数的解码器，分别进行自回归解码与非自回归解码，由于自回归与非自回归解码器各有优势，其中自回归更符合语言模型建模，非自回归包含上下文信息，因此通过让自回归解码和非自回归解码的输出尽量的一致来让他们相互学习。从而可以确定迭代次数，改变解码长度，有效的提升目标语言文本的生成质量并增强鲁棒性。
附图说明
[0013]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0014]图1为本专利技术一实施例提供的一种机器翻译方法的流程图；
[0015]图2为本专利技术一实施例提供的另一种机器翻译方法的流程图；
[0016]图3为本专利技术一实施例提供的一种机器翻译训练方法的流程图；
[0017]图4为本专利技术一实施例提供的另一种机器翻译训练方法的流程图；
[0018]图5为本专利技术一实施例提供的机器翻译和机器翻译训练方法的一个具体示例的机器翻译和机器翻译训练流程图；
[0019]图6是本专利技术一实施例提供的电子设备的结构示意图。
具体实施方式
[0020]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]请参考图1，其示出了本专利技术一实施例提供的一种机器翻译方法的流程图。
[0022]如图1所示，在步骤101中，对输入文本进行编码得到编码表示；
[0023]在步骤102中，对所述编码表示进行对应于目标语言文本的长度预测，并构建非自回归解码输入；
[0024]在步骤103中，对所述非自回归解码输入进行解码获取非自回归解码输出；
[0025]在步骤104中，将所述非自回归解码输出作为自回归解码输入，获取自回归解码输出；
[0026]在步骤105中，判断所述非自回归解码输出与所述自回归解码输出是否一致且末尾是否是终止符号；
[0027]在步骤106中，若所述非自回归解码输出与所述自回归解码输出一致且末尾是终止符号，输出目标语言文本。
[0028]在本实施例中，对于步骤101，机器翻译装置对输入文本进行编码得到编码表示例如，对获取到的输入文本进行对应的预处理，加入起始符号和终止符号和/或分词等，之后，可以使用LSTM(长短期记忆网络，Long Short
‑
Term Memory)、GRU(门控循环单元，Gated Recurrent Unit)或transformer作为编码器，对预处理后的源语言文本进行编码得到编码表示，其中，LSTM是一种时间循环神经网络，是为了解决一般的RNN(循环神经网络)存在的长期依赖问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层。
[0029]对于步骤102，机器翻译装置对编码表示进行对应于目标语言文本的长度预测，并构建非自回归解码输入，例如，基于输入文本的编码表示预测目标语言文本长度的概率分布，然后对语言文本中的每一个词预测在目标语言文本中的位置和对应的单词，最后根据目标语言文本长度的概率分布和语言文本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器翻译方法，包括：对输入文本进行编码得到编码表示；对所述编码表示进行对应于目标语言文本的长度预测，并构建非自回归解码输入；对所述非自回归解码输入进行解码获取非自回归解码输出；将所述非自回归解码输出作为自回归解码输入，获取自回归解码输出；判断所述非自回归解码输出与所述自回归解码输出是否一致且末尾是否是终止符号；若所述非自回归解码输出与所述自回归解码输出一致且末尾是终止符号，输出目标语言文本。2.根据权利要求1所述的方法，其特征在于，在所述判断所述非自回归解码输出与所述自回归解码输出是否一致且末尾是否是终止符号之后，还包括：若所述非自回归解码输出与所述自回归解码输出不一致，基于所述非自回归解码输出与所述自回归解码输出中最大重合部分重新构建非自回归解码输入。3.根据权利要求2所述的方法，其特征在于，在所述判断所述非自回归解码输出与所述自回归解码输出是否一致且末尾是否是终止符号之后，还包括：若所述自回归解码输出的末尾不是终止符号，在所述非自回归解码输出末尾增加PAD符号并重新构建非自回归解码输入。4.根据权利要求1所述的方法，其特征在于，所述对所述编码表示进行对应于目标语言文本的长度预测包括：对所述编码表示进行对应于目标语言文本的长度预测；基于长度预测的结果预测所述输入文本中的每一个词在所述目标语言文本中的预测位置；对所述编码表示进行对应于所述目标语言文本的词级翻译得到所述输入文本中的每一个词对应的目标语言文本的预测单词；确定所述输入文本中的每一个词在所述目标语言文本中预测位置和预测单词。5.一种机器翻译训练方法，包括：获取与解码器输入对应的自回归解码输出与非自回归解码输出；...

【专利技术属性】
技术研发人员：吴仁守，缪庆亮，俞凯，
申请(专利权)人：思必驰科技股份有限公司，
类型：发明
国别省市：