一种基于模仿学习的机器翻译方法、装置及终端设备制造方法及图纸

本发明专利技术适用于机器翻译技术领域，提供了一种基于模仿学习的机器翻译方法、装置及终端设备，方法包括：将待翻译原文输入非自回归模型获得第一初始译文；第一初始译文经过删除分类解码器时，删除第一初始译文中的错误单词，输出第二初始译文；第二初始译文经过插入分类解码器时，使用占位符填补第二初始译文中缺失的单词位置，输出第三初始译文；第三初始译文经过单词分类解码器时，将占位符替换为正确的单词，输出最终译文。本发明专利技术综合了自回归模型和非自回归模型的优点，在保证译文质量的同时，能够实现并行加速。能够实现并行加速。能够实现并行加速。

【技术实现步骤摘要】
一种基于模仿学习的机器翻译方法、装置及终端设备


[0001]本专利技术涉及机器翻译
，尤其涉及一种基于模仿学习的机器翻译方法、装置及终端设备。

技术介绍

[0002]目前，在机器翻译任务中，多采用基于神经网络的序列于神经网络，其生成模型采用自回归的方式，而无论是基于循环神经网络RNN的自回归模型还是基于多头自注意力网络Transformer的自回归模型，在解码生成译文时，都是一个一个词生成的，也即，在生成下一个词时，需要将生成的上一个词输入到模型。这样生成的译文准确度较高，但后面一个词的生成依赖前一个词是什么，从而导致了自回归模型，即AT模型的解码速度比较慢。
[0003]通常，为了改进自回归模型的解码速度慢的问题，会使用基于非自回归模型，即NAT模型，并行生成整个译文，但是，这种方法虽然提升了解码速度，生成译文的质量却不如基于自回归模型的翻译方法。

技术实现思路

[0004]本专利技术的主要目的在于提出一种基于模仿学习的机器翻译方法、装置及终端设备，解决传统的机器翻译不能兼顾非自回归模型的翻译效率，以及自回归模型的翻译准确度的问题。
[0005]为实现上述目的，本专利技术实施例第一方面提供了1.一种基于模仿学习的机器翻译方法，其特征在于，包括：
[0006]将待翻译原文输入非自回归模型获得第一初始译文；
[0007]所述第一初始译文经过删除分类解码器时，删除所述第一初始译文中的错误单词，输出第二初始译文；
[0008]所述第二初始译文经过插入分类解码器时，使用占位符填补所述第二初始译文中缺失的单词位置，输出第三初始译文；
[0009]所述第三初始译文经过单词分类解码器时，将所述占位符替换为正确的单词，输出最终译文。
[0010]结合本专利技术第一方面，本专利技术第一实施方式中，将待翻译原文输入非自回归模型获得第一初始译文之前，包括：
[0011]获取已翻译原文和与所述已翻译原文对应的参考译文；
[0012]将所述已翻译原文和所述参考译文作为训练数据，训练基础翻译模型，获得所述删除分类解码器、所述插入分类解码器和所述单词分类解码器。
[0013]结合本专利技术第一方面第一实施方式，本专利技术第二实施方式中，将所述已翻译原文和所述参考译文作为训练数据时，将所述已翻译原文和所述参考译文转换为原文译文翻译对。
[0014]结合本专利技术第一方面第一实施方式，本专利技术第三实施方式中，将所述已翻译原文
和所述参考译文作为训练数据，训练基础翻译模型，获得删除分类解码器、所述插入分类解码器和所述单词分类解码器，包括：
[0015]基于非自回归模型训练获得基线翻译模型；
[0016]使用所述基线翻译模型对所述待翻译原文进行翻译，生成基线翻译译文；
[0017]通过编辑距离算法对所述基线翻译译文和所述参考译文进行处理，构造所述删除分类解码器的分类器数据、所述插入分类解码器的分类器数据和所述单词分类解码器的分类器数据；
[0018]基于模仿学习算法使用所述删除分类解码器的分类器数据、所述插入分类解码器的分类器数据和所述单词分类解码器的分类器数据训练所述基线翻译模型，获得所述删除分类解码器、所述插入分类解码器和所述单词分类解码器。
[0019]结合本专利技术第一方面第三实施方式，本专利技术第四实施方式中，通过编辑距离算法对所述基线翻译译文和所述参考译文进行处理，包括：
[0020]使用编辑距离算法计算所述基线翻译译文到所述参考译文的最短距离。
[0021]结合本专利技术第一方面第四实施方式，本专利技术第五实施方式中，构造所述删除分类解码器的分类器数据、所述插入分类解码器的分类器数据，包括：
[0022]根据所述最短距离构造所述删除分类解码器的分类器数据和所述插入分类解码器的分类器数据。
[0023]结合本专利技术第一方面第四实施方式，本专利技术第六实施方式中，构造所述单词分类解码器的分类器数据，包括：
[0024]具有所述最短距离时，根据所述基线翻译译文到所述参考译文的单词更替，构造所述单词分类解码器的分类器数据。
[0025]本专利技术第二方面提供一种基于模仿学习的机器翻译装置，包括：
[0026]初始翻译模块，用于将待翻译原文输入非自回归模型获得第一初始译文；
[0027]第一解码模块，用于所述第一初始译文经过删除分类解码器时，删除所述第一初始译文中的错误单词，输出第二初始译文；
[0028]第二解码模块，用于所述第二初始译文经过插入分类解码器时，使用占位符填补所述第二初始译文中缺失的单词位置，输出第三初始译文；
[0029]第三解码模块，用于所述第三初始译文经过单词分类解码器时，将所述占位符替换为正确的单词，输出最终译文。
[0030]本专利技术实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上第一方面所提供的方法的步骤。
[0031]本专利技术实施例的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上第一方面所提供的方法的步骤。
[0032]本专利技术实施例提供一种基于模仿学习的机器翻译方法，通过删除分类解码器、插入分类解码器和单词分类解码器，综合了自回归模型和非自回归模型的优点，在保证译文质量的同时，能够实现并行加速。
附图说明
[0033]图1为本专利技术实施例提供的基于模仿学习的机器翻译方法的实现流程示意图；
[0034]图2为本专利技术实施例提供的解码器作用过程示意图；
[0035]图3为本专利技术实施例提供的基于模仿学习的机器翻译装置的组成结构示意图。
[0036]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0037]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0038]需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0039]在本文中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本专利技术的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
[0040]如图1所示，本专利技术实施例提供一种基于模仿学习的机器翻译方法，包括但不限于如下步骤：
[0041]S101、将待翻译原文输入非自回归模型获得第一初始译文。
[0042]在上述步骤S101中，通过非自回归模型获得第一初始译文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模仿学习的机器翻译方法，其特征在于，包括：将待翻译原文输入非自回归模型获得第一初始译文；所述第一初始译文经过删除分类解码器时，删除所述第一初始译文中的错误单词，输出第二初始译文；所述第二初始译文经过插入分类解码器时，使用占位符填补所述第二初始译文中缺失的单词位置，输出第三初始译文；所述第三初始译文经过单词分类解码器时，将所述占位符替换为正确的单词，输出最终译文。2.如权利要求1所述的基于模仿学习的机器翻译方法，其特征在于，将待翻译原文输入非自回归模型获得第一初始译文之前，包括：获取已翻译原文和与所述已翻译原文对应的参考译文；将所述已翻译原文和所述参考译文作为训练数据，训练基础翻译模型，获得所述删除分类解码器、所述插入分类解码器和所述单词分类解码器。3.如权利要求2所述的基于模仿学习的机器翻译方法，其特征在于，将所述已翻译原文和所述参考译文作为训练数据时，将所述已翻译原文和所述参考译文转换为原文译文翻译对。4.如权利要求2所述的基于模仿学习的机器翻译方法，其特征在于，将所述已翻译原文和所述参考译文作为训练数据，训练基础翻译模型，获得删除分类解码器、所述插入分类解码器和所述单词分类解码器，包括：基于非自回归模型训练获得基线翻译模型；使用所述基线翻译模型对所述待翻译原文进行翻译，生成基线翻译译文；通过编辑距离算法对所述基线翻译译文和所述参考译文进行处理，构造所述删除分类解码器的分类器数据、所述插入分类解码器的分类器数据和所述单词分类解码器的分类器数据；基于模仿学习算法使用所述删除分类解码器的分类器数据、所述插入分类解码器的分类器数据和所述单词分类解码器的分类器数据训练所述基线翻译模型，获得所述删除分类解码器、所述插入分类解码器和所述单词分类解码器。...

【专利技术属性】
技术研发人员：朱宪超，韩冰，霍展羽，
申请(专利权)人：四川语言桥信息技术有限公司，
类型：发明
国别省市：