一种神经网络机器翻译方法及装置制造方法及图纸

本发明专利技术公开一种神经网络机器翻译方法及装置，该神经网络机器翻译方法包括：对获取的多个源端序列进行编码处理，得到当前词的全局编码结果，对所述多个源端序列中当前词所在当前序列进行编码处理，得到当前词的局部编码结果；根据已翻译完成的目标语句对应的目标端序列、所述当前词的局部编码结果和全局编码结果进行解码，得到当前词的局部解码中间状态和全局解码中间状态；对所述局部解码中间状态和所述全局解码中间状态进行融合处理，得到当前词的解码结果。本发明专利技术解决了现有技术中翻译结果准确度低的问题。准确度低的问题。准确度低的问题。

【技术实现步骤摘要】
一种神经网络机器翻译方法及装置


[0001]本专利技术涉及一种神经网络机器翻译方法及装置。

技术介绍

[0002]随着神经网络(Neural Machine)兴起，人们不断尝试将神经网络应用在自然语言处理(Natural Language Processing，NLP)中，比如，使用神经网络机器翻译(Neural Machine Translation)将源语言转换为目标语言。其中，转换器模型(Transformer Model)是现在神经网络机器翻译的基准模型。利用基于自关注神经网络的Transformer模型对源语句进行编解码处理得到目标语句，翻译得到的目标语句意思表达准确、易于理解。但是，现有技术中的利用Transformer模型的翻译方法中，在进行语言处理时，一般是每个源语句单独处理，会造成翻译结果准确度低的问题。

技术实现思路

[0003]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的神经网络机器翻译方法及装置。
[0004]第一方面，本专利技术实施例提供一种神经网络机器翻译方法，包括如下步骤：
[0005]对获取的多个源端序列进行编码处理，得到当前词的全局编码结果，对所述多个源端序列中当前词所在当前序列进行编码处理，得到当前词的局部编码结果；
[0006]根据已翻译完成的目标语句对应的目标端序列、所述当前词的局部编码结果和全局编码结果进行解码，得到当前词的局部解码中间状态和全局解码中间状态；
[0007]对所述局部解码中间状态和所述全局解码中间状态进行融合处理，得到当前词的解码结果。
[0008]第二方面，本专利技术实施例提供一种篇章翻译方法，包括：
[0009]针对篇章的每个段落，按照句子的读取顺序，得到多个源语句片段；所述源语句片段中包括一个或多个源语句；
[0010]针对每个源语句片段，执行上述的神经网络机器翻译方法，得到对应的目标语句。
[0011]第三方面，本专利技术实施例提供一种图片文字翻译方法，包括：
[0012]对获取的图片中的文字信息进行识别，得到图片中的文字信息对应的源语句；
[0013]针对所述图片中的文字信息对应的源语句，执行上述的神经网络机器翻译方法，得到图片中的文字信息对应的目标语句。
[0014]第四方面，本专利技术实施例提供一种语音翻译方法，包括：
[0015]获取语音信息，并进行识别得到语音信息对应的源语句；
[0016]针对所述语音信息对应的源语句，执行上述的神经网络机器翻译方法，得到所述语音信息对应的目标语句。
[0017]第五方面，本专利技术实施例提供一种神经网络机器翻译装置，包括：编码端和解码端；
[0018]所述编码端包括至少一个编码器；
[0019]所述解码端至少一个解码器；
[0020]所述编码器，用于对获取的多个源端序列进行编码处理，得到当前词的全局编码结果，对所述多个源端序列中当前词所在当前序列进行编码处理，得到当前词的局部编码结果；
[0021]所述解码器，用于根据已翻译完成的目标语句对应的目标端序列、所述当前词对应的局部编码结果和全局编码结果进行解码，得到当前词对应的局部解码中间状态和全局解码中间状态；以及，对所述当前词的局部解码中间状态和所述全局解码中间状态进行融合处理，得到当前词的解码结果。
[0022]第六方面，本专利技术实施例提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述的方法。
[0023]第七方面，本专利技术实施例提供一种翻译设备，包括：处理器、用于存储处理器可执行命令的存储器；其中，处理器被配置为可执行上述方法。
[0024]本专利技术实施例提供的上述技术方案的有益效果至少包括：
[0025]本专利技术实施例提供的神经网络机器翻译方法，在对多个源端序列进行翻译时，在编码时分别得到对应于当前序列的当前词的局部编码结果和对应于多个源端序列的当前词的全局编码结果；在解码时，根据已翻译完成的目标语句对应的目标端序列、当前词的局部编码结果和全局编码结果进行解码，得到当前词的局部解码中间状态和全局解码中间状态，最后融合处理得到当前词的解码结果。在编解码过程中，不仅关注当前词对应于当前序列的编解码结果，而且关注当前词对应于多个源端序列的编解码结果，从而使当前词对应的局部解码中间状态和全局解码中间状态融合得到的解码结果在上下文中更符合一致性和连贯性要求，最终得到的翻译结果更准确。
[0026]本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0027]下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
附图说明
[0028]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：
[0029]图1为本专利技术实施例神经网络机器翻译方法的流程示意图；
[0030]图2为本专利技术实施例中神经网络机器翻译装置的结构示意图；
[0031]图3为本专利技术实施例另一神经网络机器翻译方法的流程示意图；
[0032]图4为本专利技术实施例中神经网络机器翻译装置的局部编码模块的掩蔽矩阵示意图；
[0033]图5为本专利技术实施例中局部编码模块的三个特征的计算示意图；
[0034]图6为本专利技术实施例中神经网络机器翻译装置的全局编码模块的矩阵示意图；
[0035]图7为本专利技术实施例中神经网络机器翻译装置的局部中间模块的掩码矩阵示意图；
[0036]图8为本专利技术实施例中神经网络机器翻译装置的局部自注意处理模块的掩码矩阵示意图；
[0037]图9为本专利技术实施例中神经网络机器翻译装置的全局中间模块的掩码矩阵示意图；
[0038]图10为本专利技术实施例中神经网络机器翻译装置的全局自注意处理模块的矩阵示意图；
[0039]图11为本专利技术实施例中局部编码和全局编码过程示意图；
[0040]图12为本专利技术实施例中局部目标编码和全局目标编码过程示意图；
[0041]图13为本专利技术实施例中局部中间解码和全局中间解码过程示意图。
具体实施方式
[0042]下面将参照附图更详细地描述本专利技术的示例性实施例。虽然附图中显示了本专利技术的示例性实施例，然而应当理解，可以以各种形式实现本专利技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本专利技术，并且能够将本专利技术的范围完整的传达给本领域的技术人员。
[0043]本专利技术实施例针对上述现有技术存在的问题，提供了一种神经网络机器翻译方法，其流程参照图1所示，包括：
[0044]S101：对获取的多个源端序列进行编码处理，得到当前词的全局编码结果，对所述多个源端序列中当前词所在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络机器翻译方法，包括：对获取的多个源端序列进行编码处理，得到当前词的全局编码结果，对所述多个源端序列中当前词所在当前序列进行编码处理，得到当前词的局部编码结果；根据已翻译完成的目标语句对应的目标端序列、所述当前词的局部编码结果和全局编码结果进行解码，得到当前词的局部解码中间状态和全局解码中间状态；对所述局部解码中间状态和所述全局解码中间状态进行融合处理，得到当前词的解码结果。2.根据权利要求1所述的方法，所述对获取的多个源端序列进行编码处理，得到当前词的全局编码结果，对所述多个源端序列中当前词所在当前序列进行编码处理，得到当前词的局部编码结果，包括：根据多个源端序列中的当前词所在当前序列中的前后文信息，得到所述当前词的局部编码结果；根据所述当前词在所述多个源端序列中的前后文信息以及所述多个源端序列中各个词的局部编码结果，得到所述当前词的全局编码结果。3.根据权利要求2所述的方法，所述根据已翻译完成的目标语句对应的目标端序列、所述当前词的局部编码结果和全局编码结果进行解码，得到当前词的局部解码中间状态和全局解码中间状态，包括：根据所述已翻译完成的目标语句对应的目标端序列中所述当前序列对应的目标端序列和所述当前序列中各个词的局部编码结果，得到所述当前词的局部解码中间状态；根据所述已翻译完成的目标语句对应的目标端序列和所述多个源端序列中各个词的全局编码结果，得到所述当前词的全局解码中间状态。4.根据权利要求2或3所述的方法，所述根据多个源端序列中的当前词所在当前序列中的前后文信息，得到所述当前词的局部编码结果，包括：根据预设的第一参数特征和所述当前序列中的前后文信息，得到第一查询特征、第一值特征和第一键特征；根据所述第一查询特征、所述第一值特征和所述第一键特征对所述当前词进行自注意编码处理，得到所述当前词的局部编码结果。5.根据权利要求4所述的方法，所述根据所述当前词在所述多个源端序列中的前后文信息以及所述多个源端序列中各个词的局部编码结果，得到所述当前词的全局编码结果，包括：根据预设的第二参数特征和所述多个源端序列中各个词的局部编码结果，得到第二查询特征、第二值特征和第二键特征；根据所述第二查询特征、所述第二值特征和所述第二键特征对所述当前词进行自注意编码处理，得到所述当前词的全局编码结果。6.根据权利要求5所述的方法，所述根据所述已翻译完成的目标语句对应的目标端序列中所述当前序列对应的目标端序列和所述当前序列中各个词的局部编码结果，得到所述当前词的局部解码中间状态，包括：确定所述当前序列对应的目标端序列中所述当前词对应的目标词，根据所述目标词在所述当前序列对应的目标端序列中的前文信息，对所述当前词对应的目标词进行自注意编
码处理得到局部目标编码结果；根据所述当前序列中各个词的局部编码结果及所述局部目标编码结果，对所述当前词进行自注意解码处理得到所述当前词的局部解码中间状态。7.根据权利要求6所述的方法，所述确定所述当前序列对应的目标端序列中所述当前词对应的目标词，根据所述目标词在所述当前序列对应的目标端序列中的前文信息，对所述当前词对应的目标词进行自注意编码处理得到局部目标编码结果，包括：确定所述当前序列对应的目标端序列，在所述当前序列对应的目标端序列中查找并确定所述当前词对应的目标词；根据预设的第三参数特征和所述当前词对应的目标词在所述当前序列对应的目标端序列中的前文信息，得到第三查询特征、第三值特征和第三键特征；根据所述第三查询特征、所述第三值特征和所述第三键特征对所述当前词对应的目标词进行自注意编码处理，得到所述局部目标编码结果。8.根据权利要求7所述的方法，所述根据所述当前序列中各个词的局部编码结果及所述局部目标编码结果对所述当前词进行自注意解码处理得到所述当前词的局部解码中间状态，包括：根据预设的第四参数特征、所述局部目标编码结果和所述当前序列中各个词的局部编码结果，得到第四查询特征、第四值特征和第四键特征；根据所述第四查询特征、所述第四值特征和所述第四键特征对所述当前词进行自注意解码处理，得到所述当前词的局部解码中间状态。9.根据权利要求5所述的方法，根据所述已翻译完成的目标语句对应的目标端序列和所述多个源端序列中各个词的全局编码结果，得到所述当前词的全局解码中间状态，包括：确定所述已翻译...

【专利技术属性】
技术研发人员：张珮，樊楷，葛妮瑜，陈博兴，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：