一种多向神经网络翻译系统的构建方法技术方案

本发明专利技术提供了一种多向神经网络翻译系统的构建方法，该多向神经网络翻译系统的构建方法是基于多向神经网络模型来实现机器翻译操作的，该构建方法通过对模型训练数据进行关于所有源语言和所有目标语言的句对变换处理，以此更新该模型训练数据，从而使得采用更新后的模型训练数据训练翻译模型时，该翻译模型能够进行关于任意语言翻译方向对应的目标语言的直接解码处理，从而获得所需要的翻译结果。

A Construction Method of Multidirectional Neural Network Translation System

【技术实现步骤摘要】
一种多向神经网络翻译系统的构建方法
本专利技术涉及机器翻译的
，特别涉及一种多向神经网络翻译系统的构建方法。
技术介绍
机器翻译是利用计算机将作为源语言的一种自然语言转换成作为目标语言的另一种自然语言。机器翻译广泛应用于文本翻译和语音翻译中，用户通过具有机器翻译功能的终端能够随时随地进行各种不同自然语言之间的相互翻译。现有的机器翻译方式都是基于神经网络翻译系统来实现的，但是目前并不存在能够同时执行若干不同语言翻译方向操作的统一神经网络翻译系统。也就是说，某一特定的神经网络翻译系统只能针对单一一种语言翻译方向来进行神经网络翻译模型的训练，这使得在进行机器翻译的过程中，首先要区分输入文本(即源语言)的语种，并确定输出文本(即目标语言)的语种，然后再选择采用不同的神经网络翻译模型进行相应的机器翻译操作。目前而言，机器翻译程序都需要用户在输入源语言文本之前，首先确定源语言文本的语种和目标语言文本的语种，即用户需要事先确定当前翻译操作对应的语言翻译方向，若用户没有事先确定语言翻译方向或者用户输入的源语言文本中同时存在多种不同的语种文本，这会导致该机器翻译程序无法正常地进行翻译操作以获得正确的目标语言文本。可见，现有的机器翻译方式在翻译语种众多的情况下，需要针对每一语言翻译方向分别进行神经网络翻译模型的部署和训练，这导致该机器翻译方式耗费较多的开发资源；此外，现有的机器翻译方式在运行之前需要对输入的源语言文本进行语种判断以及确定当前翻译对应的语言翻译方向，并且当输入的源语言文本同时混入其他语种文本时，该机器翻译方式将无法获取准确的翻译结果。
技术实现思路
针对现有技术存在的缺陷，本专利技术提供一种多向神经网络翻译系统的构建方法，该多向神经网络翻译系统的构建方法是基于多向神经网络模型来实现机器翻译操作的，该构建方法通过对模型训练数据进行关于所有源语言和所有目标语言的句对变换处理，以此更新该模型训练数据，从而使得采用更新后的模型训练数据训练翻译模型时，该翻译模型能够进行关于任意语言翻译方向对应的目标语言的直接解码处理，从而获得所需要的翻译结果。可见，该多向神经网络翻译系统的构建方法并不需要训练多个语言翻译方向的翻译模型，而是直接使用一个翻译模型进行多个不同语言翻译方向的翻译操作，该构建方法使用一个翻译模型进行多个不同语言翻译方向的翻译效果与现有技术采用多个翻译模型分别进行不同语言翻译方向的翻译效果相同，并且该构建方法在翻译数据量较小的情况下，其翻译效果会更好；此外，该构建方法能够适用于源语言和目标语言都同时混有多种语种的情况，其源语言和目标语言共用一个词典，这使得在输入源语言文本时并不需要对其进行语种检测，从而有效地解决输入源语言文本混有其他语种文本的问题。本专利技术提供一种多向神经网络翻译系统的构建方法，其特征在于，所述多向神经网络翻译系统的构建方法包括如下步骤：步骤(1)，对所述多向神经网络翻译系统的训练数据进行关于所有源语言与所有目标语言的句对变换处理，以此更新所述训练数据；步骤(2)，基于更新后的所述训练数据，生成词典；步骤(3)，基于所述词典，对Transformer模型进行训练时添加关于翻译的目标语言的信息；步骤(4)，通过训练后的所述Transformer模型，进行关于任意翻译方向对应的目标语言直接解码处理，以获得所需翻译结果；进一步，在所述步骤(1)中，进行关于所有源语言与所有目标语言的句对变换处理具体包括，步骤(11)，构建关于所有源语言中的任意一个源语言sourcei与所有目标语言中的任意一个目标语言targeti之间的句对(sourcei，targeti)；步骤(12)，对所述句对(sourcei，targeti)进行复制变换处理，以此形成句对(targeti，sourcei)；步骤(13)，基于所述句对(sourcei，targeti)与所述句对(targeti，sourcei)组成的句对组，生成句对组数据集合；进一步，在所述步骤(1)中，更新所述训练数据具体包括，将所述步骤(13)生成的所述句对组数据集合添加到原始训练数据中，使得所述原始训练数据的训练数据量发生翻倍，以此实现对所述原始训练数据的更新；或者，对所述步骤(13)生成的所述句对数据集合中的每一句对组进行有效性判断处理，并根据所述有效性判断处理的结果，确定是否将对应的句对组添加到原始训练数据中；进一步，在所述步骤(1)中，对所述步骤(13)生成的所述句对组数据集合中的每一句对组进行有效性判断处理，并根据所述有效性判断处理的结果，确定是否将对应的句对组添加到原始训练数据中具体包括，判断所述句对组中对应的句对(sourcei，targeti)与句对(targeti，sourcei)是否都符合预设句对逆变转换条件，若是，则判断所述句对组具有有效性、同时将所述句对组添加到所述原始训练数据中，若否，则判断所述句对组不具有有效性、同时不将所述句对组添加到所述原始训练数据中；进一步，在所述步骤(2)中，基于更新后的所述训练数据，生成所述词典具体包括，步骤(21)，在更新后的所述训练数据中确定对应的源语言数据集合和目标语言数据集合；步骤(22)，对确定得到的所述源语言数据集合执行关于BPE分词处理，并根据所述BPE分词处理的结果生成所述词典；步骤(23)，将所述词典作为训练数据中所有源语言和所有目标语言的同源词典，和/或将所述词典作为所述Transformer模型的训练词典或者作为翻译解码词典；进一步，在所述步骤(22)中，对确定得到的所述源语言数据集合执行关于BPE分词处理得到所述结果后，还包括对所述结果中关于源语言的每一BPE分词进行标准化转换处理，以此形成具有标准拼写形式的BPE分词，再根据预设词汇划分模式将所有具有标准拼写形式的BPE分词组合成所述词典；进一步，在所述步骤(3)中，基于所述词典，对所述Transformer模型进行训练时添加关于翻译的目标语言的信息具体包括，步骤(31)，采用所述词典中的所有词汇作为训练数据，对所述Transformer模型进行训练；步骤(32)，对所述Transformer模型进行训练过程中，在所述Transformer模型的输入embedding端添加所述关于翻译的目标语言的信息；步骤(33)，获取添加所述关于翻译的目标语言的信息后所述Transformer模型的训练参数，并根据所述训练参数，判断所述Transformer模型的训练程度；进一步，在所述步骤(33)中，根据所述训练参数，判断所述Transformer模型的训练程度具体包括，判断所述训练参数是否超过预设训练参数阈值，若是，则判断所述Transformer模型的训练程度满足预设条件、同时将当前所述Transformer模型作为语言翻译模型，若否，则判断所述Transformer模型的训练程度不满足预设条件、同时继续对所述Transformer模型进行训练，以使所述训练参数超过所述预设训练参数阈值为止；进一步，在所述步骤(4)中，通过训练后的所述Transformer模型，进行关于任意语言翻译方向对应的目标语言直接解码处理，以获得所需翻译结果具体包括，步骤(41)，确定当前翻译操作对应的当前翻译方向，并将所述当前翻译方向与所述训练数据中存在的本文档来自技高网...

【技术保护点】
1.一种多向神经网络翻译系统的构建方法，其特征在于，所述多向神经网络翻译系统的构建方法包括如下步骤：步骤(1)，对所述多向神经网络翻译系统的训练数据进行关于所有源语言与所有目标语言的句对变换处理，以此更新所述训练数据；步骤(2)，基于更新后的所述训练数据，生成词典；步骤(3)，基于所述词典，对Transformer模型进行训练时添加关于翻译的目标语言的信息；步骤(4)，通过训练后的所述Transformer模型，进行关于任意翻译方向对应的目标语言直接解码处理，以获得所需翻译结果。

【技术特征摘要】
1.一种多向神经网络翻译系统的构建方法，其特征在于，所述多向神经网络翻译系统的构建方法包括如下步骤：步骤(1)，对所述多向神经网络翻译系统的训练数据进行关于所有源语言与所有目标语言的句对变换处理，以此更新所述训练数据；步骤(2)，基于更新后的所述训练数据，生成词典；步骤(3)，基于所述词典，对Transformer模型进行训练时添加关于翻译的目标语言的信息；步骤(4)，通过训练后的所述Transformer模型，进行关于任意翻译方向对应的目标语言直接解码处理，以获得所需翻译结果。2.如权利要求1所述的多向神经网络翻译系统的构建方法，其特征在于：在所述步骤(1)中，进行关于所有源语言与所有目标语言的句对变换处理具体包括，步骤(11)，构建关于所有源语言中的任意一个源语言sourcei与所有目标语言中的任意一个目标语言targeti之间的句对(sourcei，targeti)；步骤(12)，对所述句对(sourcei，targeti)进行复制变换处理，以此形成句对(targeti，sourcei)；步骤(13)，基于所述句对(sourcei，targeti)与所述句对(targeti，sourcei)组成的句对组，生成句对组数据集合。3.如权利要求2所述的多向神经网络翻译系统的构建方法，其特征在于：在所述步骤(1)中，更新所述训练数据具体包括，将所述步骤(13)生成的所述句对组数据集合添加到原始训练数据中，使得所述原始训练数据的训练数据量发生翻倍，以此实现对所述原始训练数据的更新；或者，对所述步骤(13)生成的所述句对数据集合中的每一句对组进行有效性判断处理，并根据所述有效性判断处理的结果，确定是否将对应的句对组添加到原始训练数据中。4.如权利要求3所述的多向神经网络翻译系统的构建方法，其特征在于：在所述步骤(1)中，对所述步骤(13)生成的所述句对组数据集合中的每一句对组进行有效性判断处理，并根据所述有效性判断处理的结果，确定是否将对应的句对组添加到原始训练数据中具体包括，判断所述句对组中对应的句对(sourcei，targeti)与句对(targeti，sourcei)是否都符合预设句对逆变转换条件，若是，则判断所述句对组具有有效性、同时将所述句对组添加到所述原始训练数据中，若否，则判断所述句对组不具有有效性、同时不将所述句对组添加到所述原始训练数据中。5.如权利要求1所述的多向神经网络翻译系统的构建方法，其特征在于：在所述步骤(2)中，基于更新后的所述训练数据，生成所述词典具体包括，步骤(21)，在更新后的所述训练数据中确定对应的源语言数据集合和目标语言数据集合；步骤(22)，对确定得到的所述源语言数据集合执行关于BPE分词处理，并根据所述BPE分词处理的结果生成所述词典；步骤(23)，将所述词典作为训练数据中所有源语言和所...

【专利技术属性】
技术研发人员：王涛，
申请(专利权)人：云知声上海智能科技有限公司，
类型：发明
国别省市：上海,31