一种基于数据增强的蒙汉神经机器翻译方法技术

一种基于数据增强的蒙汉神经机器翻译方法，使用数据增强的方法对现有的蒙汉平行语料库和现有的单语语料库进行数据增强，得到蒙汉伪平行语料库C1和伪汉语单语语料库H1；将C1和H1分别进行筛选得到更高质量的蒙汉伪平行语料库C2和伪汉语单语语料库H2，用于优化模型；构建三个蒙汉翻译模型T1、T2、T3；利用T1、T2、T3分别对蒙语单语语句翻译，每个翻译模型学习另外两个翻译模型学习到的特征，实现模型优化过程，得到模型T；利用C2和H2得到新的loss值，将模型T进行优化；即可利用优化得到的模型进行蒙汉翻译，本发明专利技术通过对数据集增强，得到了一个翻译效果较好的模型。

【技术实现步骤摘要】
一种基于数据增强的蒙汉神经机器翻译方法
本专利技术属于人工智能
，涉及语言的机器翻译，特别涉及一种基于数据增强的蒙汉神经机器翻译方法。
技术介绍
在应用于蒙汉平行语料库较少的情况，但是数据对于机器翻译领域又是相当重要的前提下，提出一种通过增强原始数据集的方法或者是通过语义树的建立来得到一组新的平行的语句。
技术实现思路
为了克服上述语料集匮乏对于蒙汉神经机器翻译下的影响，本专利技术的目的在于提供一种基于数据增强的蒙汉神经机器翻译方法，通过对数据集增强得到一个翻译效果较好的模型。为了实现上述目的，本专利技术采用的技术方案是：一种基于数据增强的蒙汉神经机器翻译方法，包括：第一步：使用数据增强的方法对现有的蒙汉平行语料库和现有的单语语料库进行数据增强，得到蒙汉伪平行语料库C1和伪汉语单语语料库H1；第二步：将得到的蒙汉伪平行语料库C1和伪汉语单语语料库H1分别进行筛选得到更高质量的蒙汉伪平行语料库C2和伪汉语单语语料库H2，用于优化模型；第三步：构建三个蒙汉翻译模型T1、T2、T3；第四步：利用T1、T2、T3分别对蒙语单语语句翻译，每个翻译模型学习另外两个翻译模型学习到的特征，实现模型优化过程，得到模型T；第五步：利用蒙汉伪平行语料库C2和伪汉语单语语料库H2得到新的loss值，将模型T进行优化；第六步：利用优化得到的模型进行蒙汉翻译。所述第一步中，进行数据增强方法为：(1)通过改变句子达到扩充蒙汉平行语料库的目的，将原有的语句设为变量S＝{x1,x2,x3…xn}，对句子原有的词语进行替换、删减以及改变位置的操作，对原有的语句进行扩充，得到蒙汉伪平行语料库a1，其中xn代表的是语句的每一个词语，n是语句中词的位置；(2)通过对上下文词语的预测对当前的蒙汉平行语料库中的汉语进行词语的替换得到蒙汉伪平行语料库a2；(3)利用对抗神经网络训练一个生成器和鉴别器，鉴别器利用翻译效果不好的蒙汉语句对，进行进一步的训练得到一个可以针对训练效果较差的语句进行翻译的生成器，对训练效果较差的语句进行进一步充分的学习，从而得到蒙汉伪平行语料库a3，其中所述训练效果较差的语句指当前的语句对在模型中的loss值依然高于设定值；(4)利用数据训练一个蒙语的图片描述模型和一个汉语图片描述模型，得到模型后对同一个图片的描述将得到蒙汉伪平行语料库a4；(5)通过预训练的BERT模型进行微调对蒙汉翻译中的遮蔽词语进行预测，得到新的蒙汉伪平行语料库a5；(6)利用字典得到蒙汉对应的词语，使用语义树将词语进行组合，得到蒙汉伪平行语料库a6；将上述(1)～(6)得到的蒙汉伪平行语料库a1～a6放入到同一个文件中，整合为伪平行语料库C1；(7)利用现在有的英汉和汉英翻译的模型将汉语单语由汉语翻译到英语再翻译到汉语得到伪汉语单语语料库H1。所述第二步中，利用LSTM建立语言模型和利用对抗神经网络生成的鉴别器来对语料进行挑选，其中，利用语言模型对蒙汉伪平行语料库C1和伪汉语单语语料库H1中的语句进行ppl值的测评，设定阈值，将ppl值低于阈值的语句留在文件中得到蒙汉伪平行语料库C2和伪汉语单语语料库H2。所述第三步中，将现有的蒙汉平行语料库分为三份，得到蒙汉平行语料库C2、C3和C4，分别利用C2、C3和C4通过如下方法得到蒙汉翻译模型T1、T2、T3：采用基于RNN神经网络的编码器和解码器，由上一时刻隐状态和当前时刻输入进行隐状态更新，得到每一个字的隐含层输出，公式为：h(t)＝f(h<t-1>,xt)；汇总所有的隐含层输出得到源语言中间隐含层变量ht的汇总C，C＝q(h1,h2,h3,...,hTx)，其中q()表示汇总函数，即将中间变量进行排列，hTx表示最后一个输入量；解码器输出为p(yi∣y1,...,yi-1,X)＝g(yi-1,si,ci)，yi表示输出结点的结果，g()是softmax函数；X表示输入的句子，si是i时刻解码器的隐藏状态，si＝f(si-1,yi-1,ci)；f()表示经由上一个状态来得到当前状态的函数；ci是编码器-译码器中的上下文向量，h(t)代表t时刻的隐含层的输入，ht代表每一层隐藏层，h<t-1>代表上一个时刻隐含层的数值，xt是t时刻的输入层的数值，yi是i序列得到的输出的值，Tx是输入为x时的隐含层数值；ci是一个变化信息，代表输入句子的表征，不同时刻注意力集中在不同的词上面，由输入序列的h1,...,hTx产生，每个输入序列hi包含整个序列的信息的同时更多地关注第i个字的上下文信息，其中aij是每个输入序列hj的权重得分，范围为(0，1)，eij为解码器i-1位置的隐藏状态和编码器j位置的隐藏状态经过计算方式a得到的分值，eij＝a(si-I,hj)，a＝si-1Whj，W为参数矩阵，作为可训练参数加入整个网络，hj是j时刻的隐含层的数值，si-I是i以前的输入的序列。所述第四步中，利用T1、T2、T3分别对蒙语单语语料库M1翻译得到蒙汉伪平行语料库FC1、FC2、FC3，将蒙汉伪平行语料库FC1、FC2、FC3整合得到新的蒙汉伪平行语料库FC4，利用T1、T2、T3继续从蒙汉伪平行语料库FC4中学习得到新的特征，重复K次，直到T1、T2、T3对同一个蒙语单语语料库翻译的效果相同，则认为模型学习到了所有的特征，得到最终的翻译模型T。所述第五步中，将模型T对蒙汉伪平行语料库C2进行翻译得到的语句与蒙汉伪平行语料库C2对应的语句进行熵的对比得出loss1，对模型T进行修正，利用模型T对蒙语单语语料库M1和伪汉语单语语料库H1翻译的结果的熵最小的特性，得出loss2，结合loss1和loss2对模型T进行修正，公式如下：loss1＝Pmodel(y|x；θ)+H(Augment(y),Pmodel(x；θ))计算总的loss值：loss＝minloss1+loss2其中，X代表输入的源语言，y是通过翻译模型得到的预测的效果，θ是翻译模型的参数，Pmodel代表翻译模型T，H()代表交叉熵，Augument()代表进行了数据增强。与现有技术相比，本专利技术的有益效果是：1.可以在较少的平行语料库的情况下可以达到较好的翻译的效果。2.在对数据进行位置的标注之后可以达到的效果是对数据的二义性可以得到很好的处理。3.利用语言树模型对单语言数据库进行处理，进行数据的扩充使得可以增加平行语料库的大小。4.使用多层的CNN模型可以使对多层数据的信息进行更多的查找而且CNN具有并行的效果可以达到提高运行速度的效果。5.利用多层的loss进行对模型的修正达到了对单语语料库的应用。附图说明图1是生成蒙汉伪平行语料库C1和伪汉语单语语料库H1的过程。图2是训练得到三个蒙汉翻译模型T1、T2、T3的过程。图3是蒙汉翻译模型T1、T2、T3本文档来自技高网...

【技术保护点】
1.一种基于数据增强的蒙汉神经机器翻译方法，其特征在于，包括：/n第一步：使用数据增强的方法对现有的蒙汉平行语料库和现有的单语语料库进行数据增强，得到蒙汉伪平行语料库C1和伪汉语单语语料库H1；/n第二步：将得到的蒙汉伪平行语料库C1和伪汉语单语语料库H1分别进行筛选得到更高质量的蒙汉伪平行语料库C2和伪汉语单语语料库H2，用于优化模型；/n第三步：构建三个蒙汉翻译模型T1、T2、T3；/n第四步：利用T1、T2、T3分别对蒙语单语语句翻译，每个翻译模型学习另外两个翻译模型学习到的特征，实现模型优化过程，得到模型T；/n第五步：利用蒙汉伪平行语料库C2和伪汉语单语语料库H2得到新的loss值，将模型T进行优化；/n第六步：利用优化得到的模型进行蒙汉翻译。/n

【技术特征摘要】
1.一种基于数据增强的蒙汉神经机器翻译方法，其特征在于，包括：
第一步：使用数据增强的方法对现有的蒙汉平行语料库和现有的单语语料库进行数据增强，得到蒙汉伪平行语料库C1和伪汉语单语语料库H1；
第二步：将得到的蒙汉伪平行语料库C1和伪汉语单语语料库H1分别进行筛选得到更高质量的蒙汉伪平行语料库C2和伪汉语单语语料库H2，用于优化模型；
第三步：构建三个蒙汉翻译模型T1、T2、T3；
第四步：利用T1、T2、T3分别对蒙语单语语句翻译，每个翻译模型学习另外两个翻译模型学习到的特征，实现模型优化过程，得到模型T；
第五步：利用蒙汉伪平行语料库C2和伪汉语单语语料库H2得到新的loss值，将模型T进行优化；
第六步：利用优化得到的模型进行蒙汉翻译。


2.根据权利要求1所述基于数据增强的蒙汉神经机器翻译方法，其特征在于，所述第一步中，进行数据增强方法为：
(1)通过改变句子达到扩充蒙汉平行语料库的目的，将原有的语句设为变量S＝{x1，x2，x3…xn}，对句子原有的词语进行替换、删减以及改变位置的操作，对原有的语句进行扩充，得到蒙汉伪平行语料库a1，其中xn代表的是语句的每一个词语，n是语句中词的位置；
(2)通过对上下文词语的预测对当前的蒙汉平行语料库中的汉语进行词语的替换得到蒙汉伪平行语料库a2；
(3)利用对抗神经网络训练一个生成器和鉴别器，鉴别器利用翻译效果不好的蒙汉语句对，进行进一步的训练得到一个可以针对训练效果较差的语句进行翻译的生成器，对训练效果较差的语句进行进一步充分的学习，从而得到蒙汉伪平行语料库a3，其中所述训练效果较差的语句指当前的语句对在模型中的loss值依然高于设定值；
(4)利用数据训练一个蒙语的图片描述模型和一个汉语图片描述模型，得到模型后对同一个图片的描述将得到蒙汉伪平行语料库a4；
(5)通过预训练的BERT模型进行微调对蒙汉翻译中的遮蔽词语进行预测，得到新的蒙汉伪平行语料库a5；
(6)利用字典得到蒙汉对应的词语，使用语义树将词语进行组合，得到蒙汉伪平行语料库a6；
将上述(1)～(6)得到的蒙汉伪平行语料库a1～a6放入到同一个文件中，整合为伪平行语料库C1；
(7)利用现在有的英汉和汉英翻译的模型将汉语单语由汉语翻译到英语再翻译到汉语得到伪汉语单语语料库H1。


3.根据权利要求1所述基于数据增强的蒙汉神经机器翻译方法，其特征在于，所述第二步中，利用LSTM建立语言模型和利用对抗神经网络生成的鉴别器来对语料进行挑选，其中，利用语言模型对蒙汉伪平行语料库C1和伪汉语单语语料库H1中的语句进行ppl值的测评，设定阈值，将ppl值低于阈值的语句留在文件中得到蒙汉伪平行语料库C2和伪汉语单语语料库H2。


4.根据权利要求1所述基于数据增强的蒙汉神经机器翻译方法，其特征在于，所述第三步中，将现有的蒙汉平行语料库分为三份，得到蒙汉平行语料库C2、C3和C4，分别利用C2、C3和C...

【专利技术属性】
技术研发人员：苏依拉，贺玉玺，王昊，仁庆道尔吉，
申请(专利权)人：内蒙古工业大学，
类型：发明
国别省市：内蒙古;15