基于词向量替换数据增强的机器翻译模型训练方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种基于词向量替换数据增强的机器翻译模型训练方法、装置、电子设备及存储介质，具体实现方案为：获取训练样本数据集；对所述的样本数据集进行预处理。针对已有的源语言或目标语言语料，分别训练基于Transformer结构的正向语言模型和逆向语言模型；通过正向语言模型、逆向语言模型来获得句子中任意位置的词在整个词表上的概率分布；根据概率分布以及整个词表的词向量来确定最终词向量，利用最终词向量替换该位置的单词；利用替换后的双语平行语料训练神经机器翻译模型，得到翻译的结果；同时可以将单语数据融入本方法以得到更好的翻译效果。实验结果表明，本发明专利技术所述的方法可以显著提高机器翻译模型的翻译质量。的翻译质量。的翻译质量。

【技术实现步骤摘要】
基于词向量替换数据增强的机器翻译模型训练方法、装置、电子设备及存储介质


[0001]本专利技术涉及人工智能领域，尤其涉及一种基于词向量替换数据增强的机器翻译模型训练方法、装置、电子设备及存储介质。

技术介绍

[0002]近年来，随着人工智能的发展，特别是深度学习技术的日益成熟，人工智能在各行各业中得到了广泛应用，极大地提高了生产效率。在自然语言处理领域中的机器翻译领域，基于神经网络的神经机器翻译也取得了较好的效果。机器翻译是一种利用计算机实现语言对之间相互转换的方式。随着深度学习发展，基于深度学习的神经机器翻译(Neural Machine Translation，NMT)的发展取得了较大的进展，网络结构从循环神经网络发展到卷积神经网络，再到完全基于自注意力机制的网络。在这些不同的网络结构中，基于自注意力机制而又高度并行化的Transformer取得了非常好的效果。神经机器翻译逐步取代了统计机器翻译，成为了目前主流的翻译系统。
[0003]目前的神经机器翻译模型在面对英法、英中等拥有大规模平行语料的资源丰富语言对时，取得了较好的翻译效果，但是在一些低资源语言机器翻译任务中效果却不尽人意。作为数据驱动的一种翻译方法，神经机器翻译严重依赖于平行数据的质量、规模。在一些资源稀缺性语言的机器翻译任务中，由于大规模高质量平行语料资源的匮乏以及缺少有效的分析工具，其对应的神经机器翻译系统性能并不理想。因此在低资源的条件下如何构建并提升翻译性能成为维汉机器翻译任务中的主要问题。
[0004]为了使限定数据集表现出更多的内容，依据图像数据增强的基本思想，可以通过对平行句对中的某一部分词进行处理来实现数据增强。Zhang X等人通过利用存在的同义词林来查找并替换文本中选定需替换的内容来进行数据增强。Fadaee等人首次提出利用语言模型将文本序列中的高频词用低频词来替换，同时替换对应的译文。这种方式虽然能够有效地提升机器翻译的效果，但其只关注了词表中的部分单词(低频词)。然而高频词之间的替换同样也会提升机器翻译的效果，同时存在很多可以用来进行替换的单词，上述方法不能生成所有可能性的替换。
[0005]随着词向量的提出，其通过将词转化为连续稠密的向量来对词与词之间的关系进行描述。相似语义的单词会得到相近的向量表示，因此可以通过词向量来捕捉具有相似语义的词汇。但具有相同语义的词汇在真实数据集中出现的概率并不相同，因此本专利技术在提供一种基于词向量替换数据增强的机器翻译模型训练方法、装置、设备以及存储介质。

技术实现思路

[0006]本专利技术目的在于，针对上述现有技术的不足，提供了一种基于词向量替换数据增强的机器翻译模型训练方法、装置、电子设备及存储介质，该方法获取训练样本数据集；对所述的样本数据集进行预处理；针对已有的源语言或目标语言语料，分别训练基于
Transformer结构的正向语言模型和逆向语言模型；通过正向语言模型、逆向语言模型来获得句子中任意位置的词在整个词表上的概率分布；根据概率分布以及整个词表的词向量来确定最终词向量，利用最终词向量替换该位置的单词；利用替换后的双语平行语料训练神经机器翻译模型，得到翻译的结果；同时可以将单语数据融入本方法以得到更好的翻译效果。实验结果表明，本专利技术所述的方法可以显著提高机器翻译模型的翻译质量。以提高机器翻译模型的翻译效果。
[0007]本专利技术所述的一种基于词向量替换数据增强的机器翻译模型训练方法，所述方法包括以下步骤：
[0008]a、针对已有的平行语料，利用源语言分别训练一个基于Transformer结构的正向语言模型和逆向语言模型，所述模型中，在给定所有单词词向量矩阵E，正向语言模型产生的单词w
t
的词向量表示为：
[0009][0010]其中，f
j
(w
j
)为词表中每个单词的概率分布，PF(w)为单词w
t
在正向语言模型当中的一维向量表示；逆向语言模型产生的单词w
t
词向量由下述公式计算得到：
[0011][0012]其中，b
j
(w
j
)为词表中每个单词的概率分布，PB(w)为单词w
t
在逆向语言模型当中的一维向量表示；
[0013]b、通过正向语言模型和逆向语言模型来获得句子中任意位置的词在整个词表上的概率分布，即通过用概率分布来替代单词的独热编码来表示该位置所有可能性的替换；
[0014]c、根据概率分布以及整个词表的词向量确定最终词向量，任意位置的词的最终词向量表示为：
[0015]e
w
＝avg(PF(w)E+PB(w)E)
[0016]再利用最终词向量替换该位置的单词；
[0017]d、利用替换后的双语平行语料训练神经机器翻译模型；
[0018]e、将单语语料进行反向翻译，得到伪平行语料，将其加入训练数据中，重复a
‑
d步骤得到最终翻译结果。
[0019]步骤a中需要的平行语料作为训练的样本数据集，对所描述的平行语料进程预处理：
[0020]过滤语料中的噪声符号；使用切分工具对语料进行切分；如果有必要，对语料进行大小写还原，全角
‑
半角的转化；过滤长度比例过大或者过小的平行语言对；对所述的语料通过字节对编码技术进行预处理；将所述的语料中的词转换为独热编码表示；将所述的语料划分为不同的训练批次；对于较长的语料进行截取，对于较短的语料用0值进行填充，以使得同一批次的所述语料调整为相同长度的表示。
[0021]步骤e中所述单语语料为在训练语料的基础上添加更多的领域相关单语数据集来训练更为优异的语言模型；加入反向翻译的数据；加入带有标签的反向翻译数据，在源语言的译文数据中加入标签，来区分源端的不同数据。
[0022]本专利技术还提供一种基于词向量替换数据增强的机器翻译模型训练装置，该装置包
括：样本数据集语料预处理模块，正向语言模型模块，逆向语言模型模块，词嵌入模块，概率分布确定模块，最终词向量确定模块，模型训练模块和单语语料融入模块，其中：
[0023]样本数据集语料预处理模块：用于对双语平行语料数据集或单语语料集进行预处理；
[0024]正向语言模型模块：用于获得正向的语言模型，所述语言模型为从左至右根据上文预测下文的语言模型；
[0025]逆向语言模型模块：用于获得逆向的语言模型，所述语言模型为从右至作根据下文预测上文的语言模型；
[0026]词嵌入模块：用于输入到机器翻译模型之中，作为所述模型的输入；
[0027]概率分布确定模块：用于通过正向语言模型、逆向语言模型来获得句子中任意位置的词在整个词表上的概率分布；
[0028]最终词向量确定模块：用于根据概率分布以及整个词表的词向量来确定最终词向量，利用最终词向量替换该位置的单词；
[0029]模型训练模块：用于利用替换后的双语平行语料再结合单语数据迭代地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于词向量替换数据增强的机器翻译模型训练方法，其特征在于，所述方法包括以下步骤：a、针对已有的平行语料，利用源语言分别训练一个基于Transformer结构的正向语言模型和逆向语言模型，所述模型中，在给定所有单词词向量矩阵E，正向语言模型产生的单词w
t
的词向量表示为：其中，f
j
(w
j
)为词表中每个单词的概率分布，PF(w)为单词w
t
在正向语言模型当中的一维向量表示；逆向语言模型产生的单词w
t
词向量由下述公式计算得到：其中，b
j
(w
j
)为词表中每个单词的概率分布，PB(w)为单词w
t
在逆向语言模型当中的一维向量表示；b、通过正向语言模型和逆向语言模型来获得句子中任意位置的词在整个词表上的概率分布，即通过用概率分布来替代单词的独热编码来表示该位置所有可能性的替换；c、根据概率分布以及整个词表的词向量确定最终词向量，任意位置的词的最终词向量表示为：e
w
＝avg(PF(w)E+PB(w)E)再利用最终词向量替换该位置的单词；d、利用替换后的双语平行语料训练神经机器翻译模型；e、将单语语料进行反向翻译，得到伪平行语料，将其加入训练数据中，重复a
‑
d步骤得到最终翻译结果。2.根据权利要求1所述的基于词向量替换数据增强的机器翻译模型训练方法，其特征在于，步骤a中需要的平行语料作为训练的样本数据集，对所描述的平行语料进程预处理：过滤语料中的噪声符号；使用切分工具对语料进行切分；如果有必要，对语料进行大小写还原，全角
‑
半角的转化；过滤长度比例过大或者过小的平行语言对；对所述的语料通过字节对编码技术进行预处理；将所述的语料中的词转换为独热编码表示；将所述的语料划分为不同的训练批次；对于较长的语料进行截取，对于较短的语料用0值进行填充，以使得同一批次的所述语料调整为相同长度的表示。3.根据权利要求1所述的基于词向量替换数据增强的机器翻译模型训练方法，其特征在于，步骤e中所述单语语料为在训练语料的基础上添加更多的领域相关单语数据集来训练更为优异的语言模型；加入反向翻译的数据；加入带有标签的反向翻译数据，在源语言的译文数据中加入标签，来区分源端的不同数据。4.一种基于词向量替换数据增强的机器翻译模型训练装置，其特征在于，该装置包括：样...

【专利技术属性】
技术研发人员：杨雅婷，陈玺，董瑞，马博，王磊，周喜，
申请(专利权)人：中国科学院新疆理化技术研究所，
类型：发明
国别省市：