一种结合依存句法的无监督机器翻译提升方法技术

本发明专利技术涉及机器翻译技术领域，公开了一种结合依存句法的无监督机器翻译提升方法，句法编码解码阶段；结合依存句法规则的去噪阶段；词法以及句法的回译阶段，提出了一种基于一定的依存句法规范下的加噪方法，对比当前的加噪方法，更好地维持了语句的句法性。该结合依存句法的无监督机器翻译提升方法，学习到语句内部的依存句法结构，提升训练时间效率，仅需要少量的手工标注，即可通过约束加噪中的增加、删除以及替换过程使得句子依旧符合一定的句法规范，采用独立的词法编码器、词法解码器与句法解码器的模型设计方案；提出了结合依存句法结构进行回译的优化方法，通过在回译过程中加入了依存句法上的回译损失，维持一定的句法准确性。准确性。准确性。

【技术实现步骤摘要】
一种结合依存句法的无监督机器翻译提升方法


[0001]本专利技术涉及机器翻译
，具体涉及一种结合依存句法的无监督机器翻译提升方法。

技术介绍

[0002]机器翻译作为自然语言处理的重要一个分支，其旨在通过机器无需加入人力资源地将源语言翻译为目标语言。有了跨语言词嵌入作为基础，在2018年，Artetxe和Lample等人几乎同时在句子级无监督机器翻译任务中取得了很好的实验结果，使得越来越多的研究者开始重视无监督机器翻译。
[0003]在现有的实现方案中，无论是Artetxe或者Lample等以“中间语言”为枢纽的翻译方式，都仍然遭受到句法错误的限制。不难理解，语言的翻译是一项庞大的工作，仅依赖词粒度上的翻译以及大量的无监督语料，是难以让模型学习到不同语言之间更深层的语法对齐问题，亦或者导致模型学习了更多错误的语法对齐问题。另外，当前方法的加噪技术普遍采用随机交换等，这种方法容易破坏原有的句法结构，并且这样带来的错误可能会让模型疲于恢复句法。而实际生产上，待翻译的句子是能有一定的句法准确度的，所以当前方法的加噪技术可能会导致模型训练的效率下降。因此，当前的基于深度学习的机器翻译模型，其仅仅依赖神经网络对语句内在的句法结构进行学习，准确性是很容易遇到瓶颈的。
[0004]另外，亦有不少学者提出显示地把语法结构信息整合到模型中，例如吴[2]等人提出的树到树模型的输入与输出均是包含语法信息的线性短语结构树序列，或者串到树模型，其输入是自然语言，输出是包含语法信息的线性短语结构树序列。该改进在英译法以及法译英上均有提升，然而，这种直接整合句法信息的线性短语结构树序列，无疑加大模型的学习难度，导致训练收敛减慢。同时，从语言学的角度看，句法结构等信息应该属于语言中最高或者最抽象的层次中，直接在输入层引入句法信息约束，可能会带来训练的不稳定。

技术实现思路

[0005]本专利技术的目的在于提供一种结合依存句法的无监督机器翻译提升方法，旨在对无监督机器翻译进行有效的提升以及效率的加速，提出一种基于一定的依存句法规范下的加噪方法，以解决上述问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：
[0007]一种结合依存句法的无监督机器翻译提升方法，包括以下步骤：
[0008]S1：句法编码解码阶段。
[0009]S2：结合依存句法规则的去噪阶段。
[0010]S3：词法以及句法的回译阶段。
[0011]优选的，所述S1具体步骤如下：
[0012]S101：设置句法解码的损失函数：其中M为的样
本数，N为句子长度。
[0013]S102：根据损失函数：利用梯度下降算法如随机梯度下降SGD，Adam等对E
W
、D
W
、D
S
进行同时训练，直到收敛，由于句法涉及的数据量χ比较少，因此该阶段能够短时间内即可完成。
[0014]优选的，所述S2具体步骤如下：
[0015]S201：设置目标1的损失函数其中的是通过编码器
‑
解码器d对加噪后的C(x)进行复原，Δ是一种测量两个序列之间相似度的函数，这里可以采用交叉熵进行词粒度的相似度计算。
[0016]S202：设置句法解码的损失函数L
g
，该阶段的损失函数为L2＝L
d
+μL
g
，其中μ为超参数，调节目标1与目标2的优化比例，通常为0.2。
[0017]S203：根据损失函数，利用梯度下降算法如随机梯度下降SGD，Adam等对E
W
、D
W
、D
S
进行同时训练，直到收敛。
[0018]优选的，所述S3具体步骤如下：
[0019]S301：根据给定的语料X，通过E
W
和D
W
获得伪平行词法以及句法对<X，Y，X
′
，Y
′
>。
[0020]S302：设置目标1损失函数目标2损失函数
[0021]S303：设置损失函数L＝L
W
+μ
′
L
s
。其中μ
′
为超参数，调节目标1与目标2的优化比例，通常为0.5，利用梯度下降算法如随机梯度下降SGD，Adam等对E
W
、D
W
进行同时训练(该阶段D
S
固定不再加入训练)，直到收敛。
[0022]与现有技术相比，本专利技术的有益效果是：
[0023]1、本专利技术提供的结合依存句法的无监督机器翻译提升方法，旨在对无监督机器翻译进行有效的提升以及效率的加速，提出了一种基于一定的依存句法规范下的加噪方法，对比当前的加噪方法，更好地维持了语句的句法性，目的是让模型更快地学习到语句内部的依存句法结构，提升训练的时间效率，分离了词法编码、词法解码与句法解码部分。
[0024]2、本专利技术句法的解码部分输入来源于词法编码的输出，不需要额外设计新的依存句法编码；另外，由于句法结构标注量远低于词法，因此句法的编码
‑
解码器的训练需要更少的标注语料，而且能够更快地收敛，且提出了一种基于一定的依存句法规范下的加噪方法。仅需要少量的手工标注，即可通过约束加噪中的增加、删除以及替换过程使得句子依旧符合一定的句法规范，分离了词法编码、词法解码与依存句法解码部分，采用独立的词法编码器、词法解码器与句法解码器的模型设计方案。
[0025]3、本专利技术提出了结合依存句法结构进行回译的优化方法，通过在回译过程中加入了依存句法上的回译损失，维持一定的句法准确性。
[0026]4、本专利技术该结合依存句法的无监督机器翻译提升方法，通过新的基于一定的句法规范下的加噪方法，对比当前的加噪方法，更好地维持了语句的句法性，让模型更好地学习到语句内部的句法结构，另外针对词法与句法同时训练的困难点，分离了词法学习与依存句法学习的过程，提出了独立的词法编码器、词法解码器和句法解码器，并且句法的解码部分输入来源于词法编码的输出，不需要额外设计新的依存句法编码器，提出了结合依存句
法进行回译的优化方法，进一步提升了无监督机器翻译质量。
附图说明
[0027]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0028]图1为本专利技术实施例的词法和句法解码器结构与原理示意图。
具体实施方式
[0029]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合依存句法的无监督机器翻译提升方法，其特征在于，包括以下步骤：S1：句法编码解码阶段；S2：结合依存句法规则的去噪阶段；S3：词法以及句法的回译阶段。2.根据权利要求1所述的结合依存句法的无监督机器翻译提升方法，其特征在于：所述S1具体步骤如下：S101：设置句法解码的损失函数：其中M为的样本数，N为句子长度；S102：根据损失函数：利用梯度下降算法如随机梯度下降SGD，Adam等对E
W
、D
W
、D
S
进行同时训练，直到收敛,由于句法涉及的数据量χ比较少，因此该阶段能够短时间内即可完成。3.根据权利要求1所述的结合依存句法的无监督机器翻译提升方法，其特征在于：所述S2具体步骤如下：S201：设置目标1的损失函数L
d
＝E
x～X，x^～d(W[C(x)])
[Δ(x^，x)]，其中的是通过编码器
‑
解码器d对加噪后的C(x)进行复原，Δ是一种测量两哥序列之间相似度的函数，这里可以采用交叉熵进行词粒度的相似度计算；S202：设置句法解码的损失函数L...

【专利技术属性】
技术研发人员：顾钊铨，梁栩健，王乐，谢禹舜，张欢，朱梓萁，张登辉，唐可可，李树栋，韩伟红，李默涵，仇晶，
申请(专利权)人：广州大学，
类型：发明
国别省市：