融入依存关系的神经机器翻译方法技术

本发明专利技术涉及一种融入依存关系的神经机器翻译方法，为了得到更加精准的神经翻译模型而设计。本发明专利技术融入依存关系的神经机器翻译方法，解析出源端句子的依存树，确定源端句子词与词之间的关联性信息；基于所述依存关系信息，确定依存关联性损失Δdep，进而指导得到句对网络整体损失。本发明专利技术在源端添加自注意力机制，并将自注意力机制融入依存指导。

【技术实现步骤摘要】
融入依存关系的神经机器翻译方法
本专利技术属于机器学习
，具体涉及一种融入依存关系的神经机器翻译方法。
技术介绍
机器翻译是指借助计算机自动地将一种语言(SourceLanguage)转化成另一种语言(TargetLanguage)的技术。[Bahdanauetal.,2015]提出将注意力机制引入神经机器翻译中，使得神经机器翻译(NeuralMachineTranslation，简称NMT)效果逐渐完善并且逐渐取代了统计机器翻译(StatisticMachineTranslation，简称SMT)。2017年[Vaswanietal.,2017]提出了Transformer模型，模型完全使用了注意力机制，多层与残差网络的融入使得神经机器翻译性能大幅提升，研究人员以两个模型为基础完善翻译系统性能，大型互联网公司也逐渐将神经机器翻译技术应用到实际产品中。神经机器翻译通常使用带有循环神经网络(RecurrentNeuralNetwork，简称RNN)的编码器解码器结构对翻译过程建模。双向RNN编码器包括正向RNN和反向RNN，通过两个RNN，将源端句子序列编码成源端单词表示解码器将本文档来自技高网...

【技术保护点】
1.一种融入依存关系的神经机器翻译方法，其特征在于，包括：获取训练数据，基于训练数据解析出源端句子的依存树，确定源端句子词与词之间的关联性信息；基于所述依存关系信息，确定依存关联性损失Δdep，采用如下公式计算句对(X,Y)的网络整体损失：loss＝‑log P(Y|X)+Δdep其中，‑logP(Y|X)是交叉熵损失，Δdep是依存关联性损失。

【技术特征摘要】
1.一种融入依存关系的神经机器翻译方法，其特征在于，包括：获取训练数据，基于训练数据解析出源端句子的依存树，确定源端句子词与词之间的关联性信息；基于所述依存关系信息，确定依存关联性损失Δdep，采用如下公式计算句对(X,Y)的网络整体损失：loss＝-logP(Y|X)+Δdep其中，-logP(Y|X)是交叉熵损失，Δdep是依存关联性损失。2.根据权利要求1所述的融入依存关系的神经机器翻译方法，其特征在于，计算目标端j时刻单词对...

【专利技术属性】
技术研发人员：段湘煜，王坤，张民，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏,32