篇章级神经机器翻译系统、方法、存储设备以及电子设备技术方案

本公开提供了一种篇章级神经机器翻译系统，包括：全局上下文抽取模块，用于提取语义上下文向量和一致性上下文向量；编码端增强模块，用于在源端单词的编码状态向量中融合语义上下文向量和一致性上下文向量，所述编码端增强模块的输入为Transformer模型多层编码器的输出，所述编码端增强模块的输出作为Transformer模型多层解码器的输入。本公开还涉及篇章级神经机器翻译方法、存储设备以及电子设备。子设备。子设备。

【技术实现步骤摘要】
篇章级神经机器翻译系统、方法、存储设备以及电子设备


[0001]本公开自然语言处理
，本公开尤其涉及一种篇章级神经机器翻译系统、方法、存储设备以及电子设备。

技术介绍

[0002]近年来，在深度学习技术的浪潮推动下，机器翻译技术取得了突飞猛进的发展，基于大规模数据端到端训练的神经机器翻译方法展现出了优异的翻译性能。
[0003]篇章级神经机器翻译方法在翻译过程中希望通过融合上下文篇章信息，以实现译文质量的提升和篇章现象的正确翻译。词汇一致性是指篇章中源端重复的单词在翻译时倾向于被译为相同的目标端单词。在全面取代统计机器翻译成为时下主流框架的神经机器翻译中，如何改善词汇一致性却很少被研究。词汇翻译不一致仍是目前的篇章级神经机器翻译方法所面临的重要问题。

技术实现思路

[0004]为了解决上述技术问题中的至少一个，本公开提供了一种篇章级神经机器翻译系统、方法、存储设备以及电子设备。
[0005]根据本公开的一个方面，提供一种篇章级神经机器翻译系统，包括：全局上下文抽取模块，用于提取语义上下文向量和一致性上下文向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种篇章级神经机器翻译系统，包括：全局上下文抽取模块，用于提取语义上下文向量和一致性上下文向量；编码端增强模块，用于在源端单词的编码状态向量中融合语义上下文向量和一致性上下文向量，所述编码端增强模块的输入为Transformer模型多层编码器的输出，所述编码端增强模块的输出作为Transformer模型多层解码器的输入。2.根据权利要求1所述的篇章级神经机器翻译系统，其特征在于：所述语义上下文向量提供整个篇章的上下文信息用以提升句子模型的翻译质量，并辅助词汇一致性的判断。3.根据权利要求1所述的篇章级神经机器翻译系统，其特征在于：所述一致性上下文向量专门利用重复的源语言单词信息，在编码端施加一致性约束。4.根据权利要求1所述的篇章级神经机器翻译系统，其特征在于：所述全局上下文抽取模块包括语义上下文向量抽取模块以及一致性上下文向量抽取模块。5.根据权利要求1所述的篇章级神经机器翻译系统，其特征在于：所述语义上下文向量通过如下方式提取：在篇章中的每个句子前加入一个字符标签“<DOC>”，利用Transformer多层编码器的自注意力机制，标签“<DOC>”的状态向量能够编码所在句子内的单词信息；在完成句子编码后，语义上下文向量抽取模块抽取每个句子的“<DOC>”标签向量作为该句的语义表征，从而得到篇章文档的一组句子级语义向量{h
1，<DOC>
，h
2,<DOC>
，
…
，h
I，<DOC>
}；将该组向量输入到与标准Transformer模型的编码器结构相同的一层编码层中，以建模句子之间的语义关联，从而生成融合全局信息的语义上下文向量。6.根据权利要求1所述的篇章级神经机器翻译系统，其特征在于：所述一致性上下文向量通过如下方式提取：篇章中的每组重复单词对应一个全局一致性上下文向量，如果第i个句子中的第j个单词x
i,j
属于篇章中的第n组重复单词，则一致性上下文向量抽取模块将x
i,j
的编码状态向量h
i,j
抽取到所对应的重复词向量集合中,因此包含篇章中所有属于第n组重复单词的编码状态向量；之后，生成第n组重复单词的全局一致性上下文向量u
n
：其中，MaxPooling(
·...

【专利技术属性】
技术研发人员：周玉，亢晓勉，
申请(专利权)人：北京中科凡语科技有限公司，
类型：发明
国别省市：