【技术实现步骤摘要】
一种基于上下文记忆网络的篇章级神经机器翻译方法
本专利技术涉及一种神经机器翻译技术，具体为一种基于上下文记忆网络的篇章级神经机器翻译方法。
技术介绍
机器翻译(MachineTranslation，简称MT)是采用计算机进行自然语言之间相互翻译的一门实验学科。利用机器翻译技术，可以将一门源语言自动地转化为目标语言。机器翻译作为消除人们跨语言交流障碍的关键技术，一直是自然语言处理研究的重要组成部分。相比于人工翻译，机器翻译效率更高并且成本更低，对于促进民族团结和文化交流有着重要意义。机器翻译技术可以概括为基于理性主义的方法和基于经验主义的方法两种，自20世纪40年代提出至今，机器翻译已经经历了近70年的发展，发展历史大致可以分为三个阶段：基于规则的机器翻译、基于统计的机器翻译和基于神经网络的机器翻译。基于规则的机器翻译技术采用人工构造规则的方法，对源语输入进行相应转换，得到目标翻译结果。这种方法的缺点在于需要大量的人工代价来构造规则，规则覆盖范围有限并且会出现冲突，使得系统可扩展性和鲁棒性差。之后，研究人员采用基于统计...
【技术保护点】
1.一种基于上下文记忆网络的篇章级神经机器翻译方法，其特征在于包括以下步骤：/n1)采用基于自注意力机制的Transformer模型，在编码器端加入上下文记忆模块，用来动态维持上下文记忆，构成基于上下文记忆网络的Transformer模型；/n2)构建平行语料库，对源语和目标语句子进行分词，将得到的相应词序列转换成对应的词向量表示；/n3)在编码器端，对源语输入的词嵌入进行逐层特征抽取，通过上下文记忆模块引入相应的上下文信息，融合到当前的编码表示里；同时，将当前的编码表示更新到上下文记忆模块中，为之后句子的翻译提供上下文信息；/n4)在解码器端，对目标语的词嵌入进行处理，在...
【技术特征摘要】
1.一种基于上下文记忆网络的篇章级神经机器翻译方法，其特征在于包括以下步骤：
1)采用基于自注意力机制的Transformer模型，在编码器端加入上下文记忆模块，用来动态维持上下文记忆，构成基于上下文记忆网络的Transformer模型；
2)构建平行语料库，对源语和目标语句子进行分词，将得到的相应词序列转换成对应的词向量表示；
3)在编码器端，对源语输入的词嵌入进行逐层特征抽取，通过上下文记忆模块引入相应的上下文信息，融合到当前的编码表示里；同时，将当前的编码表示更新到上下文记忆模块中，为之后句子的翻译提供上下文信息；
4)在解码器端，对目标语的词嵌入进行处理，在每一个子层中结合源语的语义向量，逐层进行特征抽取，得到一个和解码器输入长度一致的输出结果，用于模型预测；
5)将解码器的输出结果通过一个变换矩阵映射成目标语的词表大小，经过softmax归一化操作后得到预测的分布；用预测的分布和真实的标签计算出交叉熵作为模型的损失，用来计算梯度反向更新模型的参数，完成模型的训练过程；
6)利用训练好的模型进行篇章级机器翻译，按照文档句子的先后顺序，逐句送入模型进行翻译，模型通过一个动态维持的上下文记忆模块来引入上下文信息，然后通过自回归的方式得到翻译结果。
2.按权利要求1所述的基于上下文记忆网络的篇章级神经机器翻译方法，其特征在于：在步骤1)中，在编码器端引入上下文记忆模块用来动态维持上下文记忆信息，通过融合操作来将上下文信息整合到当前编码表示中，同时，使用更新操作对上下文信息进行更新，用于之后的翻译过程。
3.按权利要求1所述的基于上下文记忆网络的篇章级神经机器翻译方法，其特征在于：在步骤2)中，首先构造篇章级平行语料库，在确定训练数据后，分别对源语和目标语进行分词，将原始句子转换成词序列；然后分别将其转换成词嵌入表示，与对应位置的位置编码表示相加后...
【专利技术属性】
技术研发人员：杜权，朱靖波，肖桐，张春良，
申请(专利权)人：沈阳雅译网络技术有限公司，
类型：发明
国别省市：辽宁;21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。