【技术实现步骤摘要】
一种译文重对齐的循环神经网络跨语言机器翻译方法
本专利技术属于机器翻译
，特别涉及一种译文重对齐的循环神经网络跨语言机器翻译方法。
技术介绍
随着计算机在人们生活中的使用越来越多样化，研究者们把目光投向了自然语言领域，其中，机器翻译是很具有研究价值和实用价值的一个方面。机器翻译(MachineTranslation，简称MT)，它研究的是如何利用计算机将一种语言文字/语音片段翻译转换成另一种语言文字/语音片段，对于人类来说非常自然拿手的这项技能，对于计算机而言，就并不如它在数值计算方面那么容易了。而随着国际化的逐步推进，机器翻译的研究势在必行。最初的机器翻译即短语型系统，只能翻译短语，单词，而涉及到更加深入内涵的领域就显得捉襟见肘。随后，语言模型建立。语言模型用来计算一个特定序列中一系列单词出现的可能性。传统的语言模型基于马尔科夫假设，即一个词的出现仅仅依赖于它前面出现的有限的一个词或者几个词，故有N-gram结构，例如三元语法(trigram)结构，一个词的出现仅依赖于其前两个词，其概率可表示为：
【技术保护点】
1.一种译文重对齐的循环神经网络跨语言机器翻译方法，采用基于局部注意力机制的编码器-解码器架构，其特征在于，在所述架构上添加一个额外的使用局部注意力机制的序列引导网络，编码器对源语言语句进行编码，表示为一个长度固定的上下文向量，解码器依据上下文向量以及序列引导网络给出的序列引导向量，给出目标语言语句。/n
【技术特征摘要】
1.一种译文重对齐的循环神经网络跨语言机器翻译方法，采用基于局部注意力机制的编码器-解码器架构，其特征在于，在所述架构上添加一个额外的使用局部注意力机制的序列引导网络，编码器对源语言语句进行编码，表示为一个长度固定的上下文向量，解码器依据上下文向量以及序列引导网络给出的序列引导向量，给出目标语言语句。
2.根据权利要求1所述译文重对齐的循环神经网络跨语言机器翻译方法，其特征在于，所述编码器由一个基于局部注意力机制的循环神经网络(Recurrentneuralnetworks，RNN)组成，所述循环神经网络包含隐藏层h和输出层，隐藏层h将输入的源语言序列编码为隐藏状态，每一j时刻源侧隐藏层特征hi的计算公式为：
hj＝σ(W(hh)hj-1+W(hx)xj)
其中，xj是j时刻的输入单词向量，为序列x中的一个向量，x＝{x1，……，xj-1，xj，xj+1，……，xT}，是T容量的输入源语言序列；W(hx)是约束输入xj的权重矩阵；W(hh)是约束前一时刻隐藏层输出hj-1的权重矩阵；hj-1是j-1时刻非线性激活函数的输出；σ是非线性激活函数；
即，每一j时刻隐藏层的输出特征hj都是基于前一时刻隐藏层的输出特征hj-1及当前输入的单词向量xj的。
3.根据权利要求2所述译文重对齐的循环神经网络跨语言机器翻译方法，其特征在于，所述非线性激活函数使用sigmoid函数。
4.根据权利要求2所述译文重对齐的循环神经网络跨语言机器翻译方法，其特征在于，所述局部注意力机制指生成每个目标单词时，仅对源语言语句的一个窗口进行关注，窗口以对齐位置pt为中心，D为半径，即窗口大小为[pt-D，pt+D]，D根据经验选择。对齐位置pt的计算公式如下：
其中，S是源语言语句长度，vp和Wp为模型参数，T表示转置，ht是目标侧隐藏状态，计算后得到的pt取值范围为[0，S]；
之后根据窗口生成当前目标单词所需要的上下文向量，是窗口内所有值的有权平均，其计算公式为：
其中，表示所有的源侧隐藏状态，at是局部对齐向量，在以pt为中心的窗口放置一个正态分布，...
【专利技术属性】
技术研发人员：苏依拉，范婷婷，仁庆道尔吉，
申请(专利权)人：内蒙古工业大学，
类型：发明
国别省市：内蒙;15
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。