通过门控机制将翻译记忆融入神经机器翻译的方法技术

本发明专利技术涉及一种通过门控机制将翻译记忆融入神经机器翻译的方法，应用在基于注意力机制且采用encoder‑decoder框架的NMT模型，包括：数据前处理阶段：训练得到每句话的句向量，包括待翻译的源语句与翻译记忆库中的句子；对于源语句，通过计算其与翻译记忆库中句子的句向量的余弦相似度得到相似性，随后选出其中概率最高的那一句对与源语句互相匹配，把它们记为(sa，sb)，其中sa表示源语句，sb表示翻译记忆库中计算句向量余弦相似度与源语句最接近的句子，对应的翻译记做(ta，tb)，计算sa与sb的模糊匹配得分，相关公式如下所示。上述通过门控机制将翻译记忆融入神经机器翻译的方法，通过句向量获得源语句与翻译记忆库中语义最相似的句子。

【技术实现步骤摘要】
通过门控机制将翻译记忆融入神经机器翻译的方法
本专利技术涉及神经机器翻译，特别是涉及通过门控机制将翻译记忆融入神经机器翻译的方法。
技术介绍
随着计算机计算能力的提高以及大数据的应用，深度学习取得进一步的应用。基于深度学习的NeuralMachineTranslation越来越受到人们的关注。在NMT领域中，最常用的一种翻译模型是带有注意力机制(attention-based)的encoder-decoder模型。其主要思想是将待翻译的语句(在下文中统称为‘源语句’)经过编码器(encoder)编码成为一个向量表示，然后利用解码器(decoder)对源语句的向量表示进行解码，翻译成为其对应的译文(在下文中统称为‘目标语句’)。在一些特定领域的专业翻译应用场景中，往往存在严重的重复翻译现象，为了避免重复翻译，提高人工翻译的效率，且保持翻译的一致性，人们提出翻译记忆(TM)技术。在那些易出现重复翻译现象的领域，人们将平行的翻译句对保留下来并存入翻译记忆库中，在之后的翻译任务到来时，首先去翻译记忆库寻找相同的句子，并将其对应的翻译返回给翻译者，以供翻译者修改。在统计机器翻译(SMT)时期，有工作将翻译记忆与统计机器翻译相结合，但在神经机器翻译中，目前还少有工作涉及。现有的将SMT与TM结合的工作有：ConvergenceofTranslationMemoryandStatisticalMachineTranslation。文章从TM库中找到相同的片段，通过词对齐找到对应的翻译并取出，在之后的SMT的翻译过程中，强制系统仅翻译那些不匹配的部分，匹配的部分则用TM库中取出的翻译替代。将NMT与TM结合的工作有：SearchEngineGuidedNon-ParametricNeuralMachineTranslation。文章通过搜索引擎在TM库中检索相同的句对或片段对，将这些句对强制解码得到中间的隐层状态，并将这些隐层状态以键值对的形式保存，并在后面的翻译过程中使用。SMT与TM结合的方法涉及翻译时的干预，而NMT是一个seq2seq的结构，因此目前干预在NMT中还是一个没有完全得到解决的问题，因此SMT中的方法并不适用NMT。
技术实现思路
基于此，有必要针对上述技术问题，提供一种通过门控机制将翻译记忆融入神经机器翻译的方法。一种通过门控机制将翻译记忆融入神经机器翻译的方法，应用在基于注意力机制且采用encoder-decoder框架的NMT模型，包括：数据前处理阶段：训练得到每句话的句向量，包括待翻译的源语句与翻译记忆库中的句子；对于源语句，通过计算其与翻译记忆库中句子的句向量的余弦相似度得到相似性，随后选出其中概率最高的那一句对与源语句互相匹配，把它们记为(sa，sb)，其中sa表示源语句，sb表示翻译记忆库中计算句向量余弦相似度与源语句最接近的句子，对应的翻译记做(ta，tb)，计算sa与sb的模糊匹配得分，相关公式如下所示：其中Levenshtein(sa，sb)是计算sa与sb之间基于词的编辑距离大小；模型训练阶段：在上面的步骤执行完之后，获得了互相匹配的句对(sa/ta，sb/tb)，以及sa与sb的模糊匹配得分，将sa与tb作为模型的输入；使用了一对编码器来分别编码sa与tb，并得到它们对应的表示，记为ca与cb，两个编码器之间彼此相互独立；在已经获得了ca与cb的情况下，门控翻译记忆网络公式如下所示：gtm＝f(st-1，yt-1，ca，cb)其中st-1代表前一个隐层状态，yt-1代表前一个预测的目标端词，而f则代表一个logisticsigmoidfunction；将门控机制下的翻译记忆信息结合到解码的过程中去，并通过源语句与翻译记忆的上下文信息去预测解码端的隐层状态st，公式如下：st＝GRU(st-1，yt-1，ca*(1-gtm)，cb*gtm)，GRU是门控循环单元函数；在得到了解码端的隐层状态后，计算下一个词的条件概率：p(yt|y＜t，sa)＝g(f(st，yt-1，ca))，g是非线性激活函数，f则代表一个logisticsigmoidfunction；使用上述训练好的模型进行翻译。上述通过门控机制将翻译记忆融入神经机器翻译的方法，通过句向量获得源语句与翻译记忆库中语义最相似的句子，不仅仅可以匹配相同的句子或片段，也可以匹配到那些语义相同但单词不同的句子；利用门控机制有效的使用了翻译记忆中那些有用的部分，而其他无用的可能对源语句翻译造成干扰的信息则被我们屏蔽。在另外的一个实施例中，使用fasttext(https://github.com/aiweiw/fasttext-PVDM)工具来训练得到每句话的句向量。在另外的一个实施例中，“使用了一对编码器来分别编码sa与tb，并得到它们对应的表示，记为ca与cb，两个编码器之间彼此相互独立”中，两个编码器采用了双向的GRU实现。在另外的一个实施例中，g是采用softmax函数。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一项所述方法的步骤。一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任一项所述的方法。附图说明图1为本申请实施例提供的一种通过门控机制将翻译记忆融入神经机器翻译的方法的框架结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。一种通过门控机制将翻译记忆融入神经机器翻译的方法，应用在基于注意力机制且采用encoder-decoder框架的NMT模型，包括：数据前处理阶段：训练得到每句话的句向量，包括待翻译的源语句与翻译记忆库中的句子；对于源语句，通过计算其与翻译记忆库中句子的句向量的余弦相似度得到相似性，随后选出其中概率最高的那一句对与源语句互相匹配，把它们记为(sa，sb)，其中sa表示源语句，sb表示翻译记忆库中计算句向量余弦相似度与源语句最接近的句子，对应的翻译记做(ta，tb)，计算sa与sb的模糊匹配得分，相关公式如下所示：其中Levenshtein(sa，sb)是计算sa与sb之间基于词的编辑距离大小；模型训练阶段：在上面的步骤执行完之后，获得了互相匹配的句对(sa/ta，sb/tb)，以及sa与sb的模糊匹配得分，将sa与tb作为模型的输入；使用了一对编码器来分别编码sa与tb，并得到它们对应的表示，记为ca与cb，两个编码器之间彼此相互独立；在已经获得了ca与cb的情况下，门控翻译记忆网络公式如下所示：gtm＝f(st-1，yt-1，ca，cb)其中st-1代表前一个隐层状态，yt-1代表前一个预测的目标端词，而f则代表一个logisticsigmoidfunction；将门控机制下的翻译记忆信息结合到解码的过程中去，并通过源语句与翻译记忆的上下文信息去预测解码端的隐层状态st，公式如下：st＝GRU(st-1，yt-1，ca*(1-gtm)，cb*gtm)，GRU是门控循环单元函数；在本文档来自技高网...

【技术保护点】
1.一种通过门控机制将翻译记忆融入神经机器翻译的方法，应用在基于注意力机制且采用encoder‑decoder框架的NMT模型，其特征在于，包括：所述数据前处理阶段：训练得到每句话的句向量，包括待翻译的源语句与翻译记忆库中的句子；对于源语句，通过计算其与翻译记忆库中句子的句向量的余弦相似度得到相似性，随后选出其中概率最高的那一句对与源语句互相匹配，把它们记为(sa，sb)，其中sa表示源语句，sb表示翻译记忆库中计算句向量余弦相似度与源语句最接近的句子，对应的翻译记做(ta，tb)，计算sa与sb的模糊匹配得分，相关公式如下所示：

【技术特征摘要】
1.一种通过门控机制将翻译记忆融入神经机器翻译的方法，应用在基于注意力机制且采用encoder-decoder框架的NMT模型，其特征在于，包括：所述数据前处理阶段：训练得到每句话的句向量，包括待翻译的源语句与翻译记忆库中的句子；对于源语句，通过计算其与翻译记忆库中句子的句向量的余弦相似度得到相似性，随后选出其中概率最高的那一句对与源语句互相匹配，把它们记为(sa，sb)，其中sa表示源语句，sb表示翻译记忆库中计算句向量余弦相似度与源语句最接近的句子，对应的翻译记做(ta，tb)，计算sa与sb的模糊匹配得分，相关公式如下所示：其中Levenshtein(sa，sb)是计算sa与sb之间基于词的编辑距离大小；模型训练阶段：在上面的步骤执行完之后，获得了互相匹配的句对(Sa/ta，sb/tb)，以及sa与sb的模糊匹配得分，将sa与tb作为模型的输入；使用了一对编码器来分别编码sa与tb，并得到它们对应的表示，记为ca与cb，两个编码器之间彼此相互独立；在已经获得了ca与cb的情况下，门控翻译记忆网络公式如下所示：gtm＝f(st-1，yt-1，ca，cb)其中st-1代表前一个隐层状态，yt-1代表前一个预测的目标端词，而f则代表一个logisticsigmoidfunction；将门控机制下的翻译记忆信息结合到解...

【专利技术属性】
技术研发人员：熊德意，曹骞，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏,32