一种语句处理方法及装置、电子设备、计算机存储介质制造方法及图纸

本申请公开了一种语句处理方法及装置、电子设备、计算机存储介质，所述方法包括：在利用神经机器翻译模型将第一源语言语句翻译为目标语言语句的过程中，确定所述第一源语言语句中的目标词语在所述过程中的解码阶段生成的至少一个候选单词，并确定所述候选单词的时态；利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态；基于所述候选单词的时态以及所述预测时态确定所述候选单词的概率。词的概率。词的概率。

【技术实现步骤摘要】
一种语句处理方法及装置、电子设备、计算机存储介质


[0001]本申请涉及神经机器翻译领域，尤其涉及一种语句处理方法及装置、电子设备、计算机存储介质。

技术介绍

[0002]在机器翻译领域，时态是语言表达中的关键信息，将源语言文本的时态信息正确传递到目标语言文本是基本要求。以汉英机器翻译为例，在汉英机器翻译过程中，由于英语和汉语表现时态信息的方式具有较大的差异，英语作为屈折语言，通常使用动词的词形变化来表明不同的时态，而汉语则缺少动词的词形变化，通常需要借助时间名词、副词、助词等上下文信息才能判断出句子的正确时态，因此，将汉语翻译为英语的过程中，时态翻译成为汉英机器翻译的难点。
[0003]近几年，随着神经机器翻译(NMT，Neural Machine Translation)模型框架的提出和深入研发，机器翻译系统的翻译质量取得了突破性进展。尽管如此，当前的神经机器翻译模型在汉英翻译的时态翻译一致性方面还存在较为严重的问题。
[0004]在采用基线神经机器翻译系统翻译本领域通用的NIST2003汉英翻译测试集时，从该测试集中随机挑选200句，并做人工错误分析后发现，出现时态一致性错误的句子有61句，占比30％。相关统计结果见表1所示的基线NMT系统时态翻译问题调研结果。
[0005]从表1所示的统计结果可以看出，采用基线神经机器翻译系统对挑选的测试集样本进行翻译后，翻译结果存在的时态错误占据了很大比例。因此，需要采取相关方案处理汉英翻译时的时态一致性问题。
[0006]表1基线NMT系统时态翻译问题调研结果
[0007][0008]在一种方案中，针对统计机器翻译框架，提供一种基于汉语语言模型N-gram的时态翻译模型，并与基于短语的统计机器翻译(SMT，Statistical Machine Translation)系统结合以提升翻译前后的时态一致性。在基于N-gram的时态模型中，称一个句子的主时态为文档级别的句间时态(即Inter Tense)，而句子内每个目标词语的时态被称为句子级别
的句内时态(即Intra Tense)。该实施方式采用了句间时态特征和句内时态特征两个特征，并通过相关算法从英文的句法分析结果中获取英文语料对应的句间时态和句内时态，进而利用这个标注时态的语料来训练基于N-gram的时态模型，之后根据这两个时态翻译模型的得分值来对解码端的所有假定译文进行重新打分，并找出得分最高的译文作为最终结果。该实施方式中，前一个句子翻译结束时，该句的主时态将被保存到解码端缓存中，并传递给下一句，直到文档翻译结束再清除这个主时态缓存。此实施方式实现了跨句子的目标端时态传递。采用此实施方式时，在建立的N-gram时态翻译模型时，针对的是目标端句子间的时态信息进行建模，一旦语篇中某些句子时态翻译错误，错误将传播到语篇中后续的句子；此外，此实施方式主要解决的是句间时态传递和一致性控制问题，未实现句内时态翻译一致性控制，当翻译过程没有上下句信息可以利用时，此实施方式将无法处理时态翻译的一致性。
[0009]在另一种方案中，通过依赖独立训练的源端汉语时态分类模块，先借助该模块预测源端汉语时态信息，再经由传统注意力机制或对齐信息将时态信息传递给目标端英语，进而在解码选词过程中强制选择与源端时态一致的候选词，实现汉语到英语的时态翻译一致性；另一种方法则面向神经机器翻译框架，在传统神经机器翻译框架中引入额外的时态注意力模块，并借助该模块直接预测目标端单词的预期时态，整个过程不需要事先预测源端单词时态，之后再采用预测的目标端单词时态来指导解码选词过程，从而实现汉语到英语的时态翻译一致性。此实施方式仅考虑利用句内信息实现时态预测和时态翻译一致性控制，完全不考虑时态的跨句传递问题，因此，当出现类似“我昨天到厦门了。几个朋友在我入住的酒店一起聚餐”的语句时，由于第二个句子没有任何时态标志的，将无法实现对第二个语句的时态的正确翻译。
[0010]综上，现有技术在对待翻译语句进行翻译时，若待翻译的语句中不包括时态标识，将难以正确的确定待翻译语句的时态。

技术实现思路

[0011]为解决在待翻译的语句中不包括时态标识时，难以正确的确定待翻译语句的时态的问题，本申请提供了一种语句处理方法及装置、电子设备、计算机存储介质。
[0012]本申请涉及一种语句处理方法，所述方法包括：
[0013]在利用神经机器翻译模型将第一源语言语句翻译为目标语言语句的过程中，确定所述第一源语言语句中的目标词语在所述过程中的解码阶段生成的至少一个候选单词，并确定所述候选单词的时态；
[0014]利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态；
[0015]基于所述候选单词的时态以及所述预测时态确定所述候选单词的概率。
[0016]在本申请一可选实施方式中，所述候选单词具有对应的初始概率值，所述基于所述候选单词的时态以及所述预测时态确定所述候选单词的概率，包括：
[0017]在所述候选单词的时态与所述预测时态不一致的情况下，将所述候选单词的初始概率值的K倍确定为所述候选单词的概率；其中，K为大于零且小于1的数值；
[0018]在所述候选单词的时态与所述预测时态一致的情况下，将所述候选单词的初始概
率值确定为所述候选单词的概率。
[0019]在本申请一可选实施方式中，所述时态预测模型包括时态标注模型以及时态生成模型，所述利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态，包括：
[0020]在利用神经机器翻译模型将第一源语言语句翻译为目标语言语句的过程中，确定所述过程中的编码阶段生成的中间向量；
[0021]利用所述时态标注模型对所述中间向量进行词性标注，生成所述第一源语言语句的词性标注向量；
[0022]将所述词性标注向量输入至所述时态生成模型，确定所述时态生成模型顶层的隐状态。
[0023]在本申请一可选实施方式中，所述时态预测模型还包括时态注意力模型，所述利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态，还包括：
[0024]在对所述第一源语言语句中的目标词语进行解码阶段的每个解码时间步，将所述时态生成模型顶层的隐状态输入至所述时态注意力模型，得到所述第一源语言语句中的目标词语的第一上下文向量；所述第一上下文向量用于表示与该解码时间步解码的目标词语的时态预测相关的第一源语言语句信息；
[0025]通过全连接网络模型将所述时态生成模型顶层的隐状态与所述第一上下文向量组合，得到该解码时间步解码的目标词语的第一时态注意力隐状态。
[0026]在本申请一可选实施方式中，所述神经机器翻译模型包括传统注意力模型，所述利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态，还包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语句处理方法，其特征在于，所述方法包括：在利用神经机器翻译模型将第一源语言语句翻译为目标语言语句的过程中，确定所述第一源语言语句中的目标词语在所述过程中的解码阶段生成的至少一个候选单词，并确定所述候选单词的时态；利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态；基于所述候选单词的时态以及所述预测时态确定所述候选单词的概率。2.根据权利要求1所述的方法，其特征在于，所述候选单词具有对应的初始概率值，所述基于所述候选单词的时态以及所述预测时态确定所述候选单词的概率，包括：在所述候选单词的时态与所述预测时态不一致的情况下，将所述候选单词的初始概率值的K倍确定为所述候选单词的概率；其中，K为大于零且小于1的数值；在所述候选单词的时态与所述预测时态一致的情况下，将所述候选单词的初始概率值确定为所述候选单词的概率。3.根据权利要求1所述的方法，其特征在于，所述时态预测模型包括时态标注模型以及时态生成模型，所述利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态，包括：在利用神经机器翻译模型将第一源语言语句翻译为目标语言语句的过程中，确定所述过程中的编码阶段生成的中间向量；利用所述时态标注模型对所述中间向量进行词性标注，生成所述第一源语言语句的词性标注向量；将所述词性标注向量输入至所述时态生成模型，确定所述时态生成模型顶层的隐状态。4.根据权利要求3所述的方法，其特征在于，所述时态预测模型还包括时态注意力模型，所述利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态，还包括：在对所述第一源语言语句中的目标词语进行解码阶段的每个解码时间步，将所述时态生成模型顶层的隐状态输入至所述时态注意力模型，得到所述第一源语言语句中的目标词语的第一上下文向量；所述第一上下文向量用于表示与该解码时间步解码的目标词语的时态预测相关的第一源语言语句信息；通过全连接网络模型将所述时态生成模型顶层的隐状态与所述第一上下文向量组合，得到该解码时间步解码的目标词语的第一时态注意力隐状态。5.根据权利要求4所述的方法，其特征在于，所述神经机器翻译模型包括传统注意力模型，所述利用时态预测模型对所述第一源语言语句中的目标词语的时态进行预测，确定所述第一源语言语句中的目标词语的预测时态，还包括：在对所述第一源语言语句中的目标词语进行解码阶段的每个解码时间步，将所述神经机器翻译模型的解码网络顶层的隐状态输入至所述传统注意力模型，得到所述第一源语言语句中的目标词语的第二上下文向量；所述第二上下向量用于表示与该解码时间步解码的目标词...

【专利技术属性】
技术研发人员：蒋忠强，赵冬梅，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：