本公开提供一种词汇一致性评价方法，包括：S1：从测试样本中挑选测试段落进行标注，建立词汇一致性评价测试集；S2：将被测的源语言段落输入模型，产生真实的译文；S3：对于每个一致性样本，按照所标注的句子索引逐句找到对应的译文句子并进行词形还原后，得到待检译文集合；S4：记录标注样本翻译候选集中的单词出现在待检译文集合中的句子索引；S5：判断标注的翻译候选集中是否存在待检译文集合中的句子索引与所标注的句子索引相同的单词，存在则认为该一致性样本翻译正确。本公开还提供词汇一致性评价装置、电子设备以及可读存储介质。电子设备以及可读存储介质。电子设备以及可读存储介质。
【技术实现步骤摘要】
词汇一致性评价方法、电子设备以及可读存储介质
[0001]本公开属于语言处理
，本公开尤其涉及神经机器翻译中词汇一致性评价方法、电子设备以及可读存储介质。
技术介绍
[0002]词汇一致性是指篇章中源端重复的单词在翻译时倾向于被译为相同的目标端单词。词汇翻译不一致问题是神经机器翻译中最严重的错误类型。图1中展示了词汇不一致的翻译示例。在该例中，同属一篇文档的两句话内重复的单词“证监会”和“准则”，在参考译文中也分别被翻译为相同的目标端单词“证监会”和“准则”。而标准的句子级神经机器翻译模型SentNmt由于无法参考上下文信息，在两个句子中将“证监会”翻译为不同的单词“commission”和“CSRC，“准则”也对应两种翻译“guidelines”和“standards”。显而易见，这种词汇翻译的不一致严重影响了译文的衔接性。
[0003]已经有研究表明，通用的译文评价指标BLEU对于篇章现象的翻译不够敏感。近年来，一些研究工作构造对比测试集以评价翻译中特定的篇章现象。在这类评价方法中，每个测试样本通常包含一个正确的参考译文和一组错误的参考译文，错误译文仅在待评价的篇章现象处与正确译文有所区别。在评价时，模型对正确参考译文和错误参考译文进行强制解码，得到每个译文的序列生成概率。最终，以正确译文的生成概率高于错误译文的测试样本在总的测试样本中所占的比例作为模型评估的分数。
[0004]对比测试的评价方法能够控制变量以聚焦待测现象，然而，该方法具有一定的局限性，无法评价模型在真实场景下的系统表现：首先，该方法中的目标端上下文句子由设计者预先给定，而真实情况下目标端的上下文句子也需要依靠模型生成，因此该方法无法对上下文句子的翻译进行评估；其次，当前的解码选择受到已生成序列的影响，而强制解码所使用的已生成序列与模型真实产生的序列并不相同。
技术实现思路
[0005]为了解决上述技术问题中的至少一个，本公开提供了一种词汇一致性评价方法、电子设备以及可读存储介质。
[0006]作为本公开的一个方面，提供一种词汇一致性评价方法，包括：S1：从测试样本中挑选测试段落进行标注，建立词汇一致性评价测试集，所述词汇一致性评价测试集包括触发词，触发词类型，句子索引以及翻译候选集；S2：将被测的源语言段落输入模型，产生真实的译文；S3：对于段落中标注的每个一致性样本，按照所标注的句子索引逐句找到对应的译文句子并进行词形还原后，得到待检译文集合；S4：记录标注样本翻译候选集中的每个单词出现在待检译文集合中的句子索引；S5：判断标注的翻译候选集中是否存在待检译文集合中的句子索引与所标注的句子索引相同的单词，存在则认为该一致性样本翻译正确。
[0007]根据本公开的至少一个实施方式的词汇一致性评价方法，每个测试样本对应一个源语言段落及其参考译文，其中包含数量不等的词汇一致性样本。
[0008]根据本公开的至少一个实施方式的词汇一致性评价方法，所述步骤S3中，得到的译文集合中去除集合中索引重复的译文句子。
[0009]根据本公开的至少一个实施方式的词汇一致性评价方法，所述模型为神经机器翻译模型。
[0010]根据本公开的至少一个实施方式的词汇一致性评价方法，所述步骤S1中，通过如下步骤建立词汇一致性评价测试集：S11、在源语言段落中寻找词汇翻译一致性的触发词；S12、对于每组触发词，依次检查该组中每个单词所对应的目标端翻译结果，如果所对应的目标端单词在进行词形还原后保持一致，则将该组触发词标记为一个一致性样本；S13、标记一致性样本中的触发词所在的句子索引以及触发词类型；S14、扩展一致性样本中触发词可能的翻译候选，挑选Moses词汇表中排序前20的翻译结果进行词形还原后，将其中意思正确的单词纳入该触发词的翻译候选集中。
[0011]作为本公开的另外一个方面，提供一种词汇一致性评价装置，包括：词汇一致性评价测试集建立模块，所述词汇一致性评价测试集建立模块从测试样本中挑选测试段落进行标注，建立词汇一致性评价测试集，所述词汇一致性评价测试集包括触发词，触发词类型，句子索引以及翻译候选集；译文产生模块，所述译文产生模块将被测的源语言段落输入模型，产生真实的译文；待检译文集合确定模块，所述待检译文集合确定模块对于段落中标注的每个一致性样本，按照所标注的句子索引逐句找到对应的译文句子并进行词形还原后，得到待检译文集合；句子索引确定模块，所述句子索引确定模块记录标注样本翻译候选集中的每个单词出现在待检译文集合中的句子索引；一致性样本翻译判断模块，所述一致性样本翻译判断模块在标注的翻译候选集中存在待检译文集合中的句子索引与所标注的句子索引相同的单词时，判断该一致性样本翻译正确。
[0012]根据本公开的至少一个实施方式的词汇一致性评价装置，所述词汇一致性评价测试集建立模块包括：触发词确定子模块，所述触发词确定子模块在源语言段落中寻找词汇翻译一致性的触发词；一致性样本标记子模块，所述一致性样本标记子模块对于每组触发词，依次检查该组中每个单词所对应的目标端翻译结果，如果所对应的目标端单词在进行词形还原后保持一致，则将该组触发词标记为一个一致性样本；句子索引以及触发词类型标记子模块，所述句子索引以及触发词类型标记子模块标记一致性样本中的触发词所在的句子索引以及触发词类型；翻译候选集确定子模块，所述翻译候选集确定子模块扩展一致性样本中触发词可能的翻译候选，挑选Moses词汇表中排序前20的翻译结果进行词形还原后，将其中意思正确的单词纳入该触发词的翻译候选集中。
[0013]作为本公开的另外一个方面，提供一种电子设备，包括：
[0014]存储器，所述存储器存储执行指令；以及
[0015]处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行如上述中任一项所述的词汇一致性评价方法。
[0016]作为本公开的另外一个方面，提供一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现如上述任一项所述的增词汇一致性评价方法。
附图说明
[0017]附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
[0018]图1是现有技术中词汇不一致的翻译示例。
[0019]图2是本公开的一个实施方式的一种词汇一致性评价方法的流程图。
[0020]图3是本公开的一个实施方式的的建立词汇一致性评价测试集的流程图。
[0021]图4是根据本公开的一个实施方式建立词汇一致性评价测试集的示意图。
[0022]图5是根据本公开的一个实施方式的实施词汇一致性评价方法的电子装置1000的结构示意图。
[0023]图6是本公开的一个实施方式的词汇一致性评价测试集建立模块的结构示意图。
[0024]附图标记
[0025]1001 词汇一致性评价测试集建立模块
[0026本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种词汇一致性评价方法，包括：S1：从测试样本中挑选测试段落进行标注，建立词汇一致性评价测试集，所述词汇一致性评价测试集包括触发词，触发词类型，句子索引以及翻译候选集；S2：将被测的源语言段落输入模型，产生真实的译文；S3：对于段落中标注的每个一致性样本，按照所标注的句子索引逐句找到对应的译文句子并进行词形还原后，得到待检译文集合；S4：记录标注样本翻译候选集中的每个单词出现在待检译文集合中的句子索引；S5：判断标注的翻译候选集中是否存在待检译文集合中的句子索引与所标注的句子索引相同的单词，存在则认为该一致性样本翻译正确。2.根据权利要求1所述词汇一致性评价方法，其特征在于：每个测试样本对应一个源语言段落及其参考译文，其中包含数量不等的词汇一致性样本。3.根据权利要求1所述词汇一致性评价方法，其特征在于：所述步骤S3中，得到的译文集合中去除集合中索引重复的译文句子。4.根据权利要求1所述的词汇一致性评价方法，其特征在于：所述模型为神经机器翻译模型。5.根据权利要求1所述的词汇一致性评价方法，其特征在于：所述神经机器翻译模型为Transformer模型。6.根据权利要求1所述的词汇一致性评价方法，其特征在于，所述步骤S1中，通过如下步骤建立词汇一致性评价测试集：S11、在源语言段落中寻找词汇翻译一致性的触发词；S12、对于每组触发词，依次检查该组中每个单词所对应的目标端翻译结果，如果所对应的目标端单词在进行词形还原后保持一致，则将该组触发词标记为一个一致性样本；S13、标记一致性样本中的触发词所在的句子索引以及触发词类型；S14、扩展一致性样本中触发词可能的翻译候选，挑选Moses词汇表中排序前20的翻译结果进行词形还原后，将其中意思正确的单词纳入该触发词的翻译候选集中。7.一种词汇一致性评价装置，包括：词汇一致性评价测试集建立模块，所述词汇一致性评价测试集建立模块从测试样本中挑选测试段落进行标注，建立词汇一致性评价测试集，所述词汇一...
【专利技术属性】
技术研发人员：周玉，亢晓勉，
申请(专利权)人：北京中科凡语科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。