一种用于生成式摘要的评估方法及排序网络技术

本发明专利技术公开了一种用于生成式摘要的评估方法及排序网络。本发明专利技术从三个方面来评估摘要质量：第一，运用语言模型来评估语言的流畅度；第二，使用相似度模型评估文本和摘要之间的语义相关性；第三，为了有效评估实体、专有词的复现程度，引入原文信息量模型来评估。本发明专利技术从摘要的语言流畅性、摘要与原文的相关性以及摘要所包含的信息量等多个方面来综合评估摘要的质量，大大提高了评估的准确性。

【技术实现步骤摘要】
一种用于生成式摘要的评估方法及排序网络
本专利技术属于人工智能
，涉及一种用于生成式摘要的评估方法及排序网络。
技术介绍
随着深度学习技术的快速发展，自动文摘成为了可能。目前，评估生成摘要的评测指标是Rouge分数。根据评测粒度(词格)的不同，Rouge分数可以分为Rouge-N、Rouge-L、Rouge-W、Rouge-S等。第一，Rouge-N，它表示的是生成摘要和真实摘要中n格单词的召回情况，具体的公式是其中分母表示真实摘要中n格单词的个数，分子则表示的是真实摘要和自动摘要共同出现的n格单词的个数。第二，Rouge-L，L表示的是最长公共序列，其具体公式分别是最长公共子序列的召回率，准确率和F测度：和其中X是长度为m的真实摘要；而Y是长度为n的生成摘要，β为精确率和召回率的比值。第三，Rouge-W是在Rouge-L的基础上改变不同的对应权重计算而得到的计算方法。第四，Rouge-S，S表示skip-grams，即在匹配真实摘要和生成摘要时，允许跳过N个单词，如skip-bigram，即最多允许跳过两个单词。现有的自动摘要评估指标Rouge分数的本质是匹配原文与摘要的共现程度，生成式摘要模型也采用这种评估指标。但是，Rouge分数忽略了生成式摘要的语言多样性以及文本与摘要的语义相关性，使得基于Rouge分数的评估方法不合理。
技术实现思路
本专利技术提出了一种新型的评估生成式摘要质量的评估方法及排序网络，用于评估生成式摘要，其从摘要的语言流畅性、摘要与原文的相关性以及摘要所包含的信息量等多个方面来综合评估摘要的质量，大大提高了评估的准确性。具体来说，本专利技术从三个方面来评估摘要质量：第一，运用语言模型来评估语言的流畅度。第二，使用相似度模型评估文本和摘要之间的语义相关性。第三，为了有效评估实体、专有词的复现程度，引入原文信息量模型来评估。本申请提案能从多个层面有效地评估生成式摘要的质量，并且本专利技术可对不同的数据集进行自适应的调整参数。本专利技术提供了一种用于生成式摘要的排序网络，其特征在于，包括语言模型、相似度模型、原文信息量模型和评估模块；其中，语言模型，用于计算文本的生成式摘要的摘要语言流畅度Score_1；相似度模型，用于计算文本的生成式摘要与文本的相似度Score_2；原文信息量模型，用于计算文本的生成式摘要的摘要实体覆盖率Score_3和共现词程度Score_4；评估模块，用于对文本的生成式摘要的摘要语言流畅度Score_1、生成式摘要与文本的相似度Score_2、摘要实体覆盖率Score_3和共现词程度Score_4进行加权计算，得到该文本的生成式摘要的评估结果。排序网络还包括一权重优化模块，用于基于训练集中样本的真实摘要和基于训练集中各样本的生成式摘要的摘要语言流畅度Score_1、生成式摘要与文本的相似度Score_2、摘要实体覆盖率Score_3和共现词程度Score_4，通过贝叶斯优化算法选择摘要语言流畅度Score_1、生成式摘要与文本的相似度Score_2、摘要实体覆盖率Score_3和共现词程度Score_4的权重；其中，训练集中每一样本对应一三元组(X，Y′，Y_all)，Y_all＝{Y_1,Y_2,…，Y_m}，Y_m为文本X通过第m个生成式摘要系统生成的生成式摘要，Y′为文本X的真实摘要Y′。本专利技术用于生成式摘要的排序网络的评估方法为：步骤1，将每一所选文本X通过多个生成式摘要系统，得到多个摘要，组成摘要候选项Y_all＝{Y_1,Y_2,…，Y_m}，并将文本X，真实摘要Y′和摘要候选项Y_all一一配对，组成训练集。步骤2，将步骤1中的训练集分别通过已经训练好的语言模型、相似度模型和原文信息量模型得到每一生成式摘要的Score_1，Score_2，Score_3和Score_4。步骤3，基于所述训练集中样本的真实摘要，通过贝叶斯优化选择该训练集下Score_1，Score_2，Score_3和Score_4的权重比值。可以使用经验值或启发式方法来设计权重比，也可以使用参数网格搜索，随机搜索等算法来实现，贝叶斯优化是为了自动化找到该训练集下最适应的参数，其优化目标，即是最大化验证集上的分数和。步骤4，使用步骤2的分数和步骤3的权重，加权得到每个文本对应的摘要候选项中每个摘要的分数，最终摘要按分数从高到低输出。步骤5，对于一待生成摘要的文本a，生成该文本a的多个摘要，并计算每一摘要的Score_1、Score_2、Score_3和Score_4，然后根据步骤3确定的权重加权计算该文本a各摘要的摘要分数，确定该文本a各摘要的评估结果。所述步骤1中，得到摘要候选项过程如下：步骤1.1，将文本X经过预处理，与已训练的生成式摘要系统的处理尽可能一致，比如去除特殊字符，数字清理等。步骤1.2，将步骤1.1处理好的文本送入到m个生成摘要系统中，得到m个摘要Y_all＝{Y_1,Y_2,…，Y_m}，并将其一一配对(X,Y′,Y_all)后，随机切分为训练集、验证集和测试集。所述步骤2中，如图1所示，包含三个模块，这三个模型可以并行执行。语言模型语言模型是对语句的概率分布的建模，衡量了语言序列片段符合真实句子的概率。本模块使用统计语言模型n格语言模型算法来评估摘要的语言流畅性(参考Croft,W.Bruce,andJohnLafferty,eds.Languagemodelingforinformationretrieval.Vol.13.SpringerScience&BusinessMedia,2013)。给定句子集合S∈Y_i(可以来自一篇或者多篇文档，对于本专利技术而言S为一个摘要中的句子集合)，句子集合S有m个单词，表示为w_1,w_2,···,w_m。由链式法则，可以得到句子概率P(w_1,w_2,…,w_m)＝P(w_1)P(w_2│w_1)…P(w_m|w_1…w_(m-1))，根据马尔科夫链假设，当前词i出现的概率只依赖于单词i的前n-1个词，即P(w_i│w_1…w_(i-1))＝P(w_i|w_(i-n+1)…w_(i-1))，基于上式，可以得到2格语言语言模型，表示为P(w_1,w_2,···,w_m)＝Π_(i-1)^mP(w_i|w_(i-1))。为了采样真实语言分布，本模型所使用的参数是由中文维基百科数据集在语言模型上训练得到的。训练语言模型的工具是Kenlm(参考Heafield,Kenneth."KenLM:Fasterandsmallerlanguagemodelqueries."Proceedingsofthesixthworkshoponstatisticalmachinetranslation.AssociationforComputationalLinguistics,2011)，训练设置采用默认设置和5格语言语言模型。在应用阶段，设摘要由m个词组成，表示为y_1,本文档来自技高网...

【技术保护点】
1.一种用于生成式摘要的评估方法，其步骤包括：/n1)将每一所选文本X通过m个生成式摘要系统，将生成的m个生成式摘要组成摘要候选项Y_all＝{Y_1,Y_2,…，Y_m}；将文本X及其真实摘要Y′和摘要候选项Y_all一一配对，生成一三元组(X，Y′，Y_all)作为训练集的一样本；其中，Y_m为文本X通过第m个生成式摘要系统生成的生成式摘要；/n2)将所述训练集通过训练好的语言模型得到每一样本的生成式摘要的摘要语言流畅度Score_1，将所述训练集通过训练好的相似度模型得到每一样本的生成式摘要与文本的相似度Score_2，将所述训练集通过训练好的原文信息量模型得到每一样本的生成式摘要的摘要实体覆盖率Score_3和共现词程度Score_4；/n3)基于所述训练集中样本的真实摘要，选择摘要语言流畅度Score_1、生成式摘要与文本的相似度Score_2、摘要实体覆盖率Score_3和共现词程度Score_4的权重；/n4)对于一待生成摘要的文本a，生成该文本a的多个摘要，并计算每一摘要的摘要语言流畅度Score_1、摘要与文本的相似度Score_2、摘要实体覆盖率Score_3和共现词程度Score_4，然后根据步骤3)确定的权重加权计算该文本a各摘要的摘要分数，确定该文本a各摘要的评估结果。/n...

【技术特征摘要】
1.一种用于生成式摘要的评估方法，其步骤包括：
1)将每一所选文本X通过m个生成式摘要系统，将生成的m个生成式摘要组成摘要候选项Y_all＝{Y_1,Y_2,…，Y_m}；将文本X及其真实摘要Y′和摘要候选项Y_all一一配对，生成一三元组(X，Y′，Y_all)作为训练集的一样本；其中，Y_m为文本X通过第m个生成式摘要系统生成的生成式摘要；
2)将所述训练集通过训练好的语言模型得到每一样本的生成式摘要的摘要语言流畅度Score_1，将所述训练集通过训练好的相似度模型得到每一样本的生成式摘要与文本的相似度Score_2，将所述训练集通过训练好的原文信息量模型得到每一样本的生成式摘要的摘要实体覆盖率Score_3和共现词程度Score_4；
3)基于所述训练集中样本的真实摘要，选择摘要语言流畅度Score_1、生成式摘要与文本的相似度Score_2、摘要实体覆盖率Score_3和共现词程度Score_4的权重；
4)对于一待生成摘要的文本a，生成该文本a的多个摘要，并计算每一摘要的摘要语言流畅度Score_1、摘要与文本的相似度Score_2、摘要实体覆盖率Score_3和共现词程度Score_4，然后根据步骤3)确定的权重加权计算该文本a各摘要的摘要分数，确定该文本a各摘要的评估结果。


2.如权利要求1所述的方法，其特征在于，通过贝叶斯优化算法选择摘要语言流畅度Score_1、生成式摘要与文本的相似度Score_2、摘要实体覆盖率Score_3和共现词程度Score_4的权重。


3.如权利要求1所述的方法，其特征在于，生成摘要系统包括：Seq2Seq+Attention机制的模型，基于强化学习的生成模型和基于生成对抗网络的摘要模型。


4.如权利要求1所述的方法，其特征在于，使用统计语言模型n格语言模型算法评估摘要的语言流畅度Score_1。


5.如权利要求1所述的方法，其特征在于，计算生成式摘要与文本的相似度Score_2的方法为：设文本X由n个词组成，表示为x1,x2,···,xn，文本X的生成式摘要由m个词组成，表示为y1,y2,···,ym；其中xi表示文本X中第i个词的词向量，yj表示文本X的生成式摘要中第j个词的词向量，文本X的向量Xw和文本X的生成式摘要的向量Yw分别表示为：利用余弦相似度来衡量两个句子的空间距离，即：其中t表示词向量的第t维；对sim(Xw,Yw)归一化得到文...

【专利技术属性】
技术研发人员：曹亚男，徐灏，尚燕敏，刘燕兵，谭建龙，郭莉，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：北京;11