一种模型生成文本的评估方法及计算机设备技术

本申请公开了一种模型生成文本的评估方法及计算机设备，不依赖于标签，适用于生产环境。该评估方法分别通过基因、可读性和指纹三个指标分别评估后，再进行综合评估；其中，基因指标用于衡量模型生成文本与输入文本的语义相关性和同源情况，可读性指标用于从标点切分出的句子长度均值和文本重复退化情况来衡量模型生成文本能被人读懂的程度，指纹指标用于衡量模型生成文本与训练集标签的语义特征分布一致程度；具体预先基于三元孪生网络训练指纹提取网络模型，同时生成指纹库，然后通过将模型生成文本输入所述指纹提取网络模型得到指纹，再与所述指纹库进行距离度量，确定指纹指标的值。指标的值。指标的值。

【技术实现步骤摘要】
一种模型生成文本的评估方法及计算机设备


[0001]本申请属于文献数据深加工
，特别是涉及一种模型生成文本的评估方法及计算机设备。

技术介绍

[0002]专利深加工是针对专利文献特点利用文本生成技术获取高附加值的专利改写技术。目前，专利深加工主要包括名称深加工、摘要深加工、关键词标引、IPC分类等，专利摘要深加工即专利摘要改写，将长文本输入训练好的模型，生成摘要文本（模型生成文本）。因此，有必要执行合适的评估，为模型生成文本提供一个客观、统一、量化的衡量标准。
[0003]早期的模型生成文本评估采用信息检索的指标，如召回率、精度和F值，将模型生成文本与人工撰写的文本进行比较，并测量它们之间的共同内容。这种传统的评估方法存在的主要问题是，将模型生成文本与单个人工编写的文本进行比较过于主观。
[0004]目前，开发摘要系统所依赖的标准度量通常是ROUGE和BLEU。BLEU（英文全称：bilingual evaluation understudy，中文术语：双语评估候补）主要任务是将模型译文的n元语法单元与参考译文（即人工撰写译文）的n元语法单元进行比较，并计算匹配的次数，这些匹配是位置无关的，匹配越多，模型译文越好。ROUGE（英文全称：Recall
‑
Oriented Understudy for Gisting Evaluation，中文术语：面向召回的突出重点的评估替补）将模型生成文本与标签，即人工撰写文本，进行比较,计算模型生成的要评估的文本和人类撰写的理想文本之间重叠单元的数量，如n
‑
gram、单词序列和单词对。
[0005]Giannakopoulos等人提出的AutoSummENG，基于n
‑
grams图，并考虑了在一个窗口内单词n元语法或字符n元语法的共现性。在AutoSummENG方法中，总是将一个词的所有不同形式转换为它的词元。
[0006]ROUGE和BLEU，尽管它们在整体系统排名中很有效，但本质上仍然是词汇性的，并且依赖于标签，不适用于缺少标签的生产环境。AutoSummENG基于n
‑
grams图，并考虑了在一个窗口内单词n元语法或字符n元语法的共现性，与ROUGE相比，与人类判断的相关性更高。

技术实现思路

[0007]基于此，针对上述技术问题，提供一种新的模型生成文本的评估方法及计算机设备，可以不依赖于标签，适用于生产环境。
[0008]本申请提供的一种模型生成文本的评估方法，包括：
[0009]对于待评估的模型生成文本，分别计算其基因指标、可读性指标以及指纹指标；
[0010]所述基因指标用于衡量模型生成文本与输入文本的语义相关性和同源情况，包括文本长度、相关度和互信息等三个因素；其中，相关度基于词频和皮尔逊相关系数设计实现，互信息表征模型生成文本与输入文本之间的依赖程度；
[0011]所述可读性指标用于从标点切分出的句子长度均值和文本重复退化情况来衡量模型生成文本能被人读懂的程度；
[0012]所述指纹指标用于衡量模型生成文本与训练集标签的语义特征分布一致程度；具体预先基于三元孪生网络训练指纹提取网络模型，同时生成指纹库，然后通过将模型生成文本输入所述指纹提取网络模型得到指纹，再与所述指纹库进行距离度量，确定指纹指标的值；
[0013]基于计算得到的基因指标、可读性指标和指纹指标的值，进行综合评估，得到最终的评估结果。
[0014]可选地，所述基因指标的公式如下：
[0015][0016]式中：V
gene
表示基因指标值；len
candidate
表示模型生成文本的字符个数；corr表示模型生成文本与输入文本的相关度；mi表示模型生成文本与输入文本的互信息。
[0017]可选地，所述可读性指标的公式如下：
[0018][0019]式中：V
read
为可读性指标的值；Total
sent
表示模型生成文本的句子数，句子指利用标点分割获取的字符串；Total
char
表示模型生成文本的字符数，标点除外；Total
dup
表示出现重复的次数；len
generate
表示文本的长度。
[0020]可选地，所述基于三元孪生网络训练指纹提取网络模型，同时生成指纹库，具体包括：
[0021]首先，对数据集进行预处理，构建原始标签、副本标签和无关标签三个数据集；
[0022]其次，构建三个共享权重参数的网络，分别输入所述原始标签、副本标签和无关标签三个数据集；
[0023]再次，根据三元组损失和分类损失更新网络参数，并获得训练集标签指纹库。
[0024]进一步地，三元组损失函数L
tr
为：
[0025][0026]式中：N表示三元文本组的总数；max( , )表示取大值；D( , )表示计算欧几里得距离；x
f
、和分别表示、和经过网络映射得到的特征；margin表示三元组损失函数的间隔，用于控制正负样本的距离。
[0027]进一步地，所述分类损失采用交叉熵损失函数L
ce
表示，具体为：
[0028][0029]式中：N表示三元文本组的总数；M表示标签类别总数，取值2；p表示真实分类概率；q表示预测分类概率，x
ij
表示第i个三元文本组中的原始文本x属于（适用于真实分类概率p计算的表述）或预测（适用于预测分类q的表述）为标签j类别的概率。
[0030]进一步地，将三元组损失和交叉熵损失结合，优化后的指纹提取网络模型损失函数L为：
[0031][0032]式中：表示可变权重参数；L
tr
表示三元组损失函数；L
ce
表示交叉熵损失函数。
[0033]可选地，所述距离度量采用汉明距离H，定义如下：
[0034][0035]式中：L表示指纹长度；b
q
表示待评估文本的指纹；B表示训练集标签指纹库；n表示指纹的第几位；表示异或运算；
[0036]基于最小汉明距离确定指纹指标函数V
fingerprint
，定义如下：
[0037] 。
[0038]可选地，所述进行综合评估，得到最终的评估结果，是选择以下综合评估方法之一执行：
[0039]第一种综合评估方法定义公式如下：
[0040][0041]式中：V
eval
表示文本评估值；V
gene
为基因指标的值，V
read
为可读性指标的值，V
fingerprint
为指纹指标的值；n等于根号内因子个数；
[0042]第二种综合评估方法定义公式如下：
[0043][0044]式中：W
gene
表示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型生成文本的评估方法，其特征在于，包括：对于待评估的模型生成文本，分别计算其基因指标、可读性指标以及指纹指标；所述基因指标用于衡量模型生成文本与输入文本的语义相关性和同源情况，包括文本长度、相关度和互信息等三个因素；其中，相关度基于词频和皮尔逊相关系数设计实现，互信息表征模型生成文本与输入文本之间的依赖程度；所述可读性指标用于从标点切分出的句子长度均值和文本重复退化情况来衡量模型生成文本能被人读懂的程度；所述指纹指标用于衡量模型生成文本与训练集标签的语义特征分布一致程度；具体预先基于三元孪生网络训练指纹提取网络模型，同时生成指纹库，然后通过将模型生成文本输入所述指纹提取网络模型得到指纹，再与所述指纹库进行距离度量，确定指纹指标的值；基于计算得到的基因指标、可读性指标和指纹指标的值，进行综合评估，得到最终的评估结果。2.根据权利要求1所述的模型生成文本的评估方法，其特征在于，所述基因指标的公式如下：;式中：V
gene
表示基因指标值；len
candidate
表示模型生成文本的字符个数；corr表示模型生成文本与输入文本的相关度；mi表示模型生成文本与输入文本的互信息。3.根据权利要求1所述的模型生成文本的评估方法，其特征在于，所述可读性指标的公式如下：;式中：V
read
为可读性指标的值；Total
sent
表示模型生成文本的句子数，句子指利用标点分割获取的字符串；Total
char
表示模型生成文本的字符数，标点除外；Total
dup
表示出现重复的次数；len
generate
表示文本的长度。4.根据权利要求1所述的模型生成文本的评估方法，其特征在于，所述基于三元孪生网络训练指纹提取网络模型，同时生成指纹库，具体包括：首先，对数据集进行预处理，构建原始标签、副本标签和无关标签三个数据集；其次，构建三个共享权重参数的网络，分别输入所述原始标签、副本标签和无关标签三个数据集；再次，根据三元组损失和分类损失更新网络参数，并获得训练集标签指纹库。5.根据权利要求4所述的模型生成文本的评估方法，其特征在于，三元组损失函数L
tr
为：;式中：N表示三元文本组的总数；max( , )表示取大值；D( , )表示计算欧几里得距离；x
f
、和分别表示、和经过网络映射得到的特征；margin表示三元组损失函...

【专利技术属性】
技术研发人员：冯好国，徐青伟，严长春，裴非，范娥媚，
申请(专利权)人：知呱呱天津大数据技术有限公司，
类型：发明
国别省市：