摘要生成任务的测试方法、装置、设备及存储介质制造方法及图纸

技术编号:40802392 阅读:13 留言:0更新日期:2024-03-28 19:27
本申请公开了一种摘要生成任务的测试方法、装置、设备及存储介质。所述摘要生成任务的测试方法包括:获取摘要任务数据集,所述摘要任务数据集包括文本数据和所述文本数据的参考摘要;对所述文本数据执行摘要生成任务,得到所述文本数据的预测摘要;基于所述参考摘要、所述预测摘要以及多维度评价指标,对所述摘要生成任务进行性能测试,所述多维度评价指标包括语义理解指标和结构化约束指标。

【技术实现步骤摘要】

本申请涉及自然语言处理,尤其涉及一种摘要生成任务的测试方法、装置、设备及存储介质


技术介绍

1、随着大数据时代的到来,信息量呈现爆炸式增长,人们在处理和获取信息方面的需求也日益增加。在这样的背景下,自动文本摘要技术应运而生,它可以帮助用户快速了解文本的主要内容,节省阅读时间,提高工作效率。

2、在各类应用场景下,摘要生成任务具有较高的实际应用价值。对应用场景下的摘要生成任务进行评测,为提高摘要质量提供了参考依据。目前,摘要生成任务的测试主要依靠人工评测实现。然而,人工评测维度单一,无法较好的反应应用场景下的摘要生成效果,存在一定的局限性。


技术实现思路

1、本申请实施例的目的提供一种摘要生成任务的测试方法、装置、设备及存储介质,用于更为准确地测试摘要生成任务效果,为进一步优化摘要生成任务和提高摘要质量提供参考依据。

2、为了实现上述目的,本申请实施例采用下述技术方案:

3、第一方面,本申请实施例提供一种摘要生成任务的测试方法,包括:

4、获取摘要任务数据集,所本文档来自技高网...

【技术保护点】

1.一种摘要生成任务的测试方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述基于所述参考摘要、所述预测摘要以及多维度评价指标,对所述摘要生成任务进行性能测试,包括:

3.如权利要求2所述的方法,其特征在于,所述语义理解指标对应的测试策略包括通过用于测试的语言模型确定质量权值;

4.如权利要求2所述的方法,其特征在于,所述结构化约束指标对应的测试策略包括所述结构化约束指标的指标数据与质量权值之间的预设对应关系;

5.如权利要求4所述的方法,其特征在于,所述预测摘要为基于预设的第二提示文本对所述文本数据执行摘要生成任务得到;...

【技术特征摘要】

1.一种摘要生成任务的测试方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述基于所述参考摘要、所述预测摘要以及多维度评价指标,对所述摘要生成任务进行性能测试,包括:

3.如权利要求2所述的方法,其特征在于,所述语义理解指标对应的测试策略包括通过用于测试的语言模型确定质量权值;

4.如权利要求2所述的方法,其特征在于,所述结构化约束指标对应的测试策略包括所述结构化约束指标的指标数据与质量权值之间的预设对应关系;

5.如权利要求4所述的方法,其特征在于,所述预测摘要为基于预设的第二提示文本对所述文本数据执行摘要生成任务得到;

6.如权利要求5所述的方法,其特征在于,所述摘要约束条件包括如下条件中的至少一种:摘要长度条件,摘要格式条件,摘要主题条件,摘要语言条件。

7.如权利要求2所述的方法,其特征在于,所述基于所述预测摘要在所述多维度评价指标对应的质量权值,确定所述摘要生成任务的性能权值,包括:

8....

【专利技术属性】
技术研发人员:李思远王枫
申请(专利权)人:北京字跳网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1