基于认知诊断的写作大模型能力评测方法技术

本发明专利技术公开了一种基于认知诊断的写作大模型能力评测方法，所述方法包括：步骤1、构建写作评测集，记为E＝{e<subgt;1</subgt;,e<subgt;2</subgt;,e<subgt;3</subgt;,…,e<subgt;M</subgt;}，其中，M是题目数；步骤2、收集写作结果，并进行格式化处理及初步审核，排除不符合要求或质量低的作品；其中，将被试者集合记为S＝{s<subgt;1</subgt;,s<subgt;2</subgt;,s<subgt;3</subgt;,…,s<subgt;N</subgt;}，N是被试者数量，被试者包含人类和写作大模型；写作结果记为T＝{t<subgt;se</subgt;}<subgt;N×M</subgt;，t<subgt;se</subgt;表示被试者s对于题目e的写作结果；步骤3、匿名评价；步骤4、整理评价结果得到偏序关系，训练认知诊断模型，得到模型的多维写作能力评分。该基于认知诊断的写作大模型能力评测方法能够减少评估者主观性的影响，保证评测公平性，评价结果更加精细、准确。

【技术实现步骤摘要】

本专利技术涉及计算机应用，具体地，涉及一种基于认知诊断的写作大模型能力评测方法。

技术介绍

1、近年来，大语言模型(large language models，llms)的出现彻底改变了人们对自然语言处理模型能力的认知。这些模型利用大规模数据集进行预训练，并通过微调和指令来完成各种任务。其中，生成式大语言模型，如chatgpt，在许多任务上展现出与人类接近甚至超越人类的能力。这一突破性的进展不仅在学术界和工业界引起了广泛的关注，也在社会层面产生了深远的影响。写作大模型是大语言模型的一个专门用于文本生成的子类。文本生成是大语言模型最基础也是最强大的能力之一。大语言模型可以生成各种类型的文本，如文章、新闻报道、科技评论等。这对于减轻人工写作的负担，提高生产效率具有重要意义。同时，它们可以为内容创作者提供创作灵感和辅助工具，使他们能够更好地进行创作和表达。

2、然而，不同于传统的判别式任务，测评“写作”这样的生成式任务非常困难。在传统的机器学习任务中，通常使用自动评估的方式评测模型性能。所谓自动评估，即使用标准的度量指标和评估工具来评估模型的性能，例本文档来自技高网...

【技术保护点】

1.一种基于认知诊断的写作大模型能力评测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于认知诊断的写作大模型能力评测方法，其特征在于，步骤1中的写作评测集覆盖不同领域和主题，并包含多个难度级别。

3.根据权利要求1所述的基于认知诊断的写作大模型能力评测方法，其特征在于，步骤2中需收集不同水平人类的写作结果，包括专业作家、学生和日常写作者。

4.根据权利要求1所述的基于认知诊断的写作大模型能力评测方法，其特征在于，步骤3包括：

5.根据权利要求4所述的基于认知诊断的写作大模型能力评测方法，其特征在于，步骤3中多个细分能力角度包括...

【技术特征摘要】

1.一种基于认知诊断的写作大模型能力评测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于认知诊断的写作大模型能力评测方法，其特征在于，步骤1中的写作评测集覆盖不同领域和主题，并包含多个难度级别。

3.根据权利要求1所述的基于认知诊断的写作大模型能力评测方法，其特征在于，步骤2中需收集不同水平人类的写作结果，包括专业作家、学生和日常写作者。

4.根据权利要求1所述的基于认知诊断的写作大模型能力评测方法，其特征在于，步骤3包括：

5.根据权利要求4所述的基于认知诊断的写作大模型能力评测方法，其特征在于，步骤3中多个细分能力角度包括语法准确性、创造性、逻辑连贯性、风格一致性和主题相关性。

6.根据权利要求4所述的基于认知诊断的写作大模型能力评测方法，其特征在于，在步骤3中计算胜出率时，胜出率大于55％表...

【专利技术属性】
技术研发人员：程明月，刘淇，陈恩红，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：