【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种文本答案评判方法、文本答案评判装置及存储介质。
技术介绍
1、当前大模型评测任务对文本类答案的结果判定提出了更高的要求，由于评测任务类型多，评测结果主要以文本答案形式呈现，但差异极大，如阅读理解答案和命名实体识别结果等；且待评测模型数量众多，难以遵循统一的提示指令，输出规定格式答案。目前提出了几种方式来进行评测任务，例如，(1)关键字匹配、正则表达式等自动化判定方法；(2)针对各类型答案，针对性训练不同深度学习模型；(3)利用大语言模型，结合提示语句进行自动化结果判定。
2、然而关键字匹配、正则表达式等自动化判定方法灵活性差，需要人工逐一开展特征工程，适配各类型任务答案；同时，此类方法对参测模型预测结果的格式有严格要求，但部分模型遵循能力差，难以达到要求；而训练专用深度学习模型，需要大规模研发数据资源，且泛化至数据分布不一致的答案时可能效果不佳，遇到新类型答案判定任务，涉及反复训练及研发；利用大语言模型直接进行结果判定，通常采用角色扮演或策略单一的提示语句，未充分发挥模型自身的能力，往往效...
【技术保护点】
1.一种文本答案评判方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述增强模式包括模型微调增强模式或人工辅助增强模式。
3.根据权利要求2所述的方法，其特征在于，当所述增强模式为所述模型微调增强模式时，所述基于所述增强模式对初始判别模型进行优化处理，获得第一判别模型，包括:
4.根据权利要求3所述的方法，其特征在于，所述对所述第一判别模型进行策略配置，获得第二判别模型，包括:
5.根据权利要求4所述的方法，其特征在于，所述基于所述策略配置信息对每个所述第一判别模型进行策略配置，获得至少一个第...
【技术特征摘要】
1.一种文本答案评判方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述增强模式包括模型微调增强模式或人工辅助增强模式。
3.根据权利要求2所述的方法，其特征在于，当所述增强模式为所述模型微调增强模式时，所述基于所述增强模式对初始判别模型进行优化处理，获得第一判别模型，包括:
4.根据权利要求3所述的方法，其特征在于，所述对所述第一判别模型进行策略配置，获得第二判别模型，包括:
5.根据权利要求4所述的方法，其特征在于，所述基于所述策略配置信息对每个所述第一判别模型进行策略配置，获得至少一个第二判别模型，包括：
6.根据权利要求4所述的方法，其特征在于，所述基于所述策略配置信息对每个所述第一判别模型进行策略配置，获得至少一个第二判别模型，包括：
7.根据权利要求4所述的方法，其特征在于，所述方法还包括：
8.根据权利要求7所述的方法，其特征在...
【专利技术属性】
技术研发人员：刘硕，高东辉，刘伟东，张旭，段宣翡，王荣，黄艳华，焦若丹，
申请(专利权)人：中国移动通信有限公司研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。