垂域主观题评分模型的选择方法和垂域主观题的评分方法技术

本公开实施例提供一种垂域主观题评分用模型的选择方法和垂域主观题的评分方法。垂域主观题评分用模型的选择方法，包括：构建针对垂域主观题的多个评分提示模板，并基于各个评分提示模板构建模型输入；采用待选择大语言模型处理模型输入，得到针对答案的单角度评分；将同一种评分提示模板对应的单角度评分进行大小排序，并基于排序顺序确定加权权重；按照加权权重分别将待选择大语言模型输出的单角度评分进行加权求和，得到各个待选择大语言模型的多角度评分；选择多角度评分最大或者最小的预设数量待选择大语言模型作为垂域主观题评分用模型。采用本公开实施例方案选择确定的垂域主观题评分用模型作为真实应用模型更为合理。

【技术实现步骤摘要】

本公开涉及文本处理，具体涉及一种垂域主观题评分模型的选择方法和垂域主观题的评分方法。

技术介绍

1、为减少专家对特定垂域主观题评价偏差对主观题评分的影响，提高评分的公平性、准确性和高效性，相关
提出采用大语言模型对特定垂域主观题进行评分的方案。

2、采用大语言模型进行垂域主观题评分的前提是基于专家评分标准合理地评价大语言模型的优劣，选择评分质量较好的大语言模型。但是，现有的模型选择评价方法在进行人工评测比对时，其评分结果与人工评测结果的相关性较低，反向选择评价方法的不合理。

技术实现思路

1、为解决现有评分模型选择不合理的问题，本公开实施例提供一种新的垂域主观题评分用模型的选择方法和垂域主观题的评分方法。

2、第一方面，本公开实施例提供一种垂域主观题评分用模型的选择方法，包括：

3、构建针对垂域主观题的多个评分提示模板，并基于各个评分提示模板、所述垂域主观题和针对所述垂域主观题的答案构建模型输入；各个评分提示模板分别从特定提示角度提示对答案进行评分，各个评分提示模板的本文档来自技高网...

【技术保护点】

1.一种垂域主观题评分用模型的选择方法，其特征在于，包括：

2.根据权利要求1所述的选择方法，其特征在于，所述构建针对垂域主观题的多个评分提示模板，包括：

3.根据权利要求2所述的选择方法，其特征在于，所述基于专家经验确定针对垂域主观题的多个提示角度，包括：

4.根据权利与要求2所述的选择方法，其特征在于，还包括：获取针对所述垂域主观题的参考答案；

5.根据权利要求1-4任一项所述的选择方法，其特征在于，所述垂域主观题的数量至少为两个；

6.根据权利要求1-4任一项所述的选择方法，其特征在于，所述基于所述排序顺序确定对应同一模型...

【技术特征摘要】

1.一种垂域主观题评分用模型的选择方法，其特征在于，包括：

2.根据权利要求1所述的选择方法，其特征在于，所述构建针对垂域主观题的多个评分提示模板，包括：

3.根据权利要求2所述的选择方法，其特征在于，所述基于专家经验确定针对垂域主观题的多个提示角度，包括：

4.根据权利与要求2所述的选择方法，其特征在于，还包括：获取针对所述垂域主观题的参考答案；

5.根据权利要求1-4任一项所述的选择方法，其特征在于，所述垂域主观题的数量至少为两个；

6.根据权利要求1-4任一项所述的选择方法，其特征在于，所述基于所述排序顺序确定对应同一模型输入的各个单角度评分的加权权重，包括：

7.根据权...

【专利技术属性】
技术研发人员：任星宇，刘海波，王仿，
申请(专利权)人：北京智谱华章科技有限公司，
类型：发明
国别省市：