【技术实现步骤摘要】
本公开属于人工智能，尤其涉及一种用于医疗领域的大模型性能预测方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
2、"大模型"通常指参数规模较大、拥有大量可学习参数的神经网络模型。这类模型通常具有更强大的表示学习能力，能够处理更复杂的任务和数据，热门大模型有：通义千问、gpt-3.5、gpt-4等，对于将大模型应用到各个领域的企业来说，对大模型在实际应用场景中的性能表现预测尤为重要。
3、专利技术人发现，除了某些评测方法依赖人工审查造成的耗时且成本高昂的问题，已有的自动化大模型性能预测方法主要存在以下问题：现有的性能预测方法仅适用于特定任务，限制了其适用性；现有的性能预测方法通常需要用户具备较强的专业知识，更多的依赖于用户预先制定的主观性评测指标，性能预测结果人为影响因素较大。
技术实现思路
1、本公开为了解决上述问题，提供了一种用于医疗领域的大模型性能预测方法及系统，所述方案通过细分应用场景，将评估过程区分为主观评...
【技术保护点】
1.一种用于医疗领域的大模型性能预测方法，其特征在于，包括：
2.如权利要求1所述的一种用于医疗领域的大模型性能预测方法，其特征在于，在测试用例集的构建中，预先构建针对不同业务场景的场景配置信息表，并基于所述场景配置信息表中不同业务场景下的配置模板将测试用例存储于预先构建的测评数据存储表中；其中，测评数据存储表的输入参数转换为map数据结构，并将场景配置信息表中对应场景输入模板中，与当前map数据结构中key相同的变量字段替换为对应key的值。
3.如权利要求1所述的一种用于医疗领域的大模型性能预测方法，其特征在于，所述不同场景包括导诊、预问诊...
【技术特征摘要】
1.一种用于医疗领域的大模型性能预测方法，其特征在于，包括：
2.如权利要求1所述的一种用于医疗领域的大模型性能预测方法，其特征在于，在测试用例集的构建中，预先构建针对不同业务场景的场景配置信息表，并基于所述场景配置信息表中不同业务场景下的配置模板将测试用例存储于预先构建的测评数据存储表中；其中，测评数据存储表的输入参数转换为map数据结构，并将场景配置信息表中对应场景输入模板中，与当前map数据结构中key相同的变量字段替换为对应key的值。
3.如权利要求1所述的一种用于医疗领域的大模型性能预测方法，其特征在于，所述不同场景包括导诊、预问诊、辅助生成诊断结果、辅助书写病历以及患者宣教。
4.如权利要求1所述的一种用于医疗领域的大模型性能预测方法，其特征在于，测试用例集样本中标准答案与预测输出结果之间的比较,具体为：对于主观测试用例，将标准答案与预测输出结果按照预设模板输入至第三方大模型中，获得预测评分。
5.如权利要求4所述的一种用于医疗领域的大模型性能预测方法，其特征在于，对于客观测试用例，分别计算预测输出结果...
【专利技术属性】
技术研发人员：高希余，吴军，何妍，刘旭，李佳昊，桑波，
申请(专利权)人：众阳健康科技集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。