一种辅助诊断模型效果评测方法、装置及计算设备制造方法及图纸

本公开实施例提供了一种辅助诊断模型效果评测方法、装置及计算设备，为不同的辅助诊断模型的预测效果的评估提供量化指标，方法包括：确定测试用例对应的第一个数的诊断结果和每一诊断结果对应的分值；将测试用例输入第一辅助诊断模型，获取第一辅助诊断模型反馈的预测概率最高的第二个数的诊断结果；第二个数的诊断结果的排序根据第一辅助诊断模型输出的预测概率确定；第一个数大于或等于第二个数；根据第二个数的诊断结果对应的分值，以及第二个数的诊断结果的排序对应的预设权重分布，确定第一辅助诊断模型的分值。

A method, device and calculation equipment for evaluating the effect of auxiliary diagnosis model

【技术实现步骤摘要】
一种辅助诊断模型效果评测方法、装置及计算设备
本公开涉及人工智能领域，尤其涉及一种辅助诊断模型效果评测方法、装置、可读存储介质及计算设备。
技术介绍
目前基于医疗大数据与人工智能深度学习训练出来的疾病智能辅助诊断系统应运而生，目前的辅助诊断模型无论基于规则展示还是深度学习得到的结果均可给出疑似诊断，并依据疾病可能性给出预测结果，在一定程度上可以缓解医生的工作压力，可帮助医生更准确或更快速的对疾病进行诊断。然而评测诊断模型的方法尚无统一标准，导致无法针对诊断模型进行有效地筛选和改进。
技术实现思路
为此，本公开提供了一种辅助诊断模型效果评测方法、装置、可读存储介质及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。根据本公开实施例的一个方面，提供了一种辅助诊断模型效果评测方法，包括：确定测试用例对应的第一个数的诊断结果和每一诊断结果对应的分值；将测试用例输入第一辅助诊断模型，获取第一辅助诊断模型反馈的预测概率最高的第二个数的诊断结果；第二个数的诊断结果的排序根据第一辅助诊断模型输出的预测概本文档来自技高网...

【技术保护点】
1.一种辅助诊断模型效果评测方法，其特征在于，包括：/n确定测试用例对应的第一个数的诊断结果和每一诊断结果对应的分值；/n将所述测试用例输入第一辅助诊断模型，获取所述第一辅助诊断模型反馈的预测概率最高的第二个数的诊断结果；所述第二个数的诊断结果的排序根据所述第一辅助诊断模型输出的预测概率确定；所述第一个数大于或等于所述第二个数；/n根据所述第二个数的诊断结果对应的分值，以及所述第二个数的诊断结果的排序对应的预设权重分布，确定所述第一辅助诊断模型的分值。/n

【技术特征摘要】
1.一种辅助诊断模型效果评测方法，其特征在于，包括：
确定测试用例对应的第一个数的诊断结果和每一诊断结果对应的分值；
将所述测试用例输入第一辅助诊断模型，获取所述第一辅助诊断模型反馈的预测概率最高的第二个数的诊断结果；所述第二个数的诊断结果的排序根据所述第一辅助诊断模型输出的预测概率确定；所述第一个数大于或等于所述第二个数；
根据所述第二个数的诊断结果对应的分值，以及所述第二个数的诊断结果的排序对应的预设权重分布，确定所述第一辅助诊断模型的分值。


2.如权利要求1所述的方法，其特征在于，确定测试用例对应的第一个数的诊断结果和每一诊断结果对应的分值，包括：
将测试用例输入第二辅助诊断模型，获取所述第二辅助诊断模型反馈的预测概率最高的第一个数的诊断结果；
根据用户输入的评分数据，确定所述每一诊断结果对应的分值。


3.如权利要求1所述的方法，其特征在于，确定测试用例对应的第一个数的诊断结果和每一诊断结果对应的分值，包括：
将测试用例输入第二辅助诊断模型，获取所述第二辅助诊断模型反馈的预测概率最高的第一个数的诊断结果；
根据预先收集的病例数据，统计每一诊断结果对应的概率；
根据所述每一诊断结果对应的概率，确定每一诊断结果对应的分值。


4.如权利要求1所述的方法，其特征在于，根据所述第二个数的诊断结果对应的分值，以及所述第二个数的诊断结果的排序对应的预设权重分布，确定所述第一辅助诊断模型的分值，包括：
对于所述第二个数的诊断结果中的任一项，将所述任一项的分值与所述任一项的位置对应的预设权重相乘，计算所述任一项的综合分值；
将所述第二个数的诊断结果中的所有项的综合分值累加，得到所述第一辅助诊断模型的分值。


5.一种辅助诊断模型效果评测装置，其特征在于，包括：
分值确定单元，用于确定测试用例对应的第一个数的诊断结果和每...

【专利技术属性】
技术研发人员：张超凡，孙龙超，唐劭，张斌，张贤鹏，
申请(专利权)人：北京亚信数据有限公司，
类型：发明
国别省市：北京;11