基于风险权重评估医学机器学习模型性能的方法和设备技术

本发明专利技术提供一种基于风险权重评估医学机器学习模型性能的方法和设备，所述模型用于根据医学数据识别至少一种疾病，所述模型输出用于表示各种疾病类型的概率值；所述方法包括：利用所述模型识别评估数据集，所述评估数据集包括多个医学数据及其标签；获取所述模型针对所述评估数据集中的各个医学数据输出的概率值，并根据疾病阈值确定识别结果；比对所述识别结果和所述标签以确定错误的识别结果，包括各种疾病的假阳性和/或假阴性识别结果；根据错误的识别结果的数量及其对应的风险权重计算关于各种疾病的第一风险值；根据所有疾病种类的第一风险值确定所述模型的性能值。

Method and equipment for evaluating performance of medical machine learning model based on risk weight

【技术实现步骤摘要】
基于风险权重评估医学机器学习模型性能的方法和设备
本专利技术涉及机器学习领域，具体涉及一种基于风险权重评估医学机器学习模型性能的方法和设备。
技术介绍
随着机器学习、深度学习、计算机视觉和图像识别等人工智能核心技术的突破和发展，通过大量医学标注样本对模型进行训练所获得的诊断模型，在医学场景展示了出色的性能、可信的效果和真实的应用价值。而且，由于深度神经网络(DNN)具备巨大的参数空间，模型描述能力极强，所以一个模型可以胜任多个识别任务。推延至医学场景，也就是一个模型可以完成多个病种的识别，比如肺部、视网膜、皮肤的多种疾病。多病种诊断模型是医学AI算法的主要形态。比如中国专利申请(申请号2018103874848)公开一种基于机器学习的眼底图像检测方法，该方法可以通过眼底图像识别豹纹、白斑等明显病种，同时能够识别细小的渗出点和出血点。由于医学涉及人们的生命健康安全，模型识别错误的风险极高。风险控制对医学AI产品的成功极为重要。所以，对诊断模型进行评估，确定其风险程度，进而判断是否可投入应用，是非常有必要的工作。而且，大部分模型并非开箱即用本文档来自技高网...

【技术保护点】
1.一种评估医学机器学习模型性能的方法，其特征在于，所述模型用于根据医学数据识别至少一种疾病，所述模型输出用于表示各种疾病类型的概率值；所述方法包括：/n利用所述模型识别评估数据集，所述评估数据集包括多个医学数据及其标签；/n获取所述模型针对所述评估数据集中的各个医学数据输出的概率值，并根据疾病阈值确定识别结果；/n比对所述识别结果和所述标签以确定错误的识别结果，包括各种疾病的假阳性和/或假阴性识别结果；/n根据错误的识别结果的数量及其对应的风险权重计算关于各种疾病的第一风险值；/n根据所有疾病种类的第一风险值确定所述模型的性能值。/n

【技术特征摘要】
1.一种评估医学机器学习模型性能的方法，其特征在于，所述模型用于根据医学数据识别至少一种疾病，所述模型输出用于表示各种疾病类型的概率值；所述方法包括：
利用所述模型识别评估数据集，所述评估数据集包括多个医学数据及其标签；
获取所述模型针对所述评估数据集中的各个医学数据输出的概率值，并根据疾病阈值确定识别结果；
比对所述识别结果和所述标签以确定错误的识别结果，包括各种疾病的假阳性和/或假阴性识别结果；
根据错误的识别结果的数量及其对应的风险权重计算关于各种疾病的第一风险值；
根据所有疾病种类的第一风险值确定所述模型的性能值。


2.根据权利要求1所述的方法，其特征在于，根据所有疾病种类的第一风险值确定所述模型的性能值，包括：
根据所述风险权重和所述评估数据集中的类型占比得到所有疾病种类的第二风险值；
根据所有疾病种类的第一风险值和所有疾病种类的第二风险值确定所述模型的性能值。


3.根据权利要求1或2所述的方法，其特征在于，对于能够识别多种疾病的模型，每一种疾病类型对应一个所述疾病阈值、每一种疾病类型对应一组所述风险权重。


4.根据权利要求1-3中任一项所述的方法，其特征在于，所述风险权重包括对应假阳性的风险权重和对应假阴性的风险权重。


5.根据权利要求4所述的方法，其特征在于，利用如下方式计算所述第一风险值：

【专利技术属性】
技术研发人员：刘从新，胡馨月，付萌，熊健皓，赵昕，和超，张大磊，
申请(专利权)人：上海鹰瞳医疗科技有限公司，
类型：发明
国别省市：上海;31