用于已部署机器学习模型的置信度度量制造技术

呈现了用于获取机器学习模型的置信度度量的概念。一个这种概念利用机器学习模型处理输入数据以生成初步结果。它还生成输入数据的多个修改实例并且利用机器学习模型处理输入数据的多个修改实例以生成相应多个二次结果。基于二次结果来确定与初步结果有关的置信度度量。度量。度量。

【技术实现步骤摘要】
【国外来华专利技术】用于已部署机器学习模型的置信度度量


[0001]本专利技术一般涉及机器学习，更具体地涉及获取用于已部署机器学习模型的置信度度量。

技术介绍

[0002]最近技术进步导致了机器学习(ML)模型的使用，这些ML模型旨在协助数据分析(例如，用于标识医疗特征和/或做出临床决策)。典型数据分析应用包括识别、描画(例如，语义分割、体素标记)和分级(例如，分类)。
[0003]ML模型通常使用大小和/或可变性有限的训练数据集进行训练。比如，在医疗领域中，由于缺乏大型数据库，所有训练数据所代表的可变性受到限制。因此，通常采用所谓的
‘
扩充
’
方法来增加训练数据集的大小和/或可变性，以便提高ML模型的性能、可靠性和/或稳健性。
[0004]在训练和部署之后，客户使用最终(固定)ML模型来评估输入数据(例如，新医疗案例)。
[0005]对于客户端(即，在客户端侧处)，ML部件/系统通常为封闭/固定的
‘
黑盒
’
，其被配置为接收输入数据并且基于输入数据来生成/输出结果或决策。因此，在典型用例中，ML部件/系统是
‘
密封的
’
(或固定的)，并且不可能在客户端侧执行ML模型的重新训练。ML部件/系统的这种密封(或固定)可能由于许多不同的原因而致，这些原因包括例如计算资源有限；许可问题；现场标签校正的不可行性；或FDA约束。

技术实现思路

[0006]本专利技术提供如独立权利要求中所定义的系统和方法。从属权利要求提供了有利实施例。
[0007]提供了一种用于获取机器学习ML模型的置信度度量的方法，该方法包括：利用ML模型处理输入数据以生成初步结果；生成输入数据的多个修改实例；利用ML模型处理输入数据的多个修改实例以生成相应多个二次结果；以及基于二次结果来确定与初步结果有关的置信度度量。
[0008]提出了一种用于确定与已部署ML模型有关的置信度(即，置信度度量)的概念。具体地，提出可以通过修改(或扩充)输入数据并且分析ML模型针对经修改(或经扩充)的输入数据所提供的结果来确定置信度度量。这种提议可能依赖于可接受ML模型应当具有
‘
良好表现
’
的概念，例如，使得对输入数据的小扰动应当对模型输出产生的影响相应较小。
[0009]比如，输入数据可能会自动进行若干个修改(或扩充)，其随后由ML模型进行处理。基于与经修改的(或经扩充的)数据相关联的结果，可以分析结果的变化以评估结果的稳健性或可变性。这可以使得能够确定ML模型的置信度度量。例如，可以确定特定于某些输入数据的置信度度量，并且这可以基于由处理特定输入数据的经修改的(或经扩充的)版本的ML模型所提供的结果的方差。
[0010]例如，所提出的实施例可以用于标识(例如，通过处理特定输入数据提供的)客户端侧ML模型的结果是否可靠。
[0011]更进一步地，实施例可以便于提供和与ML模型的输出或结果相关联的不确定性有关的附加信息。
[0012]因此，所提出的实施例对于优选指示已部署(例如，客户端侧)ML模型输出的感知准确性或可靠性的应用可能特别有利。通过示例，这在医疗保健领域可能尤为重要，其中医疗从业人员需要了解并评估ML模型结果(并相应接受或调整ML模型的决策)。
[0013]不同于传统ML模型(这些ML模型可以设有例如由模型提供者提供的全局/一般置信度水平的指示)，所提出的实施例可以提供特定于输入数据(例如，单个医疗案例)的置信度度量。
[0014]因而，可以提供超越简单突出显示通用或全局置信度水平的传统方法的概念。比如，所提出的实施例可以将置信度度量与ML模型的特定输入数据的ML模型结果/输出相关联。这可以使得能够向补充信息(诸如图像叠加和相关文本描述)提供结果，这可以允许专家(例如，临床专家、技术人员、数据分析师、工程师、医疗从业人员、放射科医生等)通过关注与更高置信度度量相关联的结果/输出来快速评估模型的结果。
[0015]实施例所采用的ML模型可以使用传统机器学习和/或图像处理技术来构建，从而利用历史数据和/或已建立的知识来提高由所提出的实施例提供的确定/结果的准确性。
[0016]实施例能够提供关于与特定输入数据(例如，图像特征或区域)相关联的结果的置信度估计(例如，不确定性的度量)。这样，实施例可以帮助标识具有高度ML模型不确定性的输入数据和/或输出结果。
[0017]因而，所提出的实施例可以标识对ML模型输出重要的输入数据(例如，医疗图像区域)，并且还将这种输入数据与可能对用户(诸如例如，医疗从业人员)有用的视觉特征(例如，具有相关文本描述的图像叠加)相关联。这可以允许用户快速且容易地验证模型的结果并且标识模型未做出正确或值得信赖的决策的情况。进一步地，实施例可以标识与每个输入数据(例如，每个医疗案例)相关联的不确定性(即，置信度度量)。例如，这可以允许用户(诸如医疗从业人员)从最不确定(即，具有最低置信度度量)的输出开始查看模型输出。
[0018]因此，所提出的实施例可以便于改进数据分析和案例诊断(例如，使之更准确和/或更容易)。还可以采用实施例来提高临床决策支持(CDS)系统的效率和/或有效性。因此，所提出的实施例可以提供改进的CDS概念。
[0019]因此，所提出的实施例可能与医疗数据分析和医疗图像分析特别相关。例如，它可能有助于标识ML模型的输入/输出数据(例如，医疗案例或医疗图像特征)，并且标识与输入数据的ML模型输出相关联的不确定性(即，置信度度量)。因此，所提出的概念还可以便于使用医疗分析对对象的健康进行准确评估或诊断。因而，输入数据可以包括例如医疗数据、医疗图像或医疗特征。此外，通过使用ML模型处理输入数据所生成的结果可以包括推理、医疗决策、诊断、判决或推荐。
[0020]在一些所提出的实施例中，确定置信度度量可以包括：确定二次结果的分布或方差的度量；以及基于所确定的分布或方差的度量来确定置信度度量。例如，确定二次结果的分布或方差的度量可以包括确定以下各项中的至少一项：二次结果的逆方差；二次结果的香农(Shannon)熵；二次结果的基尼(gini)系数；二次结果的Kullback
‑
Liebler散度；以及
二次结果的集中度度量。因此，可以采用简单的数学方法或公式来确定机器学习模型的置信度度量。因此，可以实现使用ML模型便于在复杂性降低的情况下轻而易举地实现准确和/或知情数据分析。
[0021]应当理解，可以使用各种途径、方法或功能来提供基于二次结果的置信度度量。比如，一些实施例可以采用二次结果的逆方差，而其他实施例可以采用用于度量分类数据的直方图的方法，诸如香农熵、基尼系数、Kullback
‑
Liebler(KL)散度等。可替代地或附加地，可以采用经验分布的集中度度量。
[0022]在一些实施例中，生成输入数据的多个修改实例可以包括：对输入数据应用第一空间本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于获取机器学习模型的置信度度量的方法，所述方法包括：利用所述机器学习模型处理输入数据，以生成初步结果；生成所述输入数据的多个修改实例；利用所述机器学习模型处理所述输入数据的所述多个修改实例，以生成相应的多个二次结果；以及基于所述二次结果来确定与所述初步结果有关的置信度度量。2.根据权利要求1所述的方法，其中确定置信度度量包括：确定所述二次结果的分布或方差的度量；以及基于所确定的所述分布或方差的度量来确定置信度度量。3.根据权利要求2所述的方法，其中确定所述二次结果的所述分布或方差的度量包括确定以下至少一项：所述二次结果的逆方差；所述二次结果的香农熵；所述二次结果的基尼系数；所述二次结果的Kullback
‑
Liebler散度；以及所述二次结果的集中度度量。4.根据权利要求1至3中任一项所述的方法，其中生成所述输入数据的多个修改实例包括：将第一空间弯曲变换应用于所述输入数据，以生成所述输入数据的第一修改实例。5.根据权利要求4所述的方法，还包括：将第一逆空间弯曲变换应用于针对所述输入数据的所述第一修改实例而生成的所述二次结果。6.根据权利要求1至5中任一项所述的方法，其中生成所述输入数据的多个修改实例包括：向所述输入数据添加噪声，以生成所述输入数据的第二修改实例。7.根据权利要求1至6中任一项所述的方法，其中生成所述输入数据的多个修改实例包括：将局部变形变换应用于所述输入数据，以生成所述输入数据的第三修改实例。8.根据权利要求7所述的方法，还包括：将第一逆局部变形变换应用于针对所述输入数据的所述第三修改实例而生成的所述二次结果。9.根据权利要求1至8中任一项所述的方法，其中所述机器学习模型包括以下至少一项：人...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：