对模型的输入实例的分布外检测制造技术

本发明专利技术涉及一种用于对主模型的输入实例进行分布外(OOD)检测的系统(200)。主模型从输入实例生成输出图像。OOD检测使用在与训练主模型相同的训练数据集上训练的多个辅助模型。为了对输入实例执行OOD检测，为输入实例的辅助模型的输出图像确定每像素OOD得分。像素的像素OOD得分被确定为该像素在相应的辅助模型输出图像中的相应值之间的可变性。ID实例的这种可变性通常低于OOD实例，因此提供了输入实例是否为OOD的度量。将所确定的像素OOD得分组合成总OOD得分，该总OOD得分指示输入实例相对于训练数据集是否为OOD。于训练数据集是否为OOD。于训练数据集是否为OOD。

【技术实现步骤摘要】
【国外来华专利技术】对模型的输入实例的分布外检测
专利

[0001]本专利技术涉及一种用于对模型的输入实例进行分布外检测(out
‑
of
‑
distribution)的系统，以及一种对应的计算机实现的方法。本专利技术还涉及一种用于使能分布外检测的系统，以及一种对应的计算机实现的方法。本专利技术还涉及一种计算机可读介质。

技术介绍

[0002]来自诸如MR和CT扫描仪之类的医学成像设备的数据处理流水线涉及各种复杂的图像处理操作。例如，来自扫描仪的原始数据可被转换成要供临床医生检查的图像，这是一项被称为图像重建的任务。作为另一示例，可在由医学成像设备产生的图像中识别并突出显示特定对象，这是一项被称为语义分割的任务。图像分析也可用于例如定位病理。通常，这类图像处理模型从输入实例(例如，输入图像)或以所谓的k空间表示(对于MR扫描仪)或以正弦图(对于CT扫描仪)表示的原始扫描仪数据生成输出图像。
[0003]鉴于所涉及的各种图像处理操作的复杂性，将机器可学习模型用于医学图像处理变得越来越有吸引力。可在训练数据集上自动训练这类机器可学习模型以执行各种任务，并且有希望提供比手动设计的算法更好的结果。例如，在N.Pezzotti等人的“Adaptive
‑
CS
‑
Net:FastMRI with Adaptive Intelligence”(可在https://arxiv.org/abs/1912.12259获取并通过引用并入本文)中，提出了一种用于从下采样k空间数据重建MR图像的机器可学习模型，该模型表现出优于传统方法的性能。另一个应用是低剂量CT扫描的去噪。此外，在各种其它应用领域中，例如，自主驾驶和视觉监控，提供输出图像的图像处理模型，诸如分割模型，在质量上不断地提高，并且越来越多地部署在现实生活中。
[0004]当在现实生活中应用这类机器可学习的图像处理模型时，特别是在诸如医学图像分析和自主驾驶的关键应用领域中，重要的是可依赖由图像处理模型提供的输出图像。然而，当机器可学习的图像处理模型被应用于与训练期间使用的数据太不相似的输入实例时，它们典型地不能保证提供准确的结果。太不相似的输入实例典型地被称为“分布外”(OOD)。此外，从模型的输出图像中可能无法直接观察到有什么不妥。例如，在医学成像中，已经观察到一些基于深度学习的图像处理模型可产生不同于真实解剖结构的逼真的、解剖学上看似合理的图像。因为人工制品看起来像真正的解剖结构，所以放射科医师可能无法标识它们。这可导致影响诊断的误解，降低对产品价值/质量的信心，和/或放射科医师的额外负担。
[0005]不幸的是，各种已知的OOD检测技术并不适用于以图像(与例如分类相反)为输出的图像处理模型。因此，希望能够对图像处理模型的输入实例执行OOD检测。

技术实现思路

[0006]各种实施例涉及估计要由产生输出图像的模型(例如，深度神经网络)处理的输入实例是否包含在用于训练的数据集中，并且因此，是否可预期该模型产生可靠的结果。
[0007]根据本专利技术的第一方面，提出了一种用于对主模型的输入实例进行分布外(OOD)
检测的系统。根据本专利技术的另一方面，提出了一种对主模型的输入实例进行OOD检测的计算机实施的方法。主模型可被配置为从输入实例生成输出图像。主模型可为已经或正在训练数据集上训练的机器可学习模型。为了执行OOD检测，可使用多个辅助模型。可在与训练主模型的训练数据集相同的训练数据集上训练辅助模型。在给定输入实例的情况下，可对其应用辅助模型以获取相应的辅助模型输出图像。对于每个像素，像素OOD得分可被确定为该像素在相应的辅助模型输出图像中的相应值之间的可变性。可将多个像素OOD得分组合成总OOD得分，该总OOD得分指示输入实例相对于训练数据集是否为OOD。基于总OOD得分，可生成指示输入实例是否为OOD的输出信号。
[0008]为了提供OOD检测，各个方面使用在与主模型相同的训练数据集上训练的多个辅助模型。多个辅助模型可一起被称为辅助模型的“集合”。训练数据集典型地包括多个训练输入实例和对应的训练输出图像。在给定训练输入实例的情况下，可训练主模型以产生对应的训练输出图像。可在相同的训练数据集上训练辅助模型，在这种意义上，它们可被训练以在给定相同的训练输入实例的情况下产生相同的训练输出图像，或者至少从输入产生输出(其中这些输出和输入与原始训练输出和输入相关，例如，通过按比例缩减、通道减少或另一图像处理操作)。辅助模型可使用与主模型相同的模型架构(可选地，主模型可为辅助模型中的一个)，或其变体，例如，具有较少的可训练参数的简化。例如，可通过基于其一组参数的相应随机初始化训练相同的可训练模型来训练相应的辅助模型。
[0009]通过在类似的数据上训练和/或通过使用与主模型类似的架构，在将辅助模型应用于类似于训练数据的输入实例时，可预期辅助模型表现出与主模型以及彼此基本相同的行为。因此，至少当类似于训练数据的输入实例，或者换句话说，在分布(ID)中的输入实例，被输入到辅助模型时，辅助模型通常可产生类似的结果。因此，辅助模型的输出图像的每像素方差通常较低。然而，当输入实例是分布外的(OOD)时，辅助模型没有被训练来为该输入实例提供类似的输出，并且由于它们是单独训练的，因此它们的输出图像通常具有较高的每像素方差。因此，输出图像的像素的每个单独的像素OOD得分可被认为是输入实例是否为OOD的度量，并且因此，输入实例为OOD的总体评估可通过将一个或多个像素的像素OOD得分组合成总OOD得分来获取。
[0010]因此，可按有效和准确的方式对图像生成模型执行OOD检测。相对有限数目的辅助模型足以获取精确的总OOD得分，例如，至多20或甚至至多10或至多5个辅助模型。本专利技术人已经能够用五个辅助模型获取良好的结果。有效地，因为每个像素OOD得分本身可被认为是输入实例是否为OOD的度量，并且对于有限数目的辅助模型，足够的数据可用于确定输入实例的OOD状态。此外，通过使用具有较少的可训练参数和/或较小的输入和/或较小的输出的辅助模型，可限制相对于应用主模型计算OOD得分的开销。所提供的OOD检测技术的另一个优势在于它们在很大程度上是模型不可知(model
‑
agnostic)的，例如，不依赖于主模型和/或辅助模型的特定模型架构。
[0011]根据本专利技术的另一个方面，提出了一种用于使能对主模型的输入进行分布外(OOD)检测的系统。根据本专利技术的另一方面，提出了一种对应的计算机实施的方法。在该系统和方法中，可在已经训练主模型的同一训练数据集上训练多个辅助模型。然后，辅助模型可与主模型相关联以使能OOD检测。根据本专利技术的另一方面，提出了一种计算机可读介质，其包括表示用于执行如本文所描述的计算机实施的方法的指令中的一个或多个的瞬态或
非瞬态数据，或者与主模型相关联以使能如本文所描述的OOD检测的辅助模型。
[0012]在各种实施例中，本文所描述的OOD检测技术可应用于医学图像处理。用于医学图像处理的各种模本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于对主模型的输入实例进行分布外OOD检测的系统(200)，其中所述主模型在训练数据集上被训练，所述主模型被配置为从所述输入实例生成输出图像，其中分布外表示由高于预定义阈值得分的总像素OOD得分表示的、所述输入实例和所述训练数据集之间的不相似性，所述系统包括：－数据接口(220)，用于访问表示多个辅助模型的数据(040)，所述多个辅助模型在对所述主模型的所述OOD检测中被使用，辅助模型在训练所述主模型的相同的所述训练数据集上被训练；－处理器子系统(240)，被配置为：－获取所述主模型的输入实例；－将相应的所述多个辅助模型应用于所述主模型的所述输入实例，以获取相应的辅助模型输出图像；－确定所述相应的辅助模型输出图像的多个像素的多个像素OOD得分，像素的像素OOD得分被确定为所述像素在所述相应的辅助模型输出图像中的相应值之间的可变性；－将所确定的所述多个像素OOD得分组合成总OOD得分，所述总OOD得分指示所述输入实例相对于所述训练数据集是否为OOD；－基于所述总OOD得分生成输出信号，所述输出信号指示所述输入实例是否为OOD。2.根据权利要求1所述的系统(200)，其中所述主模型被配置为从医学成像设备的输入数据确定所述输出图像，所述医学成像设备例如是CT扫描仪或MR扫描仪。3.根据权利要求2所述的系统(200)，其中所述主模型是被配置为从由所述医学成像设备产生的信号来重建所述输出图像的医学图像重建模型。4.根据权利要求2所述的系统(200)，其中所述主模型是被配置为确定定位输入图像中的病理的输出图像的医学图像分析模型。5.根据前述权利要求中任一项所述的系统(200)，其中辅助模型在所述训练数据集的按比例缩减的训练输入实例和/或按比例缩减的训练输出图像上被训练。6.根据前述权利要求中任一项所述的系统(200)，其中辅助模型包括比所述主模型更少的训练参数。7.根据前述权利要求中任一项所述的系统(200)，其中所述处理器子系统还被配置为：至少在所述OOD得分没有指示所述输入实例为OOD的情况下：－将所述主模型应用于所述输入实例以获取主模型输出图像；－输出所述主模型输出图像。8.根据前述权利要求中任一项所述的系统(200)，其中所述输出信号还指示所述辅助模型输出图像中对所述输入实例为OOD有贡献的一个或多个像素。9.根据任一前述权利要求所述的系统(200)，还包括用于将所述输出信号输出到绘制设备的输出接口(260)，所述绘制设备用于以感官可感知的方式将所述输出信号绘制给用户。10.一种用于使能对主模型的输入进行分布外OOD检测的系统(100)，其中所述主模型在训练数据集上被训练，所述主模型被配置为从所述输入实例生成输出图像，其中分布外表示由高于预定义阈值得分的总像素OOD得分表示的、所述输入实例和所述训练数据集之间的不相似性，所述系统包括：
－数据接口(120)，用于访问表示所述训练数据集的数据(030)，所述主模型在所述训练数据集上被训练；－处理器子系统(140)，被配置为：－训练多个辅助模型，辅助模型在训练所述主模型的所述训练数据集上被训练，辅助模型用于针对在所述OOD检测中使用的输入实例确定辅助模型输出图像；－将所述多个辅助模型与所述主模型相关联以使能所述OOD检测。11.根据权利...

【专利技术属性】
技术研发人员：N，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：