用于改进的AI性能的域外检测制造技术

用于改进的AI性能的域外检测。提供了用于确定输入数据在基于AI（人工智能）的系统的域外的系统和方法。接收用于输入到基于AI的系统中的输入数据。对基于AI的系统的域内特征空间和基于AI的系统的域外特征空间进行建模。域内特征空间对应于基于AI的系统被训练来分类的数据的特征。域外特征空间对应于基于AI的系统未被训练来分类的数据的特征。在域内特征空间和域外特征空间中针对输入数据和针对基于AI的系统被训练来分类的数据生成概率分布函数。基于针对输入数据和针对基于AI的系统被训练来分类的数据的概率分布函数来确定输入数据是否在基于AI的系统的域外。是否在基于AI的系统的域外。是否在基于AI的系统的域外。

【技术实现步骤摘要】
用于改进的AI性能的域外检测


[0001]本专利技术一般地涉及改进的AI（人工智能）性能，并且特别地涉及用于改进的AI性能的域外（out
‑
of
‑
domain）检测。

技术介绍

[0002]基于AI（人工智能）的系统通常被部署以使通常由用户手动执行的任务自动化。例如，在医学成像分析中，基于AI的系统可以被部署用于基于患者的医学图像的检测、量化和临床决策制定。基于AI的系统的真实世界部署（real world deployment）越来越多地遇到训练数据集中未呈现的场景，从而导致差的性能。这样的场景的一些示例是具有不同质量的程度的医学图像或者其中感兴趣的对象出现在不同位置、取向、比例、或者全部或部分视图中的医学图像的分析。虽然改进和扩展训练数据集或采用数据增强技术可能有助于提高基于AI的系统的鲁棒性，但基于AI的系统实际上无法被训练来解决它们可能遇到的每种场景。一种解决方案是让用户手动审阅（review）基于AI的系统的结果。然而，用户将不得不以完全自动化为代价来审阅基于AI的系统的所有结果。

技术实现思路

[0003]根据一个或多个实施例，提供了用于域外检测的系统和方法，以检测在用于训练基于AI的系统的训练数据的分布之外的基于AI的系统的输入数据。接收用于输入到基于AI的系统中的输入数据。对基于AI的系统的域内（in
‑
domain）特征空间和基于AI的系统的域外特征空间进行建模。域内特征空间对应于基于AI的系统被训练来分类的数据的特征。域外特征空间对应于基于AI的系统未被训练来分类的数据的特征。在域内特征空间和域外特征空间中针对输入数据和针对基于AI的系统被训练来分类的数据生成概率分布函数。基于针对输入数据和针对基于AI的系统被训练来分类的数据的概率分布函数，确定输入数据是否在基于AI的系统的域外。
[0004]在一个实施例中，根据基于AI的系统的一个或多个域内线性投影矩阵来计算域内特征空间。根据基于AI的系统的一个或多个域内线性投影矩阵来计算针对域外特征空间的一个或多个正交线性投影矩阵。基于针对域外特征空间的一个或多个正交线性投影矩阵来计算域外特征空间。在一个实施例中，使用高斯过程模型或适于可用数据的高斯概率分布模型的组合来生成概率分布函数。
[0005]在一个实施例中，响应于确定输入数据在基于AI的系统的域外，向用户传输通知，以审阅由基于AI的系统根据输入数据生成的预测。在另一个实施例中，响应于确定输入数据在基于AI的系统的域外，对输入数据进行注释，并且基于注释的输入数据来训练基于AI的系统。在另一个实施例中，响应于确定输入数据不在基于AI的系统的域外，由基于AI的系统根据输入数据生成预测。
[0006]在一个实施例中，接收、建模、生成和确定由与基于AI的系统组合的模块来执行，并且与基于AI的系统组合的模块根据输入数据以及输入数据是否在基于AI的系统的域外
的确定来生成预测。
[0007]在一个实施例中，基于所述确定来选择基于AI的系统的多个算法之一（例如，通过选择其中输入数据在域内的算法）。基于AI的系统可以用于医学成像分析。
[0008]通过参考以下详细描述和附图，本专利技术的这些和其他优点对于本领域中的普通技术人员将是显而易见的。
附图说明
[0009]图1示出了根据一个或多个实施例的用于检测域外输入数据的方法；图2示出了根据一个或多个实施例的基于AI的系统的特征空间的示例性模型；图3示出了根据一个或多个实施例的数据被分类为域内的概率的图像；图4示出了根据一个或多个实施例的用于实现与基于AI的系统分离的域外检测器模块的工作流程；图5示出了根据一个或多个实施例的用于实现与基于AI的系统组合的域外检测器模块的工作流程；图6示出了根据一个或多个实施例的用于实现域外检测器模块的工作流程，该域外检测器模块基于输入数据和由基于AI的系统根据输入数据生成的预测两者来确定输入数据是否在基于AI的系统的域外；图7示出了根据一个或多个实施例的用于对输入数据进行注释的工作流程，所述输入数据用于基于由域外检测器模块确定输入数据是否在基于AI的系统的域外来对基于AI的系统进行训练；图8示出了可以用于实现一个或多个实施例的示例性人工神经网络；图9示出了可以用于实现一个或多个实施例的卷积神经网络；以及图10示出了可以用于实现一个或多个实施例的计算机的高级框图。
具体实施方式
[0010]本专利技术一般地涉及用于改进的AI（人工智能）性能的域外检测的方法和系统。本文中描述了本专利技术的实施例，以给出对这样的方法和系统的视觉理解（visual understanding）。数字图像通常由一个或多个对象（或形状）的数字表示组成。对象的数字表示在本文中通常根据标识和操纵对象来描述。这样的操纵是在计算机系统的存储器或其他电路/硬件中完成的虚拟操纵。因此，要理解，本专利技术的实施例可以使用存储在计算机系统内的数据在计算机系统内执行。
[0011]本文中所述的实施例提供了域外检测器，用于检测要被输入到基于AI的系统中的输入数据是否在训练数据的分布，所述基于AI的系统在所述训练数据上训练。当应用于域外输入数据时，基于AI的系统可能具有相对差的性能。因此，域外输入数据可以被标记以通知用户基于AI的系统在基于AI的系统的域外。在一些实施例中，域外输入数据也可以用于重新训练基于AI的系统，以增加鲁棒性并改进性能。
[0012]图1示出了根据一个或多个实施例的用于检测域外输入数据的方法100。方法100的步骤可以由一个或多个合适的计算设备来执行，所述计算设备诸如例如图10的计算机1002。
[0013]在图1的步骤102处，接收用于输入到基于AI的系统的输入数据。在一个示例中，基于AI的系统用于执行医学成像分析任务，诸如例如检测、量化和临床决策制定。基于AI的系统可以是用于根据输入数据生成输出的任何合适的系统。在一个实施例中，基于AI的系统包括基于机器学习的系统（例如，神经网络）。
[0014]输入数据可以是任何合适的数据。在一个实施例中，输入数据包括患者的医学图像。医学图像可以具有任何合适的模态（modality），诸如例如CT（计算断层摄影术）、MRI（磁共振成像）、超声、x射线或任何其他医学成像模态或医学成像模态的组合。医学图像可以是2D（二维）图像和/或3D（三维）体积，并且可以包括单个输入医学图像或多个输入医学图像。在另一个实施例中，输入数据包括患者的临床数据，诸如例如病史、人口统计、实验室结果等。
[0015]可以通过从计算机系统（例如，EMR（电子病历）系统或PACS（图片存档和通信系统））的存储装置或存储器加载先前获取的数据，或者通过接收已经从远程计算机系统传输的数据，来接收输入数据。在输入数据包括医学图像的情况下，可以在获取医学图像时直接从图像获取设备接收医学图像。
[0016]在图1的步骤104处，对基于AI的系统的域内特征空间和基于AI的系统的域外特征空间进行建模。域内特征空间对应于基于AI本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：接收用于输入到基于AI（人工智能）的系统中的输入数据；对基于AI的系统的域内特征空间和基于AI的系统的域外特征空间进行建模，域内特征空间对应于基于AI的系统被训练来分类的数据的特征，并且域外特征空间对应于基于AI的系统未被训练来分类的数据的特征；在域内特征空间和域外特征空间中针对输入数据和针对基于AI的系统被训练来分类的数据生成概率分布函数；以及基于针对输入数据和针对基于AI的系统被训练来分类的数据的概率分布函数来确定输入数据是否在基于AI的系统的域外。2.根据权利要求1所述的方法，其中对基于AI的系统的域内特征空间和基于AI的系统的域外特征空间进行建模包括：根据基于AI的系统的一个或多个域内线性投影矩阵来计算域内特征空间；根据基于AI的系统的一个或多个域内线性投影矩阵来计算针对域外特征空间的一个或多个正交线性投影矩阵；以及基于针对域外特征空间的一个或多个正交线性投影矩阵来计算域外特征空间。3.根据权利要求1所述的方法，其中在域内特征空间和域外特征空间中针对输入数据和针对基于AI的系统被训练来分类的数据生成概率分布函数包括：使用高斯过程模型或适于可用数据的高斯概率分布模型的组合来生成概率分布函数。4.根据权利要求1所述的方法，进一步包括：响应于确定所述输入数据在基于AI的系统的域外，向用户传输通知以审阅由基于AI的系统根据所述输入数据生成的预测。5.根据权利要求1所述的方法，进一步包括：响应于确定输入数据在基于AI的系统的域外：对输入数据进行注释；以及基于注释的输入数据来训练基于AI的系统。6.根据权利要求1所述的方法，进一步包括：响应于确定输入数据不在基于AI的系统的域外，由基于AI的系统根据输入数据生成预测。7.根据权利要求1所述的方法，其中，接收、建模、生成和确定由与基于AI的系统组合的模块来执行，并且与基于AI的系统组合的模块根据输入数据以及输入数据是否在基于AI的系统的域外的确定来生成预测。8.根据权利要求1所述的方法，进一步包括：基于所述确定来选择基于AI的系统的多个算法之一。9.根据权利要求1所述的方法，其中所述基于AI的系统用于医学成像分析。10.一种装置，包括：用于接收用于输入到基于AI（人工智能）的系统中的输入数据的装置；用于对基于AI的系统的域内特征空间和基于AI的系统的域外特征空间进行建模的装置，域内特征空间对应于基于AI的系统被训练来分类的数据的特征，并且域外特征空间对应于基于AI的系统未被训练来分类的数据的特征；
用于在域内特征空间和域外特征空间中针对输入数据和针对基于AI的系统被训练来分类的数据生成概率分布函数的装置；以及用于基于针对输入数据和针对基于AI的系统被训练来分类的数据的概率分布函数来确定输入数据是否在基于AI的系统的域外的装置。11.根据权利要求10所述的装置，其中用于对基于AI的系统的域内特征空间和基于AI的系统的...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：西门子医疗有限公司，
类型：发明
国别省市：