经由降维投影的图像结构的检测制造技术

一种用于计算机实现的医学图像处理的系统和相关方法。该方法可以包括接收(S720)输入数据的步骤，该输入数据包括由医学成像设备生成的三维3D或更高维图像体积的投影。该方法可以包括通过使用经过训练的机器学习模型(M)来处理(S740)输入数据，以便于计算感兴趣的结构在3D体积中的位置。该方法可以包括输出(S760)指示所述位置的输出数据。指示所述位置的输出数据。指示所述位置的输出数据。

【技术实现步骤摘要】
【国外来华专利技术】经由降维投影的图像结构的检测


[0001]本专利技术涉及计算机实现的医学图像处理方法、用于在这种方法中使用的训练机器学习模型的方法、生成用于训练机器学习模型的训练数据的方法、对应的计算机程序、存储任一个这样的程序的非瞬态程序存储介质和用于执行任一个这样的程序的计算机以及包括电子数据存储装置和前述计算机的医疗系统。

技术介绍

[0002]医学成像是现代医学武器库中最重要的工具之一。根据哈佛医学院的一份报告(在https://www.health.harvard.edu/cancer/radius
‑
risko
‑
from
‑
medical
‑
imaging处可在线获得)，美国已经进行了8000万次CT扫描，而1980年只有300万次。
[0003]医学成像允许以非侵入性和无痛的方式收集表示患者体内的内部解剖结构、组织或器官的图像信息，从而支持诊断和/或治疗。临床医生可使用许多医学成像应用，不仅基于CT或基于x射线的应用，还包括磁共振成像、发射型医学成像(例如SPECT和PET)等。多年来，医学成像已经得到发展，现在生成包括3D或4D影像(imagery)的高维度(“高维”)图像数据。
[0004]这样的高维图像体积是复杂的数据集成物，特别是对于医学新手来说，对它们进行导航可能并不容易，而在诸如创伤室中的压力情况下，对于更有经验的用户来说也是如此。特别地，找到已取得的表示感兴趣的区域的图像结构可能不是一件简单的事情。例如，对于放射治疗计划来说，在这种高维图像数据中精确定位可能不简单，但是对于成功地迫使癌症进入衰退更为重要。在其他应用中(例如医疗干预中)可能需要基于这样的高维影像的计划或实时的导航。
[0005]可以使用各种计算工具来定位这样的结构。最近已经使用了机器学习。然而，机器学习(尤其是在消耗高维数据时)可能需要相当大量的存储空间和/或CPU开销，这可能会使这些新的基于ML的计算方法中的一些对于一些人来说遥不可及，或者使它们在时间关键的应用(例如，需要接近实时结果的所述干预)中不切实际。
[0006]因此，可能需要改进在高维(至少3D)影像中的定位，特别是在医学领域中。
[0007]在下文中公开了本专利技术的方面、示例和示例性步骤及其实施方式。本专利技术的不同示例性特征在技术上有利和可行的情况下可以根据本专利技术进行组合。

技术实现思路

[0008]本专利技术的示例性简短描述
[0009]在下文中，给出了本专利技术的具体特征的简短描述，该简短描述不应被理解为将本专利技术仅限于该部分中描述的特征或特征的组合。
[0010]在所提出的方法和系统中，不是按原样处理高维影像，而是首先通过投影操作对高维影像进行降维以获得(一个或多个)较低维投影。然后将该(一个或多个)投影馈送到经过训练的机器学习模型中以通过内存和时间节省的方式从中计算感兴趣的结构在高维体
积内的位置。这允许甚至在普通的计算机设备上使用强大的机器学习模型，或者允许较低的内存消耗和较高的吞吐量，这可能是有益的，特别是在例如一直繁忙的临床环境中。
[0011]本专利技术的总体描述
[0012]在第一方面，提供了一种计算机实现的医学图像处理方法，其包括：
[0013]a)接收输入数据，该输入数据包括由医学成像设备生成的至少3D图像体积的至少一个投影；
[0014]b)通过使用至少经过训练的机器学习模型(M)来处理输入数据，以至少便于计算感兴趣的结构在3D体积中的位置；以及
[0015]c)输出指示所述位置的输出数据。
[0016]在至少3D图像体积中的输出位置可以包括点坐标、一组坐标、边界框、分割等。如果体积是较高维度的3D，则投影具有诸如2D的空间维度。因此，投影是体积中的空间信息的较低维度的表示。投影优选至少为2D。
[0017]在实施方式中，输入数据包括在不同的投影几何下的多个这样的投影，并且所述处理包括在通过经过训练的机器学习模型计算的多个投影中对结构或其相应位置的投影足迹进行反向投影。每个投影可能有至少一个这样的投影足迹(或视图)。
[0018]因此，该方法可以基于机器学习(ML)端对端地计算位置，或者ML模型可以产生初步结果(与图像体积的维度相比的较低维投影中的较低维足迹的位置)，然后对这些初步结果进行反向投影以找到高维体积中的位置。
[0019]单个投影可能足以使模型在3D或更高维体积中找到位置。特别地，可以使用上下文的患者数据(诸如生物特征、病史等)并且可以将它与单个或多个投影共同处理以提升ML性能。
[0020]模型可以是人工神经网络类型，特别是例如卷积神经网络(CNN)。已经观察到这样的CNN产生了良好的结果，特别是用于处理空间数据，例如本文主要感兴趣的图像数据。
[0021]在实施方式中，处理可以包括将投影足迹的反向投影位置组合到3D位置中。组合可以包括求平均、计算重心、三角测量或对形状基元模型进行拟合以获得位置。位置可以被定义为形状基元的明确定义的点，例如其中心点、拐角点等。例如，可以使用椭圆/椭球体、圆/球体等作为形状基元。组合可包括基于反向投影的基于共识的程序。反向投影可以包括体积中(例如线性投影中)的3D线，但是可以包括更一般的曲线、表面或体积元素，特别是(但不仅仅是)在使用非线性投影操作时。足迹的(一个或多个)位置可以是点坐标、一组坐标、边界框、分割等。
[0022]在实施方式中，处理可以包括调整所计算的位置以与投影足迹一致。特别地，一种这样的一致性可能要求反向投影以在单个点处相交。如果发现它们不在单个点处相交，则可以改变投影几何，并且模型在一次或多次迭代中计算更新的位置，直到实现充分的一致性。可能不需要所有感兴趣的反向投影都相交。至少两个反向投影集(诸如两条线)的相交可以被认为是充分的。
[0023]在实施方式中，该方法包括将输出数据提供用于附加处理，所述附加处理包括以下各项中的一项：i)基于输出数据将3D体积或其至少一部分登记在图谱集上，ii)在显示装置上显示输出数据，iii)将输出数据存储在存储器中，iv)在放射治疗系统中处理输出数据，v)基于输出数据控制医疗装置。
[0024]在实施方式中，该方法包括基于以下各项中的一项来选择至少一个多个投影中的至少一个：i)通过机器学习模型处理的较早的一个或多个投影，以及ii)基于感兴趣的结构的所接收到的投影中的至少一个的投影几何。
[0025]可以在一次或多次迭代中调整投影几何，直到投影足迹满足预定的目标，例如与周围结构的充分分离。边缘梯度阈值化可以用于定义分离优度。
[0026]在实施方式中，不同的投影几何包括不同的投影方向，但是可以替代地包括其他变化，诸如投影模式、正交、平行、中心等或视点和投影表面之间的变化距离。通常，改变投影几何可以包括改变体积中的体素对投影中的数据点的贡献方式，和/或(重新)定义这样的体素将贡献哪些(如果有的话)。
[0027]在实施方式中，感本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的医学图像处理方法，其包括：a)接收(S720)输入数据，所述输入数据包括由医学成像设备生成的至少三维3D图像体积的至少一个投影；b)通过使用至少经过训练的机器学习模型(M)来处理(S740)所述输入数据，以至少便于计算感兴趣的结构在所述3D体积中的位置；以及c)输出(S760)指示所述位置的输出数据。2.根据权利要求1所述的方法，其中，所述输入数据包括在不同的投影几何下的多个这样的投影，并且所述处理(S740)包括：在通过所述经过训练的机器学习模型所计算的所述多个投影中对所述结构或其相应位置的投影足迹进行反向投影。3.根据权利要求1或2所述的方法，其中，所述处理(S740)包括：将所述投影足迹的位置组合到所述位置中。4.根据前述任一项权利要求所述的方法，其中，所述方法包括将所述输出数据提供用于附加处理(S760)，所述附加处理包括以下各项中的一项：i)基于所述输出数据将所述3D体积或其至少一部分登记在图谱集上，ii)在显示装置上显示所述输出数据，iii)将所述输出数据存储在存储器中，iv)在放射治疗系统中处理所述输出数据，v)基于所述输出数据控制医疗装置。5.根据前述任一项权利要求所述的方法，其中，所述方法包括基于以下各项中的一项来选择(S710)所述至少一个多个投影中的至少一个：i)通过所述机器学习模型处理的较早的一个或多个投影，以及ii)基于所述感兴趣的结构的所接收到的投影中的至少一个的所述投影几何。6.根据前述权利要求2至5中任一项所述的方法，其中，所述不同的投影几何包括不同的投影方向。7.根据前述任一项权利要求所述的方法，其中，所述模型包括人工神经网络模型。8.根据前述任一项权利要求所述的方法，其中，所述感兴趣的结构是哺乳动物脊柱的至少一部分。9.根据前述任一项权利要求所述的方法，其中，所述医学成像设备是断层摄影类型。10.根据前述任一项权利要求所述的方法，其中，所述成...

【专利技术属性】
技术研发人员：安德烈亚斯，
申请(专利权)人：博医来股份公司，
类型：发明
国别省市：