用于医学成像的深度学习的组织变形制造技术

本发明专利技术涉及用于医学成像的深度学习的组织变形。深度机器学习方法被用于由医学成像系统（48）进行医学图像融合（24）。这一种方法可以被用于不同应用。对于给定应用而言，使用相同的深度学习，但是利用不同的专用训练数据。所得到的深度学习的分类器响应于输入一个图像的强度以及针对该一个图像的分块相对于另一图像的位移向量来提供简化的特征向量。输出特征向量被用来确定（16）用于医学图像融合（24）的变形。

【技术实现步骤摘要】
用于医学成像的深度学习的组织变形
技术介绍
本实施例涉及医学成像。将医学图像融合在一起来协助对患者进行诊断和/或治疗。对于包括单模态和多模态的医学图像融合而言，可变形配准（deformableregistration）通常被用来补偿要被融合的图像之间的身体位置改变、器官变形和/或心脏运动、呼吸运动以及蠕动运动。可变形配准首先通过相似度度量来匹配对应的图像结构，然后基于物理或数学模型来使图像中的一个弯曲以确保该变形与实际的人体改变相一致。可变形配准可以使用弹性或流体建模、光流、生物力学建模或微分同胚映射（diffeomorphism）。可变形模型试图使变形跨越空间是平滑的，以使得相邻部分相对彼此不具有不切实际的移动。可以应用生物力学属性来实现针对特定器官或结构的实际变形。例如，对于胸部和腹部配准而言，双边滤波（bi-lateralfiltering）允许肺部、隔膜、肝脏以及胸腔之间的滑动运动。作为另一示例，对于脊柱配准而言，将刚度规划到位移更新中以避免不期望的椎骨扭曲。在又一示例中，生物力学建模被用于利用吹入法的肝脏手术。这些方法是专用的。不能将用于一种组织类型的方法推广用于其他应用，从而导致了针对不同应用的不同模型或方法。此外，这些定制的方法可能仅解决图像融合挑战的一个特定方面，并且可能不是彼此兼容的。例如，双边滤波和刚度规划是基于不同框架来实现的并且不能被一起应用。因此，对于胸部或腹部配准而言，要么允许滑动运动，要么确保椎骨刚度，但是不能同时实现两个特征。
技术实现思路
借助于简介，下文所描述的优选实施例包括用于由医学成像系统进行医学图像融合的方法、系统、指令和计算机可读介质。使用深度机器学习方法。可以将这一方法用于不同应用。对于给定应用而言，使用相同的深度学习，但是利用不同的专用训练数据。所得到的深度学习的分类器响应于输入一个图像的强度以及针对该一个图像的分块相对于另一图像的位移向量来提供简化的特征向量。输出特征向量被用来确定用于医学图像融合的变形。在第一方面中，提供了一种用于由医学成像系统进行医学图像融合的方法。将第一医学图像划分成分块。针对每个分块提取输入特征向量。输入特征向量包括：第一医学图像针对该分块的强度、该分块基于与第二医学图像的相似度的第一位移向量、第一医学图像针对该分块的邻近分块的强度、以及邻近分块基于与第二医学图像的相似度的第二位移向量。根据将输入特征向量应用到机器学习的深度分类器来确定深度学习的特征向量。根据该深度学习的特征向量来确定第一医学图像相对于第二医学图像的非刚性变形。基于该非刚性变形将第一医学图像与第二医学图像融合。在第二方面中，提供一种用于由医学成像系统进行医学图像融合的方法。获取表示患者的第一和第二扫描数据集。将由第一扫描数据集表示的解剖结构相对于由第二扫描数据集表示的解剖结构进行变形。利用机器学习的深度神经网络来确定将第一和第二扫描数据集的解剖结构进行对齐的变形场。根据该第一和第二扫描数据集以及该变形场来生成医学图像。在第三方面中，提供了一种用于医学图像融合的系统。至少一个医学成像系统被配置成获取表示患者的第一和第二数据。将以第一数据表示的组织相对于以第二数据表示的组织进行移位。图像处理器被配置成通过应用深度学习的神经网络来将第一数据的组织与第二数据配准。显示器被配置成基于该配准来显示图像。由以下权利要求来限定本专利技术，并且这一部分中的内容不应当被理解为是对那些权利要求的限制。本专利技术另外的方面和优点在下文结合优选实施例进行讨论，并且可以之后独立地或以组合形式被要求保护。附图说明组成部分和附图不一定是按比例的，而是将重点置于图示本专利技术的原理。此外，在附图中，遍及不同视图，相同的附图标记标明对应的部分。图1是用于由医学成像系统进行医学图像融合的方法的一个实施例的流程图；图2图示了示例医学图像中的示例分块；图3图示了示例深度机器学习的分类器的层；以及图4是用于医学图像融合的系统的一个实施例。具体实施方式为医学图像融合提供深度学习的组织特定的变形。深度学习的变形模型可以被用于不同的组织属性。由于深度神经网络的通用性和优秀的学习能力，可以在没有特定修改或重新设计的情况下，将这样的基于深度学习的方法应用到广泛范围的应用。通过改变训练数据而不是改变用以创建模型的方法，为不同应用提供深度学习的变形模型。在一个实施例中，深度学习的神经网络估计用于医学图像融合的人体移动和变形。可以将该方法有效地且高效地推广到不同的临床实例。利用处理来自深度神经网络的大量数据的能力，可以针对未满足的临床需要提供在开发专用模型方面的令人满意的吞吐量。图1示出了用于由医学成像系统进行医学图像融合的方法的一个实施例的流程图。为了组合来自不同时间和/或利用不同模态的医学成像，在空间上对图像进行配准。使一个图像变形以计及由于运动引起的失真。用于图像融合的变形是基于深度机器学习的分类的。由图4的系统或另一系统来实现该方法。例如，利用一个或多个医学成像系统或扫描仪来实现动作12。由图像处理器来实现动作12、16（包括动作18、20和22）和24，该图像处理器诸如是下述各项的图像处理器：计算机断层扫描（CT）系统、磁共振（MR）系统、正电子发射断层扫描（PET）系统、超声系统、单光子发射计算机断层扫描（SPECT）系统、x射线系统、血管造影系统或荧光镜检查成像系统。作为另一示例，在图片存档及通信系统（PACS）工作站上实现或者由服务器实现该方法。其他动作使用与用于配准和图像融合的其他设备的交互。以示出的顺序（即，从上到下或数字顺序）或其他顺序来实行动作。例如，为不同图像在不同时间实行动作12，所以可以在动作14之后部分地实行动作12。可以提供附加的、不同的或更少的动作。例如，使用动作12、14、16和/或24但利用不同子的动作（例如，18、20和/或22）来实行该方法。作为另一示例，并没有提供动作24，而是改为将配准用来控制或提供其他反馈。在动作12中，一个或多个医学成像扫描仪或系统获取扫描数据集。通过对患者进行扫描来获取扫描数据集。替换地，图像处理器从一个或多个存储器、数据库、扫描仪和/或经由通过计算机网络进行的传送来获取扫描数据集。对来自先前实行的扫描的扫描数据集进行取回。每个集合来自不同的时间和/或模态。例如，一个扫描数据集来自先前的患者探访，诸如数周、数月或数年之前。在每次探访时，相同的或不同的扫描仪使用相同的或不同的设置来对患者进行扫描。在另一示例中，使用不同的扫描仪模态，诸如用于手术前扫描的CT或MRI以及手术期间的超声或x射线。可以使用任何类型的扫描数据以及对应的扫描仪模态。CT扫描仪、x射线扫描仪、MR扫描仪、超声扫描仪、PET扫描仪、SPECT扫描仪、荧光镜检查扫描仪、血管造影扫描仪或其他扫描仪中的任何一个提供表示患者的扫描数据。通过使用来自不同时间的扫描数据，可以查看随时间的改变。通过使用不同模态，可以提供不同类型的组织响应。在来自不同模态的图像融合中，可以产生多于一个模态的益处。例如，一个模态相比另一个模态可以具有更好的分辨率，但是另一个模态可以实时地提供信息。可以将以一个扫描数据集表示的组织或解剖结构相对于以另一扫描数据集表示的组织或解剖结构进行变形。例如，一个位置在一个扫描数据集中可能是本文档来自技高网...

【技术保护点】
1.一种用于由医学成像系统进行医学图像融合的方法，所述方法包括：将第一医学图像划分（14）成分块；针对每个分块，提取（18）输入特征向量，所述输入特征向量包括所述第一医学图像针对所述分块的强度、所述分块基于与第二医学图像的相似度的第一位移向量、所述第一医学图像针对所述分块的邻近分块的强度、以及所述邻近分块基于与所述第二医学图像的相似度的第二位移向量；根据将所述输入特征向量应用到深度机器学习的分类器来生成（20）深度学习的特征向量；根据所述深度学习的特征向量来确定（22）所述第一医学图像相对于所述第二医学图像的非刚性变形；以及基于所述非刚性变形将所述第一医学图像与所述第二医学图像融合（24）。

【技术特征摘要】
2017.06.20 US 15/6278401.一种用于由医学成像系统进行医学图像融合的方法，所述方法包括：将第一医学图像划分（14）成分块；针对每个分块，提取（18）输入特征向量，所述输入特征向量包括所述第一医学图像针对所述分块的强度、所述分块基于与第二医学图像的相似度的第一位移向量、所述第一医学图像针对所述分块的邻近分块的强度、以及所述邻近分块基于与所述第二医学图像的相似度的第二位移向量；根据将所述输入特征向量应用到深度机器学习的分类器来生成（20）深度学习的特征向量；根据所述深度学习的特征向量来确定（22）所述第一医学图像相对于所述第二医学图像的非刚性变形；以及基于所述非刚性变形将所述第一医学图像与所述第二医学图像融合（24）。2.根据权利要求1所述的方法，其中划分（14）所述第一医学图像包括：将表示体积的扫描数据划分（14）成分块，所述分块表示所述体积的子体积。3.根据权利要求1所述的方法，其中提取（18）第一和第二位移向量包括：测试所述分块与所述第二医学图像的不同偏移量的相似度，以及将具有最大相似度的偏移量选择为位移向量。4.根据权利要求3所述的方法，其中测试所述相似度包括：实行对所述相似度的互相关、交互信息、绝对差的最小和或者K-L距离测量。5.根据权利要求3所述的方法，其中测试所述相似度包括：利用深度学习的相似度测量来进行测量。6.根据权利要求1所述的方法，其中生成（20）包括：生成（20）所述深度学习的特征向量作为深度学习的分类器的输出，所述深度学习的特征向量具有比所述输入特征向量更低的维度。7.根据权利要求1所述的方法，其中确定（22）包括：将所述深度学习的特征向量与具有已知变形的训练变形的数据库进行匹配，所述非刚性变形是具有最佳匹配的已知变形。8.根据权利要求1所述的方法，其中确定（22）包括：利用聚类来拟合所述深度学习的特征向量，所述非刚性变形来自经拟合的集群。9.根据权利要求1所述的方法，其中确定（22）包括：确定（22）为所述深度机器学习的分类器的输出。10.根据权利要求1所述的方法，其中融合（24）包括：利用所述非...

【专利技术属性】
技术研发人员：张莉，
申请(专利权)人：西门子保健有限责任公司，
类型：发明
国别省市：德国,DE