用于医学成像中的患者定位的根据相机数据的密集身体标记估计制造技术

机器学习用来训练网络以根据患者的表面图像来估计患者的三维（3D）身体表面和身体区。患者的所估计的3D身体表面用来确定患者的等中心点。所估计的身体区用来生成热图，所述热图表示患者的可见身体区边界和未见的身体区边界。3D身体表面的估计、所确定的患者等中心点以及所估计的身体区边界可帮助规划医学扫描，包括自动患者定位。

【技术实现步骤摘要】
用于医学成像中的患者定位的根据相机数据的密集身体标记估计
本教导一般涉及根据相机数据而对患者身体表面的估计，并且更具体地涉及在医学成像期间的患者定位。
技术介绍
医学成像技术——包括但不限于计算机断层扫描（CT）、磁共振（MR）、正电子发射断层扫描（PET）、单光子发射计算机断层扫描（SPECT）数据等等——依赖于恰当的患者定位，其包括标识医学成像器的患者台上的患者的位置和/或针对患者的移动进行校正。在一些情况中，传感器（诸如相机）可以被安装到医学成像设备以在医学成像扫描期间提供患者位置和移动数据。然而，传感器可以用这样的方式被安装到医学成像器，使得传感器提供受限的视场，其限制在医学成像扫描期间对这样的图像的使用和分析。另外，当前的系统需要操作者执行对可移动的患者台或床的一个或多个调整，以在发起医学成像扫描之前恰当地定位患者。不恰当的定位可导致医学图像中的误差或伪像。涉及操作者调整的手动患者定位过程可以是耗时、昂贵的，并且需要操作者花费时间远离其它任务来执行这样的调整。
技术实现思路
本专利技术的范围仅仅由所附权利要求来限定，并且不在任何程度上受本
技术实现思路
内的陈述所影响。根据本教导，描述了一种用于根据从临床环境（例如CT扫描室）中的传感器（例如相机）所捕获的数据来估计患者的三维（3D）身体表面的途径。机器学习用来训练网络以根据表面数据（诸如患者的表面图像）来估计身体标记，并且基于所估计的身体标记来重构3D身体表面。3D身体表面重构包括定位患者的表面图像，向表面图像像素指派分类，以及确定表面图像像素的3D表面坐标。所估计的3D身体表面用来确定患者的等中心点（isocenter）。患者的3D身体表面在医学成像扫描仪（例如CT扫描仪）的坐标系内被估计，并且可以在多种应用（例如包括但不限于使患者定位过程自动化、避免定位误差以及增大扫描仪使用效率）中被使用。还描述了用于根据从临床环境中的传感器所捕获的数据来估计患者的身体区的途径。机器学习用来训练网络来估计患者的身体区、或身体区边界（例如头部、颈部、肩部、臀部、腹股沟、膝盖、脚踝等等）。机器学习还用来生成热图（例如高斯热图），其表示患者的可见以及未见的身体区边界。在第一方面中，提供了一种方法以估计位于医学成像系统中的可移动的患者台上的患者的3D身体表面。传感器捕获患者的表面图像的序列。处理器响应于表面图像向经机器学习的网络的输入而通过经机器学习的网络来估计患者的3D身体表面。所述处理器基于患者的所估计的3D身体表面并且基于可移动的患者台的位置来确定患者的等中心点。所述处理器基于所确定的患者等中心点、经由可移动的患者台来定位患者。在第二方面中，提供一种医学成像系统以估计患者的3D身体表面。传感器被配置成捕获患者的表面图像的序列。处理器被配置成将经机器学习的神经网络应用到表面图像的序列。经机器学习的神经网络被训练以根据表面图像的序列来估计患者的3D身体表面。处理器还被配置成基于所估计的患者的3D身体表面来确定患者的等中心点。可移动的患者台被配置成基于所确定的患者等中心点并且基于可移动的患者台的位置来自动地定位患者。在第三方面中，提供了一种方法以估计位于医学成像系统中的可移动的患者台上的患者的身体区。传感器捕获患者的表面图像的序列。处理器响应于表面图像向经机器学习的网络的输入而通过经机器学习的网络来估计患者的身体区。处理器还响应于表面图像向经机器学习的网络的输入而通过经机器学习的网络来生成高斯热图。高斯热图表示沿着可移动的患者台的纵轴的患者的可见和未见的身体区边界。上述方面中的任何一个或多个可以单独或以组合来被使用。从对优选实施例的以下详细描述中，这些和其它方面、特征和优点将变得显而易见，所述详细描述将结合附图来被阅读。本专利技术由下面的权利要求来限定，并且本章节中没有什么应当被理解为对那些权利要求的限制。本专利技术的另外的方面和优点在以下结合优选实施例来被讨论，并且可以稍后独立地或组合地被要求保护。附图说明部件和图不一定是按比例的，代替地强调被置于说明实施例的原理上。此外，在各图中，相似的参考数字贯穿不同的视图指明对应的部分。图1图示了用于估计患者的3D身体表面的医学成像系统的一个实施例以及靠近医学成像系统的扫描仪台架（gantry）的传感器的示例性设置；图2示出了由图1的传感器所捕获的图像的示例性序列；图3是用于估计位于医学成像系统中的可移动的患者台上的患者的3D身体表面的方法的一个实施例的流程图图解；图4图示了身体部分分区的示例；图5图示了用于估计3D身体表面的示例性网络设计；图6图示了用于被应用到2D视频序列的身体标记估计的示例性递归网络；图7是用于估计位于医学成像系统中的可移动的患者台上的患者的身体区的方法的一个实施例的流程图图解；图8图示了图7的方法的一个实施例；图9图示了被应用到2D视频序列的示例性递归患者身体区估计网络；图10是用于通过使用扫描仪台架来对非固有相机参数的自校准的图像预处理的示例；图11示出了通过使用扫描仪台架来对非固有相机参数的自校准中的椭圆检测的示例；图12示出了在通过使用扫描仪台架对非固有相机参数的自校准中被投影到图像中的所估计的圆圈中心和法线；以及图13图示了使用示例性的校准方法而对图像拼接结果的改进。具体实施方式本文中所公开的实施例解决与医学成像中的患者定位和监视相关联的挑战，所述医学成像诸如计算机断层扫描（CT）、磁共振（MR）、正电子发射断层扫描（PET）、单光子发射计算机断层扫描（SPECT）等等。从被安装到成像设备的外表面或相对于成像设备的外表面所安装的传感器（诸如相机）所获得的二维（2D）图像的序列用来在发起医学成像程序之前自动地定位患者，以及在所述程序期间监视患者移动，以及如果必要的话重定位患者。本文中所公开的实施例可以被使用在用于通过使用CT、MR、PET或SPECT扫描仪的患者扫描的自动化工作流中。在用于通过使用这些类型的扫描仪的患者扫描的典型工作流中，放射科医师/技术员首先通过从侧面视点观察患者轮廓来粗略地估计扫描区的患者等中心点，然后对准所估计的患者等中心点与扫描仪台架中心，所述扫描仪台架中心通常由激光投影所反映。如果完美地进行了对准，则将实现最佳成像品质。然而，由放射科医师/技术员所完成的当前的对准可能是不准确且不一致的。本文中所公开的实施例可以用来估计患者的3D身体表面，其将进一步用来自动地确定患者的等中心点并且对区进行扫描。相比于由放射科医师/技术员所使用的传统工作流，这可以提供对等中心点的更准确并且一致的估计，从而导致在诊断上更有用的图像。另外，在用于使用CT或PET扫描仪的患者扫描的典型工作流中，例如，首先利用扫描仪来生成定位标志（topogram）（x-射线）图像以帮助放射科医师确定必要的扫描区。本文中所公开的实施例可以用来根据通过使用传感器（诸如相机）所获得的表面图像来估计患者的3D身体表面，并且可以代替定位标志来本文档来自技高网...

【技术保护点】
1.一种用于估计位于医学成像系统中的可移动的患者台上的患者的三维（3D）身体表面的方法，所述方法包括：/n利用传感器来捕获患者的表面图像的序列；/n由处理器响应于表面图像向经机器学习的网络的输入而通过经机器学习的网络来估计患者的3D身体表面；/n由所述处理器基于患者的所估计的3D身体表面并且基于可移动的患者台的位置来确定患者的等中心点；以及/n由所述处理器基于所确定的患者等中心点、经由可移动的患者台来定位患者。/n

【技术特征摘要】
20190207 US 16/2697321.一种用于估计位于医学成像系统中的可移动的患者台上的患者的三维（3D）身体表面的方法，所述方法包括：
利用传感器来捕获患者的表面图像的序列；
由处理器响应于表面图像向经机器学习的网络的输入而通过经机器学习的网络来估计患者的3D身体表面；
由所述处理器基于患者的所估计的3D身体表面并且基于可移动的患者台的位置来确定患者的等中心点；以及
由所述处理器基于所确定的患者等中心点、经由可移动的患者台来定位患者。


2.根据权利要求1所述的方法，其中捕获包括利用作为相机的传感器来进行捕获。


3.根据权利要求2所述的方法，其中利用相机来捕获包括作为红绿蓝（RGB）图像来捕获表面图像。


4.根据权利要求1所述的方法，其中估计进一步包括：
为表面图像的序列中的第一表面图像估计密集身体标记，所述第一表面图像对应于患者的第一所成像的身体部分；
基于第一表面图像来为患者的第一所成像的身体部分重构第一3D部分身体表面；
为表面图像的序列的第二表面图像估计密集身体标记，所述第二表面图像对应于患者的第二所成像的身体部分；
基于第二表面图像来为患者的第二所成像的身体部分重构第二3D部分身体表面；以及
通过使用递归模型、至少根据第一3D部分身体表面和第二3D部分身体表面来重构患者的3D身体表面。


5.根据权利要求4所述的方法，其中患者的第一所成像的身体部分与患者的第二所成像的身体部分重叠。


6.根据权利要求4所述的方法，其中重构第一3D部分身体表面包括：
将第一表面图像分区成多个部分，其中所述多个部分对应于患者的第一所成像的身体部分的不同身体部分，并且其中所述第一表面图像的多个部分中的每个部分包括多个像素；
向所述第一表面图像的多个像素中的每个像素指派分类；以及
为所述多个像素中的每个像素确定3D表面坐标。


7.根据权利要求6所述的方法，其中指派包括将每个像素指派到背景类或身体部分类，其中所述身体部分类对应于患者的第一所成像的身体部分的不同身体部分。


8.根据权利要求6所述的方法，其中分区和指派包括利用具有编码器和解码器的至少一个全卷积网络来进行分区和指派，并且其中所述确定包括利用至少一个回归器来进行确定。


9.根据权利要求8所述的方法，其中所述至少一个回归器包括多个回归器，其中所述多个回归器中的每个回归器对应于所述第一表面图像的多个部分中的部分之一，并且其中所述多个回归器中的每个回归器被分离地训练。


10.根据权利要求4所述的方法，其中所述递归模型包括递归神经网络，所述递归神经网络包括长短期记忆（LSTM）单元。


11.根据权利要求4所述的方法，其中所述递归模型被端对端地训练。


12.一种用于估计患者的三维（3D）身体表面的医学成像系统，所述系统包括：
传感器，其被配置成捕获患者的表面图像的序列；
处理器，其被配置成：
将经机器学习的神经网络应用到表面图像的序列，所述经机器学习的神经网络...

【专利技术属性】
技术研发人员：张耀仁，王江平，VK辛赫，萨如汗，A卡普尔，A维默，
申请(专利权)人：西门子医疗有限公司，
类型：发明
国别省市：德国;DE