一种用于获得在医学扫描器中的对象的对象关键点的系统，其中，所述对象关键点是预定对象部分关于所述医学扫描器的三维3D坐标。所述系统包括相机系统和处理器，所述相机系统用于获得在所述医学扫描器中的所述对象的二维2D图像，其中，所述相机系统包括一个或多个相机。所述处理器被配置为从所述医学扫描器获得扫描器变量，其中，所述扫描器变量包括所述医学扫描器的部分的位置，所述位置确定所述相机系统中的所述相机与所述对象之间的相对位置。所述处理器基于来自所述相机系统的所述2D图像来确定2D坐标中的对象关键点投影；并且通过基于所述扫描器变量关于所述相机系统对所述对象关键点投影进行三角测量来确定3D坐标中的所述对象关键点。的所述对象关键点。的所述对象关键点。
【技术实现步骤摘要】
【国外来华专利技术】对象关键点检测
[0001]本专利技术涉及为医学检查确定三维对象关键点。
技术介绍
[0002]为受检者进行医学检查(例如，磁共振、超声、CT扫描等)做准备是一项耗时的任务，并且需要训练有素的操作人员。例如，在磁共振(MR)扫描中，操作人员必须将表面线圈放置在待成像的解剖结构上。需要适当地定义扫描平面以运行勘测扫描(survey scan)。为了定义扫描平面，通常在受检者设置(包括毯子、垫子、听力保护设施、护士呼叫)已经完成后使用遮光板。目标解剖结构的视图常常被设置阻挡。打开遮光板激光设备，并且利用设置将受检者移动到经标记的参考位置。然后操作人员按下按钮以激活扫描器并将坐标传输到扫描器。
[0003]最近，已经提出使用3D光学深度感测相机来简化该任务并使其自动化。然而，在有遮挡的场景中，这种方法有局限性。例如，当线圈被放置在待成像的解剖结构的顶部时，用深度感测相机鲁棒准确地确定被遮挡的解剖结构的3D位置是极其困难的，因为没有有效的深度读取结果可用。另外，深度读取结果仅适用于场景中最顶端的对象。光学深度相机无法“透视”对象。
[0004]因此，需要在医学检查期间获得重要关键点的准确可靠的3D坐标的系统。另外，需要能够获得被遮挡的关键点的3D坐标的系统。
[0005]EP 3693926公开了一种经过训练的网络，这种经过训练的网络用于根据患者的表面图像来估计患者的三维(3D)身体表面和身体区域。使用所估计的患者的3D身体表面来确定患者的等中心。使用所估计的身体区域来生成表示患者的可见身体区域边界和不可见身体区域边界的热图。
技术实现思路
[0006]本专利技术由权利要求来限定。
[0007]根据依据本专利技术的一个方面的示例，提供了一种用于获得在医学扫描器中的对象的对象关键点的系统，其中，所述对象关键点是预定对象部分关于所述医学扫描器的三维3D坐标，所述系统包括：
[0008]相机系统，其用于获得在所述医学扫描器中的所述对象的二维2D图像，其中，所述相机系统包括一个或多个相机；
[0009]处理器，其被配置为：
[0010]从所述医学扫描器和/或所述相机系统获得扫描器变量，其中，所述医学扫描器包含第一移动部分，并且/或者，其中，所述相机系统包含第二移动部分，并且其中，所述扫描器变量包括所述医学扫描器的所述第一移动部分的位置和/或所述相机系统的所述第二移动部分的位置；
[0011]基于来自所述相机系统的所述2D图像来确定2D坐标中的对象关键点投影；并且
[0012]通过基于所述扫描器变量关于所述相机系统对所述对象关键点投影进行三角测量来确定3D坐标中的所述对象关键点。
[0013]典型地，在医学扫描器(例如，MRI扫描器)中，移动扫描器的一部分，以便扫描器扫描呈受检者的期望身体部分的形式的对象。例如，受检者可能在医学扫描器的扫描区段保持静止时躺在医学扫描器的工作台上。然后移动其顶部承载有受检者的工作台，使得期望的身体部分在扫描器的成像平面(或成像区段)中。
[0014]当然，如果受检者是静止的并且扫描器相对于受检者移动，那么扫描结果将是等效的。然后，相机可以随着扫描器移动，从而给出相机系统与对象之间变化的相对位置。在这种情况下，扫描器变量可以包含扫描器的位置和/或相机的位置。通常，扫描器变量包含医学扫描器和/或相机系统的移动部分的位置。
[0015]为了估计受检者关于医学扫描器的最佳定位，能够使用对象关键点。对象关键点可以包括身体部分(例如，头部、肩膀、肘部、手腕、臀部、膝盖、脚踝等)，并且/或者对象关键点可以包括佩戴在受检者身上或在受检者附近的对象(例如，线圈、ECG导联、头戴式设备等)。为了提高对受检者的定位的准确度，期望获得3D坐标中的对象关键点。
[0016]能够使用相机系统来获得在医学扫描器中的对象的2D图像。能够从与对象关键点相对应的2D图像中确定2D坐标中的对象关键点投影。相机系统可以包括一个相机或一个以上的相机。
[0017]另外，由于医学扫描器的移动，相机系统能够以不同的视点(例如，不同的角度)获得对象的2D图像。也能够从医学扫描器获得扫描器变量，所述扫描器变量量化医学扫描器的移动(例如，水平运动、垂直运动、运动角度等)。替代地，可以移动相机系统中的相机来获得不同的视点。
[0018]能够结合以不同的视点拍摄的2D图像(以及图像中的每幅图像的对象关键点投影)来使用扫描器变量以对对象关键点投影进行三角测量，并由此确定关于医学扫描器的3D坐标中的对象关键点。
[0019]例如，第一相机可以拍摄医学扫描器中的受检者的第一2D图像。可以确定第一2D图像中的与受检者的头部的中心相对应的第一点(例如，像素或像素组)(即，第一对象关键点投影)。对象关键点投影可以是3D对象关键点在第一2D图像上的投影。
[0020]随后，在通过医学扫描器的移动部分将受检者在医学扫描器中进行了移动之后，第一相机可以拍摄第二2D图像。扫描器变量包含医学扫描器的移动部分移动的距离(并由此包括受检者移动的距离)。可以确定第二2D图像中的与受检者的头部的中心相对应的第二点(即，第二对象关键点投影)。
[0021]因此，能够使用第一点和第二点对对象关键点投影进行三角测量，从而确定3D中的对象关键点。三角测量是指在给定一个点在两幅或更多幅图像上的投影的情况下在3D空间中确定这个点的过程。三角测量有时也被称为重建或相交。
[0022]2D图像中的每个点对应于3D空间中的从相机(或传感器)到3D坐标中的对应点的一条线。因此，3D中的线上的所有点都被投影到图像中的点。如果两幅图像中的一对点是公共3D点(即，对象关键点)的投影，那么这对点是对应的。因此，到这对点的两条线在3D坐标中的对象关键点处相交。
[0023]能够使医学扫描器的移动部分的移动等于第一相机的移动，因此能够假设：第一
受检者没有移动，并且已经用第一相机获得了第一图像，并且已经用第一虚拟相机获得了第二图像，其中，能够基于医学扫描器的移动部分移动的距离来找到第一相机与第一虚拟相机之间的相对位置。
[0024]因此，能够确定来自第一相机的第一线(对应于第一点)和来自第一虚拟相机的第二线(对应于第二点)，其中，第一线与第二线在3D空间中的交点定义了对象关键点。
[0025]在某些情况下，这些线在3D空间中可能不相交(例如由于噪声、镜头畸变、对象关键点检测误差等)。在这些线不相交的情况下，可以将两条线之间的中点(即，使第一线与第二线之间的距离最小化的点)用作对象关键点。
[0026]本领域技术人员将意识到，在第一相机已经相对于受检者发生了移动之后，可以替代地用位于不同于第一相机的位置的第二相机获得第二图像。扫描器变量因此可以包含第一相机与第二相机之间的距离或者第一相机移动的距离。
[0027]3D坐标系关于医学扫描器是固定的，使得3D坐标系中的位置表示关于医学扫描器的(不可移动)部分的位置。因此，相对于医学扫描器来确定对象关键点的位本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于获得在医学扫描器中的对象的对象关键点(110)的系统，其中，所述对象关键点(11)是预定对象部分关于所述医学扫描器的三维3D坐标，所述系统包括：相机系统(102)，其用于获得在所述医学扫描器中的所述对象的二维2D图像(202)，其中，所述相机系统(102)包括一个或多个相机；处理器，其被配置为：从所述医学扫描器和/或所述相机系统获得扫描器变量(206)，其中，所述医学扫描器包含第一移动部分，并且/或者，其中，所述相机系统包含第二移动部分，并且其中，所述扫描器变量(206)包含所述医学扫描器的所述第一移动部分的位置和/或所述相机系统的所述第二移动部分的位置；基于来自所述相机系统(102)的所述2D图像(202)来确定2D坐标中的对象关键点投影(204)；并且通过基于所述扫描器变量(206)关于所述相机系统(102)对所述对象关键点投影(204)进行三角测量来确定3D坐标中的所述对象关键点(110)。2.根据权利要求1所述的系统，其中，所述处理器被配置为基于将所述图像(202)输入到神经网络中来确定对象关键点投影(204)，所述神经网络被训练为学习与所述对象的不同部分相对应的对象关键点投影(204)之间的关系，其中，所述神经网络被配置为在所输入的图像(204)中的每幅图像中输出所述对象关键点投影(204)。3.根据权利要求2所述的系统，其中，所述神经网络基于U
‑
Net神经网络架构。4.根据权利要求1至3中的任一项所述的系统，其中，所述相机系统(102)包括恰好一个相机。5.根据权利要求1至4中的任一项所述的系统，其中，所述医学扫描器是磁共振成像MRI扫描器，所述MRI扫描器包括：用于定位受检者的工作台(104)；以及用于获得医学图像的成像区段(106)，并且其中，所述扫描器变量(206)包含所述工作台(104)相对于所述成像区段(106)的位置。6.根据权利要求1至5中的任一项所述的系统，其中，还基于以下操作来确定所述对象关键点(110)：基于在移动期间走过的距离对在所述移动前拍摄的第一图像中的所述对象关键点投影(204)和在所述移动后拍摄的第二图像中的所述对象关键点投影(204)进行三角测量。7.根据权利要求1至6中的任一项所述的系统，其中，所述处理器还被配置为基于所述对象关键点(110)来确定所述医学扫描器的成像参数。8.一种用于获得在医学扫描器中的对象的对象关键点(110)的方法，其中...
【专利技术属性】
技术研发人员：S，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。