使用基于图像的导航系统的增强现实仪器放置的方法技术方案

公开了一种使用基于图像的导航系统的仪器放置的系统和方法。在病人的医疗图像中识别关心的目标。显示经过目标的中心的图像平面。该图像平面具有可设置的方位。该图像平面用于为仪器选择从病人皮肤上的位置到目标中心的路径。观察从仪器尖端到目标中心的轨迹平面。该轨迹平面反映仪器的方位。选择代表仪器理想方位的特定轨迹平面。冻结特定轨迹平面的图像。然后使用虚拟导向可以插入该仪器，并且该仪器向着目标前进。

【技术实现步骤摘要】

本专利技术涉及，且更具体地，涉及用于确定与目标有关的探针放置的方法，以便医生能确定到目标的最佳路径。
技术介绍
增强现实，通常也称作增强视觉或增强现实视觉，通过叠加计算机产生的图形信息来增强观察者对现实世界的观察。该信息可以像场景中附属到某物体上的文本标签一样简单，或像从MRI扫描中获得并对准人头部的真实图像的病人大脑的3D模型一样复杂。观察者可以用他或她的眼睛直接观察实际场景，通过位于观察者和实际场景之间的半透明显示器将附加图形信息与其融合。例如，这样的显示装置可以是安装在头部的透明显示器。该显示器也可以是不透明的，象计算机屏幕或安装在头部的非透明显示器。这样的显示器然后向观察者呈现完整的增强视觉，即现实世界图像和图形重叠的组合。摄像机代替现实世界的观察者来捕捉现实世界图像。对于立体视觉，需要两台摄像机。计算机被用来组合活动视频与图形增强。为了与现实世界图像正确地对准，图形必需定位、定向、和缩放，或者甚至以透视的方式再现该图形。希望将图形“稳定”在现实世界物体上。要这样做，必须知道摄像机相对于物体的位置和方位，以及物体的方位。也就是说，必须知道两个坐标系之间的关系，一个坐标系对应于摄像机，并且另一个坐标系对应于物体。跟踪表示记录前述关系的过程。基于光学、机械、磁性、惯性、和超声测量原理的商业跟踪系统是有用的。增强现实可视化能引导处于人工机械任务中的用户。对于机器修理和维护情况，已经建议通过图形指针增强视觉，该图形指针显示，例如按压哪个按钮，或旋转哪个螺丝。也建议将增强现实可视化用于医学应用，例如活组织检查探针必须插入到目标肿块中而不伤害附近的神经，或螺钉在精确的位置处以精确的方向插入到骨头中。如上所述，增强现实可视化将虚拟物体(计算机产生的图形)放置在实际场景中。相对于稳定在现实世界物体上的世界坐标系的，从那里可以观察实际场景的有利位置的跟踪允许虚拟物体出现在该世界坐标系中的理想位置处。然而，在实际和虚拟物体之间的正确的视觉相互作用通常需要关于实际物体的3D信息。不利地，该3D信息通常不可得，于是虚拟物体仅仅叠加在实际场景的图像上。因此，实际物体可被虚拟物体隐藏，尽管虚拟物体不可以被实际物体隐藏。另外，在医学应用中存在一个问题，当在一个过程，诸如活组织检查中需要插入探针时，该探针采取到目标物体的直达路线，而不与纤细的结构，诸如动脉或不相关的器官交叉。为了医生能精确地引导探针，使医生知道在它的路径中存在什么潜在的障碍物将是有利的。因此，希望并且非常有利的提供一种增强现实仪器导航的方法，以便医生能在插入探针或其他医疗仪器之前确定最佳路径。
技术实现思路
本专利技术涉及一种使用基于图像的导航系统的仪器放置的系统和方法。在病人的医疗图像中识别关心的目标。显示通过目标中心的图像平面。该图像平面具有可设置的方位。该图像平面用于选择仪器从病人皮肤上的位置到目标中心的路径。可以观察从仪器尖端到目标中心的轨迹平面。该轨迹平面反映仪器的方位。选择特定的轨迹平面，该轨迹平面代表仪器的理想方位。特定轨迹平面的图像被冻结。然后，利用虚拟导向可以插入该仪器，并且向着目标前进。附图说明下面将参考附图更加详细描述本专利技术的优选实施例，其中相似的参考数字表示相似的元件图1是根据本专利技术的示意性实施例的增强现实仪器导航系统的框图； 图2A和23是根据本专利技术示意增强现实仪器导航的方法流程图；图3根据本专利技术示意了在探针插入期间描绘2D图像导航的典型显示；和图4根据本专利技术示意了在探针插入期间描绘基于3D导航的典型显示。具体实施例方式本专利技术涉及一种使用基于图像的导航系统的增强现实仪器放置的系统和方法。应当理解可以各种形式的硬件、软件、固件、专用处理器，或其组合来实现本专利技术。优选地，本专利技术以硬件和软件的组合来实现。此外，优选地将软件实现为切实包含于程序存储装置上的应用程序。该应用程序可由包括任何合适结构的机器加载和执行。优选地，在具有硬件的计算机平台上实现该机器，该硬件诸如一个和多个中央处理单元(CPU)、随机存取存储器(RAM)和输入/输出(I/O)接口。该计算机平台也包括操作系统和微指令代码。在此描述的各种过程和功能可以是通过操作系统执行的微指令代码的一部分或应用程序的一部分(或其组合)。另外，各种其他外围装置可以连接到计算机平台上，诸如附加的数据存储装置和打印装置。应当进一步理解，由于在附图中描述的一些组成系统部件和方法步骤优选地以软件实现，在系统部件(或处理步骤)之间的实际连接可以不同，取决于本专利技术编程的方式。在此给出教导，本领域普通技术人员将能设想本专利技术的这些和类似的实施或结构。图1根据本专利技术的示意性实施例示意了增强现实仪器导航系统100的框图。该系统100包括两台摄像机110a-b；跟踪模块112；预处理2D/3D图形模块150；路径确定装置160；后处理2D/3D图形模块170；图形导向发生器180；图像处理模块116；姿态计算模块118；图形绘制模块120；视频和图形重叠模块122；以及立体显示器124。使用两台摄像机110a-b和立体显示器124来获得3D感觉。当然，也可以使用保持本专利技术的精神和范围的其他设备(例如，单台摄像机和非立体显示器)。在图1示意的实施例中，路径确定模块160和图形导向发生器180是系统100的独立元件。然而，这些元件可以集成进系统100的其他元件(例如，图形绘制模块120)中，这对本领域普通技术人员是显而易见的。在此给出了本专利技术的教导，本领域普通技术人员将设想图1的元件的这些和各种其他结构，而保持本专利技术的精神和范围。下面将给出图1涉及增强现实仪器导航应用的元件的描述。两台摄像机110a-b提供对应于现实世界的有关图像的数据到系统100。跟踪模块112提供对应于用户坐标系统(即，涉及用户的有利位置或代替用户眼睛的摄像机的有利位置)、在其上应用该仪器的物体(例如病人)的坐标系统以及任选地，仪器坐标系统之间的关系对应的数据。由跟踪模块112提供的数据允许在上述坐标系统之间的关系被姿态计算模块118了解或最终由它计算。通过预处理2D/3D图形模块150提供的数据可以是为特殊仪器定位应用而预处理的，例如计算机断层检查(CT)扫描或磁共振(MR)图像。通过预处理2D/3D图形模块150提供的数据也可以包括关于仪器的几何信息。下面将更加详细地描述从预处理2D/3D图形模块150向路径确定模块160输出的信息中，可以确定用于仪器运动的一条或多条潜在路径和/或用于仪器接触/穿透的一个或多个潜在目标位置。该路径/目标数据以及来自预处理2D/3D图形模块150并经过路径确定模块160的一些数据被输入到后处理模块170，其将数据提供给图形导向发生器180，用于产生图形导向。应当理解，可将指定在仪器定位期间使用的一个或多个优选类型的图形导向的数据输入到预处理2D/3D图形模块150最终由图形导向发生器180在选择要产生的图形导向类型时使用。可以选择任何已知类型的图形导向来辅助医生沿着选择的路径引导仪器。该图像处理模块116处理由两台摄像机110a-b提供的图像数据。将图像处理模块116处理的图像数据与由跟踪模块112提供的数据一起输入到姿态计算模块118。将来自于图形导向发生器180的对应于一个或多个图形导向的数据与从姿态计本文档来自技高网...

【技术保护点】
一种使用基于图像的导航系统的仪器放置的方法，包括以下步骤：在病人的医疗图像中识别关心的目标；显示经过所述目标中心的图像平面，所述图像平面具有可设置的方位；使用所述图像平面来为仪器选择从所述病人皮肤上的位置到所述目标中心的路径；观察从所述仪器的尖端到所述目标的中心的轨迹平面，所述轨迹平面反映所述仪器的方位；选择代表所述仪器的理想方位的特定轨迹平面；和冻结所述特定轨迹平面的图像。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：FS阿扎，A哈米内，F绍尔，S沃格特，
申请(专利权)人：美国西门子医疗解决公司，
类型：发明
国别省市：US[美国]