用于多模态自动配准的反馈制造技术

一种用于配准反馈的系统，包括分割模块(148)，所述分割模块被配置成分割待配准的第一图像中的相关三维结构并且分割待配准的第二图像中的同一相关结构，以提供所述第一图像和所述第二图像的三维分割。配准模块(152)被配置成通过将配准变换应用至所述三维分割中的一个以将一个三维分割映射至另一个三维分割的坐标空间上来配准所述第一图像和所述第二图像的所述三维分割。显示器(118)被配置成联合地显示所述第一图像和所述第二图像的所述三维分割，所述三维分割中的每一个具有不同的视觉特性以容许辨别联合显示图像中的所述三维分割中的每一个，使得所述联合显示图像中的所述三维分割之间的配准向用户提供配准品质的即时指示。

【技术实现步骤摘要】
【国外来华专利技术】用于多模态自动配准的反馈
本公开内容涉及图像配准，尤其涉及用于配准图像使得能够实现配准品质和精度的即时评估的系统和方法。
技术介绍
多个成像模态的自动配准和融合对于各种诊断和介入操作来说是有益的。具体地说，低成本的实时成像如超声(US)与现有的3D成像如计算机断层扫描(CT)或磁共振成像(MRI)的配准是期望的。已引入超声探针的空间跟踪(例如，使用电磁(EM)跟踪)以利于例如US-CT配准。然而，现有CT图像与EM跟踪坐标系统配准的剩余任务需要在患者身上获得具有EM跟踪器或基准标记的新CT扫描，或用户在实时跟踪的US和现有CT中识别公共点、地标或图像平面的耗时的手动配准过程。用于显示所产生的配准变换的当前方案包括使用配准变换将用于配准的静态图像映射到彼此上(例如，将US图像映射到CT图像上)，和并排地或在单个“融合的”图像中显示映射后的图像。另一种方法包括使操作者在实时超声扫描期间应用配准变换，并同时将另一图像(例如，CT)的对应横截面显示在屏幕上。这些方法具有缺点并且不是有效的。具体地说，操作者不习惯于阅读“融合的”图像或在阅读“融合的”图像上未受训练，并且可能不能辨别融合的图像是否示出“可接受的”配准。融合或并排显示通常仅示出来自US和CT图像的单个2D片段或2个或3个正交片段。这些片段可能不包含将允许操作者评估配准品质的图像信息和地标。如果操作者想要查看另外的片段，则操作者将需要手动地选择不同的片段以供显示。这花费额外的时间。整个图像(融合的或并排)的3D体积绘制图通常仅绘制图像体积的“外侧”区域。另外，绘制过程将难以手动调整，并且许多相关的地标可能被其它不相关的图像信息模糊。这也花费额外的时间，并且操作者将需要在实时扫描期间找到相关的地标，所述相关的地标将容许操作者评估配准。另外，患者的呼吸运动可能改变扫描期间的配准品质，从而潜在地造成另外的混乱。可使用用于将点从图像中的一个的坐标系统变换至另一图像的坐标系统上的变换T来提供3D超声与CT结果的自动配准。这能够实现图像在彼此上的映射(或“融合”图像)。自动配准的输出取决于输入，该输入包括两个图像(例如，CT和超声)，以及由操作者提供的可能的附加信息(例如，变换的初始估计)。因为输入的图像内容和操作者输入的品质是高度可变的，所以输出的品质也难以预测，因此需要操作者审核结果并且“接受”结果或“拒绝”结果并重新开始配准过程。
技术实现思路
根据本原理，一种用于配准反馈的系统，包括分割模块，所述分割模块被配置成分割待配准的第一图像中的相关三维结构并且分割待配准的第二图像中的同一相关结构，以提供所述第一图像和所述第二图像的三维分割。配准模块被配置成通过将配准变换应用至所述三维分割中的一个以将一个三维分割映射至另一个三维分割的坐标空间上来配准所述第一图像和所述第二图像的所述三维分割。显示器被配置成联合地显示所述第一图像和所述第二图像的所述三维分割，所述三维分割中的每一个具有不同的视觉特性以容许辨别联合显示图像中的所述三维分割中的每一个，使得所述联合显示图像中的所述三维分割之间的配准向用户提供配准品质的即时指示。另一种用于配准反馈的系统包括处理器和存储器，所述存储器联接至所述处理器。所述存储器包括：分割模块，所述分割模块被配置成分割待配准的第一图像中的相关三维结构并且分割待配准的第二图像中的同一相关结构，以提供所述第一图像和所述第二图像的三维分割；以及配准模块，所述配准模块被配置成通过将配准变换应用至所述三维分割中的一个以将一个三维分割映射至另一个三维分割的坐标空间上来配准所述第一图像和所述第二图像的所述三维分割。显示器被配置成联合地显示所述第一图像和所述第二图像的所述三维分割，所述三维分割中的每一个具有不同的视觉特性以容许辨别联合显示图像中的所述三维分割中的每一个，使得所述联合显示图像中的所述三维分割之间的配准向用户提供配准品质的即时指示。用户界面被配置成容许所述用户选择所述联合显示图像的不同视图，以允许探查不同视角中的相对对准。一种用于配准反馈的方法包括分隔待配准的第一图像中的相关三维结构分割和分割待配准的第二图像中的同一相关结构，以提供所述第一图像和所述第二图像的三维分割；通过将配准变换应用至所述三维分割中的一个以将一个三维分割映射至另一个三维分割的坐标空间上来配准所述第一图像和所述第二图像的所述三维分割；以及联合地显示所述第一图像和所述第二图像的所述三维分割，所述三维分割中的每一个具有不同的视觉特性以容许辨别联合显示图像中的所述三维分割中的每一个，使得所述联合显示图像中的所述三维分割之间的配准向用户提供配准品质的即时指示。通过结合附图阅读下面关于本专利技术的例示性实施例的详细描述，本专利技术的这些和其它目的、特征和优点将变得明显。附图说明本公开内容将参照以下附图详细地给出优选实施例的以下描述，在附图中：图1是示出根据一个实施例的用于视觉上确定图像配准品质的系统的框图/流程图；图2是示出根据一个实施例的从同一患者的CT图像和超声图像提取并且配准至CT扫描上以示出对准情况的血管分割的绘制图；图3是示出根据另一个实施例的用于计算配准至CT上的从CT提取的完整器官表面分割与从超声提取的部分器官表面分割之间的配准的表面分割的绘制图；图4是示出根据另一个实施例的基于从CT提取的分割的患者皮肤和肝脏以及在超声图像获取期间的被跟踪的超声探针的模型的绘制图；图5是示出根据另一个实施例的来自另一图像顶部上的一个图像的轮廓分割的绘制图；并且图6是示出根据例示性实施例的用于视觉上确定图像配准品质的方法的框图/流程图。具体实施方式根据本专利技术原理，提供用于显示和可视化配准结果的系统和方法。根据尤其有用的实施例，操作者可迅速地、正确地并且有把握地判定配准是否是可接受的。为了克服现有技术的缺点，本专利技术原理提供在单个视图中向操作者示出所有有关信息的3D分割信息的显示。若干方案可根据本专利技术原理实现在用于自动配准应用的用户界面中。一种方案包括在配准期间对超声(US)图像和计算机断层扫描(CT)图像中的脉管结构的分割，和在3D绘制图中以不同颜色可视化两个脉管树(或其它结构)。另一种方案包括在US图像和CT图像中的关注区域中的器官的表面分割，和再次在3D绘制图中以不同颜色可视化两个分割。在两种情况下，所有分割结构的距离和对准可由操作者在单个图像中鉴别，并且可用来评估配准品质。另一种方案包括用于获取3DUS图像的超声探针相对于基于CT扫描的患者皮肤表面的绘制图的位置的3D绘制图。快速察看该单个绘制图将告诉操作者配准的整体旋转和平移是否正确。应理解的是，本专利技术将在医学图像方面进行描述；然而，本专利技术的教导是宽泛的并且适用于任何图像。在一些实施例中，将本专利技术原理使用于跟踪或分析复杂的生物或机械系统中。尤其是，本专利技术原理适用于生物系统的内部跟踪操作、如肺、胃肠道、排泄器管、血管等的身体的所有区域内的操作。附图中所绘示的元件可实施于硬件和软件的各种组合中，并且提供可组合于单个元件或多个元件中的功能。附图中所示的各元件的功能可通过使用专用硬件以及能够与适当软件结合来执行软件的硬件来提供。当通过处理器提供时，所述功能可通过单个专用处理器、通过单个共享处理器，或通过其中一些可共享的多个单独的处理器来提供。此本文档来自技高网...

【技术保护点】
一种用于配准反馈的系统，所述系统包括：分割模块(148)，所述分割模块被配置成分割待配准的第一图像中的相关三维结构并且分割待配准的第二图像中的同一相关结构，以提供所述第一图像和所述第二图像的三维分割；配准模块(152)，所述配准模块被配置成通过将配准变换应用至所述三维分割中的一个以将一个三维分割映射至另一个三维分割的坐标空间上来配准所述第一图像和所述第二图像的所述三维分割；以及显示器(118)，所述显示器被配置成联合地显示所述第一图像和所述第二图像的所述三维分割，所述三维分割中的每一个具有不同的视觉特性以容许辨别联合显示图像中的所述三维分割中的每一个，使得所述联合显示图像中的所述三维分割之间的配准向用户提供配准品质的即时指示。

【技术特征摘要】
【国外来华专利技术】2014.12.09 US 62/089,4361.一种用于配准反馈的系统，所述系统包括：分割模块(148)，所述分割模块被配置成分割待配准的第一图像中的相关三维结构并且分割待配准的第二图像中的同一相关结构，以提供所述第一图像和所述第二图像的三维分割；配准模块(152)，所述配准模块被配置成通过将配准变换应用至所述三维分割中的一个以将一个三维分割映射至另一个三维分割的坐标空间上来配准所述第一图像和所述第二图像的所述三维分割；以及显示器(118)，所述显示器被配置成联合地显示所述第一图像和所述第二图像的所述三维分割，所述三维分割中的每一个具有不同的视觉特性以容许辨别联合显示图像中的所述三维分割中的每一个，使得所述联合显示图像中的所述三维分割之间的配准向用户提供配准品质的即时指示。2.如权利要求1所述的系统，其中，所述分割模块(148)被配置成分割所述第一图像和所述第二图像中的器官或器官的一部分。3.如权利要求1所述的系统，其中，所述第一图像(134)和所述第二图像(136)包括来自不同成像模态的图像。4.如权利要求1所述的系统，其中，所述系统进一步包括用户控制装置(120)，所述用户控制装置被配置成容许所述用户选择所述联合显示图像的不同视图，以允许探查不同视角中的相对对准。5.如权利要求4所述的系统，其中，所述用户控制装置包括用以测量所述用户的手势的传感器(122、126)。6.如权利要求4所述的系统，其中，所述用户控制装置包括触摸屏控制装置(118)或听觉控制装置(124)中的一种。7.如权利要求1所述的系统，其中，所述视觉特性包括颜色或纹理。8.如权利要求1所述的系统，其中，使用附加信息，所述附加信息包括用于获取图像的探针(406)相对于患者皮肤或其它表面的绘制图的跟踪位置。9.如权利要求1所述的系统，其中，所述联合显示图像随时间推移自动地改变至不同视角。10.一种用于配准反馈的系统，所述系统包括：处理器(114)；存储器(116)，所述处理器联接至所述处理器，所述存储器包括：分割模块(148)，所述分隔模块被配置成分割待配准的第一图像中的相关三维结构并且分割待配准的第二图像中的同一相关结构，以提供所述第一图像和所述第二图像的三维分割；以及配准模块(152)，所述配准模块被配置成通过将配准变换应用至所述三维分割中的一个以将一个三维分割映射至另一个三维分割的坐...

【专利技术属性】
技术研发人员：J·克吕克尔，A·M·塔赫玛塞比马拉古奥施，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰,NL