用于基于图像的配准的系统及其相关方法技术方案

本文公开了用于执行医疗程序的系统、方法和计算机程序产品。用于在解剖区域中执行医疗程序的系统包括被配置为插入解剖区域内的医疗器械，该医疗器械包括图像捕获装置。该系统可以包括与医疗器械相关联的方位传感器。该系统可以被配置为接收解剖区域的模型，并且获得来自图像捕获装置的图像数据和来自方位传感器的一组坐标点。该系统可以基于图像数据和坐标点来生成模型和解剖区域之间的配准。标点来生成模型和解剖区域之间的配准。标点来生成模型和解剖区域之间的配准。

【技术实现步骤摘要】
【国外来华专利技术】用于基于图像的配准的系统及其相关方法
[0001]相关申请的交叉引用
[0002]本申请要求2021年1月4日提交的美国临时申请63/133,739的权益和优先权，该申请通过引用以其整体并入本文。
[0003]本申请通过引用将题为“用于配准的基于图像的种子化和相关系统及方法(Image
‑
Based Seeding for Registration and Associated Systems and Methods)”的PCT申请(案卷号P06373
‑
WO)和题为“用于基于动态图像的定位的系统和相关方法(Systems for Dynamic Image
‑
Based Localization and Associated Methods)”的PCT申请(案卷号P06375
‑
WO)整体并入。


[0004]本公开涉及用于生成用于医疗程序的配准的系统、方法和计算机程序产品。

技术介绍

[0005]微创医疗技术旨在减少在医疗程序期间受损的组织的量，从而减少患者恢复时间、不适和有害的副作用。这种微创技术可以通过患者解剖结构中的自然孔口或通过一个或多个手术切口来执行。通过这些自然孔口或切口，操作者可以插入微创医疗工具以到达目标组织位置。微创医疗工具包括诸如治疗、诊断、活检和手术器械的器械。医疗工具可以插入解剖通道中，并朝向患者解剖结构内的感兴趣区域导航。可以使用解剖通道的图像来辅助导航。需要改进的系统和方法来精确地执行医疗工具和解剖通道的图像之间的配准。

技术实现思路

[0006]本文公开了用于执行医疗程序，包括生成用于医疗程序的配准的装置、系统、方法和计算机程序产品。在一些实施例中，用于在患者的解剖区域内执行医疗程序的系统包括被配置为插入解剖区域内的医疗器械，该医疗器械包括图像捕获装置。该系统还可以包括与医疗器械相关联的方位传感器。该系统可以进一步包括可操作地耦连到图像捕获装置和方位传感器的处理器，以及可操作地耦连到处理器的存储器。存储器可以存储指令，这些指令在由处理器执行时使系统执行包括以下操作的操作：接收解剖区域的三维(3D)模型；从图像捕获装置获得解剖区域的一部分的图像数据；并且基于图像数据来生成解剖区域的所述一部分的3D表示图。该操作还可以包括获得由方位传感器生成的一组坐标点，该坐标点的至少一部分是在医疗器械位于解剖区域的所述一部分处或附近时生成的。操作可以进一步包括基于3D表示图和一组坐标点来生成3D模型的参考系和医疗器械的参考系之间的配准。
[0007]在这些和其他实施例中，非暂时性的计算机可读介质可以存储指令，这些指令当由计算系统的一个或多个处理器执行时，使得计算系统执行包括以下操作的操作：接收解剖区域的3D模型；从解剖区域内的医疗器械携带的图像捕获装置获得解剖区域的一部分的一个或多个图像；并且基于一个或多个图像来生成解剖区域的所述一部分的3D重构。操作
还可以包括获得由与医疗器械相关联的方位传感器生成的点云数据，点云数据的至少一部分是在医疗器械位于解剖区域的该一部分处或附近时生成的。操作可以进一步包括基于3D重构和点云数据集来生成3D模型的参考系和医疗器械的参考系之间的配准。
[0008]在这些和其他实施例中，一种方法可以包括：接收解剖区域的3D模型；从解剖区域内的医疗器械携带的图像捕获装置获得解剖区域的一部分的图像数据；基于图像数据来生成解剖区域的一部分的3D表示图；获得由与医疗器械相关联的方位传感器生成的一组坐标点，其中坐标点的至少一部分是在医疗器械位于解剖区域的一部分处或附近时生成的；并且基于3D表示图和一组坐标点来生成3D模型的参考系和医疗器械的参考系之间的配准。
[0009]在这些和进一步的实施例中，用于规划医疗程序的系统可以包括被配置为插入解剖区域内的医疗器械，该医疗器械包括图像捕获装置。该系统还可以包括与医疗器械相关联的方位传感器。该系统可以进一步包括可操作地耦连到图像捕获装置和方位传感器的处理器；以及可操作地耦连到处理器的存储器。存储器可以存储指令，这些指令在由处理器执行时使系统执行包括以下操作的操作：接收解剖区域的3D模型；从图像捕获装置获得解剖区域内的解剖界标的图像数据；并且基于图像数据来确定解剖界标与3D模型中的对应模型界标之间的关联。该操作还可以包括获得由方位传感器生成的一组坐标点，该坐标点的至少一部分是在医疗器械处于解剖界标处或附近时生成的。操作可以进一步包括至少部分地基于解剖界标和模型界标之间的关联来生成一组坐标点和3D模型之间的配准。
[0010]在这些和其他实施例中，非暂时性的计算机可读介质可以存储指令，这些指令当由计算系统的一个或多个处理器执行时，使得计算系统执行包括以下操作的操作：接收解剖区域的3D模型；从解剖区域内的医疗器械携带的图像捕获装置获得解剖区域内解剖界标的图像数据；并且基于图像数据来识别解剖界标与3D模型中的对应模型界标之间的匹配。该操作还可以包括获得由与医疗器械相关联的方位传感器生成的一组坐标点，该坐标点的至少一部分是在医疗器械处于解剖界标处或附近时生成的。操作可以进一步包括至少部分地基于解剖界标和模型界标之间的关联来生成一组坐标点和3D模型之间的配准。
[0011]在这些和其他实施例中，一种方法可以包括：接收解剖区域的3D模型；从解剖区域内的医疗器械携带的图像捕获装置获得解剖区域内解剖界标的图像数据；基于图像数据来确定解剖界标与3D模型中的对应模型界标之间的关联；获得由与医疗器械相关联的方位传感器生成的一组坐标点，其中坐标点的至少一部分是在医疗器械处于解剖界标处或附近时生成的；并且至少部分地基于解剖界标和模型界标之间的关联来生成一组坐标点和3D模型之间的配准。
附图说明
[0012]参考以下附图可以更好地理解本公开的许多方面。附图中的部件不一定是按比例绘制的。相反，重点放在清楚地说明本公开的原理上。附图不应被视为将本公开限于所描绘的特定实施例，而仅用于解释和理解。
[0013]图1是图示出根据本技术的各个实施例的用于生成医疗程序的配准的方法的流程图。
[0014]图2图示出了根据本技术的各个实施例的患者肺部气道内的解剖界标的示例。
[0015]图3图示出了根据本技术的各个实施例的包括多个成像位置的患者气道的一部
分。
[0016]图4A
‑
图4D图示出了根据本技术的各个实施例在图3的成像位置处获得的多个图像。
[0017]图5是图示出根据本技术的各个实施例的用于生成医疗程序的配准的另一方法的流程图。
[0018]图6A图示出了根据本技术的各个实施例的包括多个模型界标的患者气道的模型。
[0019]图6B
‑
图6D图示出了根据本技术的各个实施例的可以与图6A的模型界标相关联的多个图像。
[0020]图7是根据本技术的各个实施例配置的机器人或远程操作医疗系统的示意图。
[0021]图8是根据本技术的各本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在患者的解剖区域内执行医疗程序的系统，所述系统包括：医疗器械，所述医疗器械被配置为插入所述解剖区域内，所述医疗器械包括图像捕获装置；与所述医疗器械相关联的方位传感器；处理器，所述处理器可操作地耦连到所述图像捕获装置和所述方位传感器；以及存储器，所述存储器可操作地耦连到所述处理器并且存储指令，所述指令在由所述处理器执行时使得所述系统执行包括以下操作的操作：接收所述解剖区域的三维模型即3D模型；从所述图像捕获装置获得所述解剖区域的一部分的图像数据；基于所述图像数据来生成所述解剖区域的所述一部分的3D表示图；获得由所述方位传感器生成的一组坐标点，其中所述坐标点的至少一部分是在所述医疗器械在所述解剖区域的所述一部分处或附近时生成的；并且基于所述3D表示图和所述一组坐标点，来生成所述3D模型的参考系与所述医疗器械的参考系之间的配准。2.根据权利要求1所述的系统，其中所述图像数据包括表示所述解剖区域的所述一部分的不同视图的多个图像。3.根据权利要求1或权利要求2所述的系统，其中所述解剖区域的所述一部分包括解剖界标。4.根据权利要求3所述的系统，其中所述解剖区域包括多个分支通道，并且所述解剖界标是分支点或包括分支点。5.根据权利要求3所述的系统，其中所述操作进一步包括：检测所述医疗器械接近所述解剖界标；并且利用所述图像捕获装置自动获得所述解剖界标的图像数据。6.根据权利要求3所述的系统，其中所述操作进一步包括：检测所述医疗器械接近所述解剖界标；并且向操作者输出指令以利用所述图像捕获装置获得所述解剖界标的图像数据。7.根据权利要求1至6中任一项所述的系统，其中所述3D表示图是使用以下算法中的一个或多个算法从所述图像数据生成的：来自阴影的形状算法、来自运动的结构算法、单次拍摄深度估计算法或端到端深度重构算法。8.根据权利要求1至7中任一项所述的系统，其中所述3D表示图是表面或网格表示图。9.根据权利要求1至8中任一项所述的系统，其中生成所述配准包括：生成所述3D表示图与所述3D模型之间的第一配准；生成所述一组坐标点与所述3D模型之间的第二配准；并且组合所述第一配准和所述第二配准以生成所述配准。10.根据权利要求1至8中任一项所述的系统，其中生成所述配准包括将所述3D表示图和所述一组坐标点输入到单个配准算法中。11.根据权利要求1至8中任一项所述的系统，其中生成所述配准包括：将所述3D表示图和所述一组坐标点组合成混合数据集；并且将所述混合数据集输入到配准算法中。
12.一种在其上存储指令的非暂时性计算机可读介质，所述指令在由计算系统的一个或多个处理器执行时使得所述计算系统执行包括以下操作的操作：接收解剖区域的三维模型即3D模型；从所述解剖区域内的医疗器械携带的图像捕获装置获得所述解剖区域的一部分的一个或多个图像；基于所述一个或多个图像来生成所述解剖区域的所述一部分的3D重构；获得由与所述医疗器械相关联的方位传感器生成的点云数据，其中所述点云数据的至少一部分是在所述医疗器械位于所述解剖区域的所述一部分处或附近时生成的；并且基于所述3D重构和所述点云数据，生成所述3D模型的参考系和所述医疗器械的参考系之间的配准。13.根据权利要求12所述的非暂时性计算机可读介质，其中所述一个或多个图像包括从相对于所述解剖区域的所述一部分的不同姿势拍摄的多个图像。14.根据权利要求13所述的非暂时性计算机可读介质，其中所述操作进一步包括向操作者输出指令以将所述图像捕获装置移动到所述不同姿势。15.根据权利要求13所述的非暂时性计算机可读介质，其中所述操作进一步包括将所述图像捕获装置自动移动到所述不同姿势。16.根据权利要求12至15中任一项所述的非暂时性计算机可读介质，其中所述3D重构是使用以下算法中的一个或多个算法从所述一个或多个图像生成的：来自阴影的形状算法、来自运动的结构算法、单次拍摄深度估计算法或端到端深度重构算法。17.根据权利要求12所述的非暂时性计算机可读介质，其中所述解剖区域的所述一部分是第一部分并且所述配准是第一配准，并且其中所述操作进一步包括：从所述图像捕获装置获得所述解剖区域的第二部分的一个或多个第二图像；基于所述一个或多个第二图像，来生成所述3D模型与所述解剖区域的所述第二部分之间的第二配准。18.根据权利要求17所述的非暂时性计算机可读介质，其中所述操作进一步包括：在生成所述第一配准之后，向操作者输出指令以将所述医疗器械移动到所述解剖区域的所述第二部分。19.根据权利要求17所述的非暂时性计算机可读介质，其中所述操作进一步包括：基于所述第二图像来生成所述解剖区域的所述第二部分的3D重构；从所述方位传感器获得第二点云数据，其中所述第二点云数据中的至少一部分是在所述医疗器械在所述解剖区域的所述第二部分处或附近时生成的；并且基于所述第二部分的所述3D重构和所述第二点云数据来生成所述第二配准。20.一种方法，包括：接收解剖区域的三维模型即3D模型；从所述解剖区域内的医疗器械携带的图像捕获装置获得所述解剖区域的一部分的图像数据；基于所述图像数据来生成所述解剖区域的所述一部分的3D表示图；获得由与所述医疗器械相关联的方位传感器生成的一组坐标点，其中所述坐标点的至少一部分是在所述医疗器械在所述解剖区域的所述一部分处或附近时生成的；并且
基于所述3D表示图和所述一组坐标点，生成所述3D模型的参考系与所述医疗器械的参考系之间的配准。21.一种用于在患者的解剖区域内执行医疗程序的系统，所述系统包括：医疗器械，所述医疗器械被配置为插入所述解剖区域内，所述医疗器械包括图像捕获装置；与所述医疗器械相关联的方位传感器；处理器，所述处理器可操作地耦连到所述图像捕获装置和所述方位传感器；以及存储器，所述存储器可操作地耦连到所述处理器并且存储指令，所述指令在由所述处理器执行时使得所述系统执行包括以下操作的操作：接收所述解剖区域的三维模型即3D模型；从所述图像捕获装置获得所述解剖区域内的解剖界标的图像数据；基于所述图像数据来确定所述解剖界标与所述3D模型中的对应模型界标之间的关联；获得由所述方位传感器生成的一组坐标点，其中所述坐标点的至少一部分是在所述医疗器械在所述解剖界标处或附近时生成的；并且至少部分地基于所述解剖界标和所述模...

【专利技术属性】
技术研发人员：T，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：