使用点云数据将器械配准到图像的系统和方法技术方案

本申请公开一种系统，该系统可以包括处理器和其上存储有计算机可读指令的存储器。当由处理器执行时，计算机可读指令可以使系统在图像捕获时段期间记录来自器械的形状传感器的形状数据，并从记录的形状数据生成传感器点云。当由处理器执行时，计算机可读指令还可以使系统在图像捕获时段期间从成像系统接收图像数据，从图像数据为器械生成图像点云，并将传感器点云配准到图像点云。传感器点云配准到图像点云。传感器点云配准到图像点云。

System and method for registering devices to images using point cloud data

【技术实现步骤摘要】
【国外来华专利技术】使用点云数据将器械配准到图像的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求2019年11月8日提交的美国临时申请62/932,965的权益，该申请通过引用整体被并入本文。


[0003]本公开涉及用于配准器械和图像参考系的系统和方法。

技术介绍

[0004]微创医疗技术旨在减少在医疗程序期间受损的组织量，从而减少患者恢复时间、不适和有害副作用。这种微创技术可以通过患者解剖结构中的自然孔口或通过一个或多个外科手术切口来执行。通过这些自然孔口或切口，操作者可以插入微创医疗工具以到达目标组织位置。微创医疗工具包括诸如治疗、诊断、活检和外科手术器械的器械。医疗工具可以被插入解剖通道中并朝向患者解剖结构内的感兴趣部位导航。可以使用解剖通道的图像辅助导航。需要改进的系统和方法来准确地执行医疗工具和解剖通道的图像之间的配准。

技术实现思路

[0005]与一些实施例一致，一种系统可以包括处理器和其上存储有计算机可读指令的存储器。当由处理器执行时，计算机可读指令可以使系统在图像捕获时段期间记录来自器械的形状传感器的形状数据，并从记录的形状数据生成传感器点云。当由处理器执行时，计算机可读指令还可以使系统在图像捕获时段期间从成像系统接收图像数据，从图像数据为器械生成图像点云，并将传感器点云配准到图像点云。
[0006]与一些实施例一致，一种非暂时性机器可读介质可以包括多个机器可读指令，当由与计算机辅助医疗系统设备相关联的一个或多个处理器执行时，多个机器可读指令适于使一个或多个处理器执行一种方法，该方法可包括在图像捕获时段期间记录来自器械的形状传感器的形状数据，并从记录的形状数据生成传感器点云。所执行的方法还可以包括在图像捕获时段期间从成像系统接收图像数据，从图像数据为器械生成图像点云，以及将传感器点云配准到图像点云。
[0007]其他实施例包括记录在一个或多个计算机存储设备上的对应计算机系统、装置和计算机程序，每个计算机系统、装置和计算机程序均被配置为执行方法的动作。
[0008]应当理解，前述大致描述和以下详细描述两者本质上都是示例性和解释性的，并且旨在提供对本公开的理解而不限制本公开的范围。就这一点而言，本公开的附加方面、特征和优点对于本领域技术人员而言从以下详细描述中将是显而易见的。
附图说明
[0009]图1图示了根据一些实施例的机器人或远程操作医疗系统的简化图。
[0010]图2图示了根据一些实施例的医疗器械系统和术中成像系统的简化图。
[0011]图3图示了显示配准到解剖图像的医疗器械的图像的显示系统。
[0012]图4图示了用于将术中图像配准到来自医疗器械的形状数据的方法。
[0013]图5图示了形成医疗器械的形状的多个点。
[0014]图6图示了患者解剖结构的术中图像。
[0015]图7图示了从图6的图像生成的多个点。
[0016]本公开的实施例及其优点通过参考下面的详细描述得到最好的理解。应当理解，相似的附图标记用于标识在一幅或多幅图中图示的相似元素，其中示出的目的是为了说明本公开的实施例而不是为了限制本公开的实施例。
具体实施方式
[0017]本文档中公开的技术可用于将医疗器械参考系配准到包括医疗器械图像的术中解剖图像的图像参考系。通常，解剖运动可能导致术中图像过于失真而无法清楚地隔离和分割导管，并且会导致医疗器械方位数据摇动。通过将医疗器械的术中图像表示为点云并将医疗器械的形状(在图像捕获时段期间)表示为点云，点匹配配准技术(例如迭代最近点技术)可以用于配准传感器点云和图像点云。这种配准技术的稳健性允许将图像参考系配准到医疗器械参考系，尽管患者解剖运动使数据扩散。
[0018]在一些实施例中，本公开的配准技术可以用在利用远程操作医疗系统执行的图像引导的医疗程序中，如下文进一步详细描述的。如图1所示，远程操作医疗系统100通常包括操纵器组件102，用于操作医疗器械104以对定位在外科手术环境101中的手术台T上的患者P执行各种程序。操纵器组件102可以是具有可以是机动的和/或远程操作的选定运动自由度以及可以是非机动和/或非远程操作的选定运动自由度的远程操作的、非远程操作的或者混合远程操作和非远程操作组件。可以在外科手术环境101内部或外部的主组件106通常包括用于控制操纵器组件102的一个或多个控制设备。操纵器组件102支撑医疗器械104并且可以可选地包括响应于来自控制系统112的命令驱动在医疗器械104上的输入的多个致动器或电机。致动器可以可选地包括驱动系统，该驱动系统在耦合到医疗器械104时可以将医疗器械104推进到自然或外科手术创建的解剖孔口中。其他驱动系统可以以多个自由度移动医疗器械104的远端，多个自由度可以包括三个线性运动自由度(例如，沿X、Y、Z笛卡尔轴线的线性运动)和三个旋转运动自由度(例如，围绕X、Y、Z笛卡尔轴线旋转)。此外，致动器可以用于致动医疗器械104的关节式末端执行器，用于抓握活检设备和/或类似物的钳口中的组织。
[0019]远程操作医疗系统100还包括用于显示由传感器系统108和/或内窥镜成像系统109生成的外科手术位点和医疗器械104的图像或表示图的显示系统110。显示系统110和主组件106可以被定向为使得操作者O可以以远程呈现的感知来控制医疗器械104和主组件106。
[0020]在一些实施例中，医疗器械104可以包括用于外科手术、活检、切除、照明、冲洗或抽吸的部件。可选地，医疗器械104与传感器系统108一起可用于收集(即，测量)一组数据点，该组数据点对应于患者(例如患者P)的解剖通道内的位置。在一些实施例中，医疗器械104可以包括成像系统109的部件，该成像系统109可以包括成像范围组件或成像器械，成像范围组件或成像器械记录外科手术位点的即时或实时图像并通过显示系统110将图像提供
给操作者或操作者O。即时图像可以是例如由定位在外科手术位点内的成像器械捕获的二维或三维图像。在一些实施例中，成像系统部件可以被整体地或可移除地耦合到医疗器械104。然而，在一些实施例中，附接到单独的操纵器组件的单独的内窥镜可以与医疗器械104一起使用以对外科手术位点进行成像。成像系统109可以被实施为与一个或多个计算机处理器交互或以其他方式由一个或多个计算机处理器执行的硬件、固件、软件或其组合，该一个或多个计算机处理器可以包括控制系统112的处理器。
[0021]传感器系统108可以包括用于确定医疗器械104的方位、取向、速度、速率、姿态和/或形状的方位/位置传感器系统(例如，电磁(EM)传感器系统)和/或形状传感器系统。
[0022]远程操作医疗系统100还可以包括控制系统112。控制系统112包括至少一个存储器116和至少一个计算机处理器114，用于实现医疗器械104、主组件106、传感器系统108、内窥镜成像系统109和显示系统110之间的控制。控制系统112还包括编程指令(例如，存储指令的非暂时性机器可读介质)以实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：处理器；以及其上存储有计算机可读指令的存储器，当由所述处理器执行时，所述计算机可读指令使所述系统：在图像捕获时段期间记录来自器械的形状传感器的形状数据；从记录的形状数据生成传感器点云；在所述图像捕获时段期间从成像系统接收图像数据；从所述图像数据为所述器械生成图像点云；并且将所述传感器点云配准到所述图像点云。2.根据权利要求1所述的系统，其中所述形状数据包括形成所述形状传感器的形状的多个点的方位信息。3.根据权利要求1所述的系统，其中所述器械在所述图像捕获时段期间在多个配置之间移动，并且所述传感器点云包括当所述器械处于所述多个配置时沿所述形状传感器的多个点的方位信息。4.根据权利要求1所述的系统，其中生成所述图像点云包括从所述图像数据分割所述器械的图像。5.根据权利要求4所述的系统，其中从所述图像数据分割所述器械的所述图像包括基于所述记录的形状数据识别所述图像数据中的感兴趣区域。6.根据权利要求1所述的系统，其中将所述传感器点云配准到所述图像点云包括使用迭代最近点技术。7.根据权利要求1所述的系统，其中将所述传感器点云配准到所述图像点云包括识别所述传感器点云中的传感器种子点并且包括识别所述图像点云中的图像种子点。8.根据权利要求7所述的系统，其中所述传感器种子点和所述图像种子点对应于所述器械的远侧末端。9.根据权利要求7所述的系统，其中所述传感器种子点和所述图像种子点对应于所述器械的近侧区域。10.根据权利要求7所述的系统，其中所述传感器种子点或所述图像种子点之一经由用户输入来识别。11.根据权利要求1所述的系统，其中所述传感器点云包括传感器包络边界并且所述图像点云包括图像包络边界，并且其中将所述传感器点云配准到所述图像点云包括配准所述传感器包络边界和所述图像包络边界。12.根据权利要求1所述的系统，其中所述形状传感器包括在所述器械内延伸的光纤形状传感器。13.根据权利要求1所述的系统，还包括所述成像系统。14.根据权利要求1所述的系统，还包括所述器械。15.一种非暂时性机器可读介质，其包括多个机器可读指令...

【专利技术属性】
技术研发人员：F，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：