用于在外科手术过程期间的图像映射和融合的系统和方法技术方案

本发明专利技术提供了一种用于映射和融合内窥镜图像的方法，该方法包括：由第一成像设备捕获在外科手术部位内的对象的第一图像；以及由第二成像设备捕获该对象的第二图像。该第一图像包括从该对象辐射的第一光，以及第一参考点。该第二图像包括从该对象辐射的第二光，以及第二参考点。该方法还包括：将在该第一图像中的该第一参考点的第一位置与在该第二图像中的该第二参考点的第二位置进行比较；基于该比较来确定该第一成像设备与该第二成像设备的相对姿态；基于所确定的相对姿态来生成融合该第一图像和该第二图像的增强图像；以及在显示器上显示该增强图像。上显示该增强图像。上显示该增强图像。

【技术实现步骤摘要】
【国外来华专利技术】用于在外科手术过程期间的图像映射和融合的系统和方法


[0001]本公开涉及用于映射和融合来自多个源的图像的设备、系统和方法，并且更具体地涉及在外科手术过程期间的来自多个源的图像的融合。

技术介绍

[0002]机器人外科手术系统诸如远程手术系统用于执行微创外科手术过程，其与传统的开放外科手术技术相比提供许多益处，包括减轻疼痛、缩短住院时间、能更快地恢复正常活动、最小化疤痕、减少恢复时间以及减少对组织的损伤。
[0003]机器人外科手术系统可具有多个机械臂，该多个机械臂响应于查看由外科手术部位的图像捕获设备捕获的图像的外科医生对输入设备的移动而移动所附接的器械或工具，诸如图像捕获设备、缝合器、电外科器械等。在机器人外科手术过程期间，工具中的每个工具通过开口(自然开口或切口)插入患者体内并被定位成在外科手术部位处操纵组织。开口围绕患者的身体安排，使得外科手术器械可用于协作地执行机器人外科手术过程，并且图像捕获设备可观察外科手术部位。
[0004]在机器人外科手术过程期间，准确地了解和控制工具在外科手术部位内的位置是重要的。因此，持续需要用于在机器人外科手术过程期间映射和融合来自多个图像源的外科手术部位的图像的系统和方法。

技术实现思路

[0005]本公开涉及用于在外科手术过程期间融合来自多个源的图像的设备、系统和方法。根据本公开的各方面，提出了一种用于内窥镜图像中的对象识别的系统。该系统包括光源、第一成像设备、第二成像设备和成像设备控制单元。该光源被配置为在外科手术部位内提供光。
[0006]在本公开的一方面，一种用于映射和融合内窥镜图像的系统包括：光源，该光源被配置为在外科手术部位内提供光；第一成像设备，该第一成像设备被配置为从该外科手术部位获取图像；第二成像设备，该第二成像设备被配置为从该外科手术部位获取图像；显示器；和成像设备控制单元，该成像设备控制单元被配置为控制该第一成像设备和该第二成像设备。该光源被配置为产生包括红外(IR)带的第一光和被配置为产生可见带的第二光。该控制单元包括处理器和存储器，该存储器上存储有指令。该指令在由该处理器执行时使该系统：由该第一成像设备捕获在外科手术部位内的对象的第一图像，该图像包括从该对象辐射的该第一光，以及第一参考点；由该第二成像设备捕获该对象的第二图像，该图像包括从该对象辐射的该第二光，以及第二参考点；将在该第一图像中的该第一参考点的第一位置与在该第二图像中的该第二参考点的第二位置进行比较；基于该比较来确定该第一成像设备与该第二成像设备的相对姿态；基于所确定的相对姿态来生成融合该第一图像和该第二图像的增强图像；以及在该显示器上显示该增强图像。
[0007]在本公开的一方面，该光源可被配置为产生包括红外(IR)带的第一光和被配置为
产生可见带的第二光。
[0008]在本公开的另一方面，该第一参考点可包括结构光，并且其中该第二参考点包括结构光。
[0009]在本公开的又一方面，生成该增强图像还可包括确定虚拟成像设备视角。生成该增强图像还可基于该虚拟成像设备视角。
[0010]在本公开的另一方面，生成该增强视图还可包括：确定该第一成像设备的第一光路畸变和该第二成像设备的第二光路畸变；以及基于该第一光路畸变来处理该第一图像以匹配该第二光路畸变。
[0011]在本公开的另一方面，该指令在被执行时还可使该系统基于该第一参考点和该第二参考点执行对该对象的跟踪。
[0012]在本公开的另一方面，该第一参考点和该第二参考点可包括标识、纹理、点图案和/或唯一标识符。
[0013]在本公开的又一方面，该第一图像可包括该第一图像的每个像素的第一距离信息。该第二图像可包括该第二图像的每个像素的第二距离信息。该第一成像设备的该相对姿态还可基于该第一距离信息和该第二距离信息。
[0014]在本公开的另一方面，该生成该增强图像还包括该第一图像的包括该对象的部分，以表示在该增强图像中的该对象，并且该增强图像的剩余部分包括该第一图像和该第二图像的融合。
[0015]根据本公开的各方面，提出了一种用于映射和融合内窥镜图像的方法。该方法包括由第一成像设备捕获在外科手术部位内的对象的第一图像；以及由第二成像设备捕获该对象的第二图像。该第一图像包括从该对象辐射的第一光，以及第一参考点。该第二图像包括从该对象辐射的第二光，以及第二参考点。该方法还包括：将在该第一图像中的该第一参考点的第一位置与在该第二图像中的该第二参考点的第二位置进行比较；基于该比较来确定该第一成像设备与该第二成像设备的相对姿态；基于所确定的相对姿态来生成融合该第一图像和该第二图像的增强图像；以及在显示器上显示该增强图像。
[0016]在本公开的又一方面，该第一光可包括红外(IR)带，并且该第二光包括可见带。
[0017]在本公开的又一方面，该第一参考点可包括结构光，并且该第二参考点可包括结构光。
[0018]在本公开的另一方面，生成该增强图像还可包括确定虚拟成像设备视角。生成该增强图像还可基于该虚拟成像设备视角。
[0019]在本公开的又一方面，生成该增强视图还可包括：确定该第一成像设备的第一光路畸变和该第二成像设备的第二光路畸变；以及基于该第一光路畸变来处理该第一图像以匹配该第二光路畸变。
[0020]在本公开的另一方面，该方法还可包括基于该第一参考点和该第二参考点执行对该对象的跟踪。
[0021]在本公开的一方面，该第一参考点和该第二参考点可包括标识、纹理、点图案和/或唯一标识符。
[0022]根据本公开的各方面，该第一图像可包括该第一图像的每个像素的第一距离信息。
[0023]该第二图像可包括该第二图像的每个像素的第二距离信息。该第一成像设备的该相对姿态还可基于该第一距离信息和该第二距离信息。
[0024]在本公开的另一方面，该生成该增强图像还可包括仅使用该第一图像的包括该对象的部分，以表示该对象，并且该增强图像的剩余部分包括该第一图像和该第二图像的融合。
[0025]在本公开的又一方面，该第一成像设备和该第二成像设备可包括立体图成像设备。
[0026]根据本公开的各方面，提出了一种非暂时性存储介质，该非暂时性存储介质存储程序，该程序使计算机执行用于映射和融合内窥镜图像的计算机实施的方法。该方法包括由第一成像设备捕获在外科手术部位内的对象的第一图像；以及由第二成像设备捕获该对象的第二图像。该第一图像包括从该对象辐射的第一光，以及第一参考点。该第二图像包括从该对象辐射的第二光，以及第二参考点。该方法还包括：将在该第一图像中的该第一参考点的第一位置与在该第二图像中的该第二参考点的第二位置进行比较；基于该比较来确定该第一成像设备与该第二成像设备的相对姿态；基于所确定的相对姿态来生成融合该第一图像和该第二图像的增强图像；以及在显示器上显示该增强图像。
[0027]根据本公开的各方面，一种用于映射和构建3D模型的系统包括：显示器；光源，该光源被配置为在外科手术部位内提供光；第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于映射和融合内窥镜图像的系统，所述系统包括：显示器；光源，所述光源被配置为在外科手术部位内提供光，所述光源被配置为产生包括红外(IR)带的第一光和被配置为产生可见带的第二光；第一成像设备，所述第一成像设备被配置为从所述外科手术部位获取图像；第二成像设备，所述第二成像设备被配置为从所述外科手术部位获取图像；和成像设备控制单元，所述成像设备控制单元被配置为控制所述第一成像设备和所述第二成像设备，所述控制单元包括：处理器；和存储器，所述存储器上存储有指令，所述指令在由所述处理器执行时使所述系统：由所述第一成像设备捕获在外科手术部位内的对象的第一图像，所述第一图像包括从所述对象辐射的所述第一光，以及第一参考点；由所述第二成像设备捕获所述对象的第二图像，所述第二图像包括从所述对象辐射的所述第二光，以及第二参考点；将在所述第一图像中的所述第一参考点的第一位置与在所述第二图像中的所述第二参考点的第二位置进行比较；基于所述比较来确定所述第一成像设备与所述第二成像设备的相对姿态；基于所确定的相对姿态来生成融合所述第一图像和所述第二图像的增强图像；以及在所述显示器上显示所述增强图像。2.根据权利要求1所述的系统，其中所述光源被配置为产生包括红外(IR)带的第一光和被配置为产生可见带的第二光。3.根据权利要求1所述的系统，其中所述第一参考点包括结构光，并且其中所述第二参考点包括结构光。4.根据权利要求3所述的系统，其中生成所述增强图像还包括：确定虚拟成像设备视角，并且其中生成所述增强图像还基于所述虚拟成像设备视角。5.根据权利要求1所述的系统，其中生成所述增强视图还包括：确定所述第一成像设备的第一光路畸变和所述第二成像设备的第二光路畸变；以及基于所述第一光路畸变来处理所述第一图像以匹配所述第二光路畸变。6.根据权利要求1所述的系统，其中所述指令在被执行时还使所述系统基于所述第一参考点和所述第二参考点执行对所述对象的跟踪。7.根据权利要求1所述的系统，其中所述第一参考点和所述第二参考点包括标识、QR码、纹理、点图案或唯一标识符中的至少一者。8.根据权利要求1所述的系统，其中所述第一图像包括所述第一图像的每个像素的第一距离信息，其中所述第二图像包括所述第二图像的每个像素的第二距离信息，并且其中所述第一成像设备的所述相对姿态还基于所述第一距离信息和所述第二距离信息。9.根据权利要求1所述的系统，其中所述生成所述增强图像还包括所述第一图像的包
括所述对象的部分，以表示在所述增强图像中的所述对象，并且所述增强图像的剩余部分包括所述第一图像和所述第二图像的融合。10.一种用于映射和融合内窥镜图像的方法，所述方法包括：由第一成像设备捕获在外科手术部位内的对象的第一图像，所述第一图像包括从所述对象辐射的第一光，以及第一参考点；由第二成像设备捕获所述对象的第二图像，所述第二图像包括第二参考点和从所述对象辐射的所述第二光，以及第二参考点；将在所述第一图像中的所述第一参考点的第一位置与在所述第二图像中的所述第二参考点的第二位置进行比较；基于所述比较来确定所述第一成像设备与所述第二成像设备的相对姿态；基于所确定的相对姿态来生成融合所述第一图像和所述第二图像的增强图像；以及在显示器上显示所述增强图像。11.根据权利要求10所述的方法，其中所述第一光包括红外(IR)带，并且所述第二光包括可见带。12.根据权利要求10所述的方法，其中所述第一参考点包括结构光，并且其中所述第二参考点包括结构光。13.根据权利要求12所述的方法，其中生成所述增强图像还包括：确定虚拟成像设备视角，并且其中生成所述增强图像还基于所述虚拟成像设备视角。14.根据权利要求10所述的方法，其中生成所述增强视图还包括：确定所述第一成像设备的第一光路畸变和所述第二成像设备的第二光路畸变；以及基于所述第一光路畸变来处理所述第一图像以匹配所述第二光路畸变。15.根据权利要求10所述的方法，其中所述方法还包括基于所述第一参考点和所述第二参考点执行对所述对象的跟踪。16.根据权利要求10所述的方法，其中所述第一参考点和所述第二参考点包括标识、QR码、纹理、点图案或唯一标识符中的至少一者。17.根据权利要求10所述的方法，其中所述第一图像包括所述第一图像的每个像素的第一距离信息，其中所述第二图像包括所述第二图像的每个像素的第二距离信息，并且其中所述第一成像设备的所述相对姿态还基于所述第一距离...

【专利技术属性】
技术研发人员：德怀特，
申请(专利权)人：柯惠LP公司，
类型：发明
国别省市：