用于内窥镜系统中的深度感知和碰撞避免的3D可视化增强技术方案

从内窥镜获得一系列图像。对一系列图像执行三维重建以重建在一系列图像中示出的解剖结构。基于三维重建在一系列图像上呈现诸如网格的图形，从而导致在显示器上示出增强的内窥镜视频馈送。镜视频馈送。镜视频馈送。

【技术实现步骤摘要】
【国外来华专利技术】用于内窥镜系统中的深度感知和碰撞避免的3D可视化增强


[0001]本公开整体涉及外科机器人领域，并且更具体地涉及产生用于深度感知或碰撞避免的视觉增强。

技术介绍

[0002]微创外科手术(MIS)诸如腹腔镜手术涉及旨在在外科规程期间减少组织损伤的技术。例如，腹腔镜规程通常涉及在患者体内(例如，在腹部)形成多个小切口，以及通过切口将一个或多个工具和至少一个内窥镜相机引入患者体内。然后通过使用引入的工具在由相机提供的可视化辅助下执行外科规程。
[0003]一般来讲，MIS提供多重有益效果，诸如减少患者疤痕、减轻患者疼痛、缩短患者恢复期以及降低与患者恢复相关联的医疗费用。在一些实施方案中，可利用外科机器人系统执行MIS，该外科机器人系统包括用于基于来自操作者的命令操纵外科工具的一个或多个机器人臂。例如，操作者可提供用于操纵外科工具的命令，同时查看由相机提供并在显示器上向用户显示的图像。
[0004]如上所述，MIS可包括将内窥镜插入患者体内以在手术期间提供患者的内部解剖结构的影像。微创外科手术工具在内窥镜的视野内被插入到患者体内。内窥镜视图允许外科医生看到工具，使得工具能够被移动和操纵，例如，以执行切割、抓取或缝合。
[0005]在远程操作期间，当前的3D内窥镜视图可以利用双眼线索提供对深度和距离的感知。这允许用户判断工作空间和工具之间的相对位置。然而，这种系统可能变得无效。取决于内窥镜视点、照明条件和工作空间中的纹理，用户可能难以测量对象和工具的距离。这对新用户和有经验的用户同样提出了挑战。当使用标准二维显示器时，由于缺乏空间线索，这个问题可能会加剧。不管是在三维立体显示器上还是在标准二维显示器上示出，内窥镜视图中示出的距离的不确定性都可能由于不确定性而导致外科手术执行速度变慢
‑‑
用户可能较慢地执行外科手术以维持准确性或降低工具之间或工具与患者解剖结构之间的不期望接触的风险。

技术实现思路

[0006]可以增强远程操作期间或手动执行的操作的内窥镜可视化。一种系统和方法可以在现有内窥镜视图上呈现图形，该图形可以包括示出或增强在内窥镜图像馈送中检测到的表面的形状和轮廓的可见性的图案(例如，3D网格线或网眼)。图形可以包括外科工具位置的几何参考。这种参考可以帮助观察者辨别工具相对于患者的组织、器官和其他内部解剖结构的位置。这种系统可以增强用户对内窥镜场景以及工具与环境之间的相对距离的深度感知。内窥镜场景是由内窥镜的图像传感器捕获的环境。例如，当插入患者中时，内窥镜场景可以包括患者的解剖结构，诸如组织、器官、肌肉、骨等。
[0007]在一些实施方案中，执行一种改善对内窥镜视图的深度感知的方法。该方法包括获得从内窥镜获得的一系列图像，换句话说，内窥镜视频馈送。对一系列图像执行三维重建
以重建在一系列图像中示出的解剖结构。基于三维重建在一系列图像上呈现图形(例如，图案、网格等)，从而导致在显示器上示出增强的内窥镜视频馈送。该方法可以用外科机器人系统和/或手动微创外科手术工具来执行。以此方式，可改进用户的操作性能且可减少诸如工具之间或工具与内部解剖结构之间的无意碰撞。
[0008]图形可视化增强可以被显示在三维显示器(例如，立体显示器)上，该三维显示器被呈现在内窥镜视图之上或“顶上”。还可以在用于远程操作、仿真或训练场景的虚拟现实或增强现实设置(例如，具有头戴式显示器)中利用3D重建场景。附加地或替代地，增强(例如，几何网格线及位置参考)还可在标准二维屏幕上实施并提供三维场景的单眼线索。用户可以通过诸如手持控制器、图形用户界面、语音识别或其他等效输入装置之类的用户输入装置来完全或部分地启用或禁用图形覆盖。
[0009]上述
技术实现思路
不包括本公开的所有实施方案的详尽列表。可以设想的是，本公开包括可由上文概述的各种实施方案的所有合适组合以及下文具体实施方式中描述并且在权利要求部分中特别指出的那些来实践的系统和方法。一些组合可具有未具体叙述的特定优点。
附图说明
[0010]图1示出了根据一些实施方案的手术室中的外科机器人系统的示例。
[0011]图2示出了根据一些实施方案的用于提供增强的内窥镜视频馈送的过程。
[0012]图3例示说明了根据一些实施方案的用于提供增强的内窥镜视频馈送的系统。
[0013]图4例示说明了根据一些实施方案的增强的内窥镜馈送。
[0014]图5例示说明了根据一些实施方案的具有指示一个或多个工具的位置的图形的增强的内窥镜馈送。
[0015]图6和图7示出根据一些实施方案的具有警告系统的增强的内窥镜馈送。
具体实施方式
[0016]本专利技术的各种实施方案和变型的非限制性示例在本文中描述并在附图中示出。
[0017]参见图1，这是手术场所中的示例性外科机器人系统1的绘画视图。系统1包括用户控制台2、控制塔3以及在外科机器人平台5(例如，台、床等)处的一个或多个外科机器人臂4。臂4可以安装到患者所躺的台或床上，如图1的示例中所示，或者它们可以安装到与台或床分离的手推车上。系统1可以结合用于对患者6执行手术的任何数量的装置、工具或附件。例如，系统1可包括用于执行外科手术的一个或多个外科工具7。外科工具7可以是附接到外科臂4的远侧端部的端部执行器，用于执行外科规程。
[0018]每个外科工具7可在外科手术期间手动操纵、通过机器人操纵或两者。例如，外科工具7可以是用于进入、查看或操纵患者6的内部解剖结构的工具。在一个方面，外科工具7为可抓持患者的组织的抓持器。外科工具7可被配置为由床边操作者8手动地控制、经由其附接到的外科机器人臂4的致动移动来通过机器人控制、或两者。机器人臂4被示出为台上安装的，但在其他配置中，臂4可安装到手推车、天花板或侧壁，或者安装到另一个合适的结构支撑件。
[0019]远程操作者9(诸如外科医生或其他人类操作者)可使用用户控制台2以远程操纵
臂4和其附接的外科工具7，例如在此称为远程操作。用户控制台2可位于与系统1的其余部分相同的手术室中，如图1所示。然而，在其他环境中，用户控制台2可位于相邻或附近的房间中，或者其可位于远程位置，例如，在不同的建筑物、城市或国家中。用户控制台2可包括座椅10、脚动控件13、一个或多个手持式用户输入装置(UID)14以及至少一个用户显示器15，该用户显示器被配置为显示例如患者6体内的外科手术部位的视图。在示例性用户控制台2中，远程操作者9坐在座椅10中并查看用户显示器15，同时操纵脚动控件13和手持式UID 14，以便远程控制臂4和安装在臂4的远侧端部上的外科工具7。
[0020]在一些变型中，床边操作者8可以“床上”模式操作系统1，其中床边操作者8(用户)位于患者6的一侧并且同时操纵机器人驱动的工具(附接到臂4的端部执行器)，其中用一只手握持手持式UID 14并且用另一只手握持手动腹腔镜工具。例如，床边操作者的左手可操纵手持式UID以控制机器人驱动的工具，而床边操作者的右手可操纵手动腹腔镜工具。在系统1的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：获得从内窥镜获得的一系列图像；对所述一系列图像执行三维重建，以重建在所述一系列图像中示出的解剖结构；以及基于所述三维重建在所述一系列图像上呈现图形，从而导致在显示器上示出增强的内窥镜视频馈送。2.根据权利要求1所述的方法，其中，所述图形包括投影到所述解剖结构的一个或多个检测表面上的图案。3.根据权利要求2所述的方法，其中，所述图案包括网格、线和点中的至少一者。4.根据权利要求1所述的方法，其中，所述图形包括示出在所述一系列图像中捕获的外科工具的位置的一条或多条线。5.根据权利要求1所述的方法，其中，所述图形指示以下各项中的至少一项：两个或更多个工具之间的距离，或者工具与在所述一系列图像中捕获的所述解剖结构之间的距离。6.根据权利要求1所述的方法，还包括，如果工具被确定为在接近(a)另一工具或(b)所述解剖结构的指定区域的阈值内，则提供视觉或音频警告。7.根据权利要求1所述的方法，其中，所述内窥镜包括立体相机，所述立体相机具有至少两个透镜和在不同有利位置处的对应图像传感器，并且所述三维重建包括在所述立体相机的图像之间建立立体对应以重建所述解剖结构。8.根据权利要求1所述的方法，其中，执行三维重建包括从外科机器人臂或工具驱动器获得位置信息，以确定所述一个或多个外科工具的位置，所述外科机器人臂或所述工具驱动器引起所述一系列图像中示出的一个或多个外科工具中的移动。9.根据权利要求1所述的方法，其中，所述三维重建包括分析在所述一系列图像中捕获的结构光以重建所述解剖结构。10.根据权利要求1所述的方法，其中，所述三维重建包括将机器学习模型应用于所述一系列图像以重建所述解剖结构。11.根据权利要求1所述的方法，其中，所述一系列图像包括一个或多个手动操作的外科工具。12.根据权利要求1所述的方法，其中...

【专利技术属性】
技术研发人员：徐一鸣，B，
申请(专利权)人：威博外科公司，
类型：发明
国别省市：