具有增强视图的可转向内窥镜系统技术方案

本发明专利技术提供了一种具有增强视图的可转向内窥镜系统。增强现实显示包括固定在视场中的虚拟解剖模型、移动通过虚拟模型的内窥镜标记，以及来自内窥镜相机的图像。以及来自内窥镜相机的图像。以及来自内窥镜相机的图像。

【技术实现步骤摘要】
【国外来华专利技术】具有增强视图的可转向内窥镜系统
[0001]相关申请的交叉引用
[0002]本公开要求于2019年11月8日提交的美国临时申请62/932,571和于2019年12月20日提交的美国临时申请62/951,512的优先权和权益，这些美国临时申请的公开内容全文以引用方式并入本文。


[0003]本公开整体涉及医疗装置，并且更具体地涉及具有增强现实视图的可转向内窥镜系统及相关方法和系统。

技术介绍

[0004]医疗内窥镜是长的柔性仪器，其可以在多种情形下，于医疗规程期间引入患者的腔中，以促进腔内的可视化和/或医疗规程。例如，一种类型的镜是在其远侧端部具有相机的内窥镜。内窥镜可以插入患者的口腔、咽喉、气管、食道或其他腔中以帮助可视化解剖构造，或促进诸如活检或消融等规程。内窥镜可以包括可转向远侧尖端，可转向远侧尖端可被主动控制以在所需方向上弯折或转动远侧尖端，从而获得所需视图或导航穿过解剖结构。
[0005]在医疗或临床规程期间，一个人可以操作内窥镜(诸如将其向前或向后推进到患者腔中，使远侧尖端转向，并观察屏幕上的相机图像)，而作为医疗或临床团队成员的其他人则观察或协助。当内窥镜向前或向后移动时，这些人可能难以查看来自内窥镜的相机图像，或难以保持对内窥镜在腔内的位置的准确了解。

技术实现思路

[0006]下面概括了范围与原始要求保护的主题相称的某些方面或实施方案。这些实施方案不旨在限制本公开的范围。实际上，本公开可以涵盖可以与下面阐述的实施方案类似或不同的多种形式。
[0007]在一个方面或实施方案中，提供了一种计算机控制的内窥镜系统，该系统包括具有可转向远侧尖端的内窥镜，该可转向远侧尖端具有产生图像信号的相机和产生取向信号的取向传感器。该系统包括具有描绘来自图像信号的图像的硬件屏幕的第一显示器和具有增强现实显示的第二显示器。增强现实显示包括覆盖在真实世界视场上的计算机生成图形的复合视图。计算机生成的图形包括：任选地固定在视场中的解剖模型，根据取向信号定位在解剖模型中的内窥镜标记，以及描绘相机的实时取景方向的照明。
[0008]计算机生成的图形还可以包括来自图像信号的图像。硬件屏幕可以包括触摸屏。该系统还可以包括控制器，该控制器与内窥镜有线或无线通信并且包括存储指令的硬件存储器，该指令用于接收取向信号，并根据取向信号在解剖模型内移动内窥镜标记。控制器可以包括与提供增强现实显示的AR查看器无线通信的AR控制器。该系统还可以包括内窥镜控制器，该内窥镜控制器包括连接到内窥镜的手柄，其中第一显示器可以安装到手柄，并且其中内窥镜控制器可以将图像信号和取向信号中继到AR控制器。
[0009]在可以独立提供的一个方面或实施方案中，内窥镜系统在视场上设置有增强现实(AR)显示。该系统包括内窥镜、手持式控制器和AR头戴式设备。内窥镜包括具有相机和取向传感器的可转向远侧端部。手持式控制器连接到内窥镜的近侧端部，并包括触摸屏显示器。耳机在视场上提供AR显示。AR显示包括：具有来自内窥镜相机的图像的窗口，与视场中的对象配准的解剖模型，以及在解剖模型中在对应于可转向远侧端部的位置处显示的内窥镜标记。
[0010]在可以独立提供的一个方面或实施方案中，提供了一种图形显示器，该图形显示器包括：对应于患者解剖结构的解剖构造的渲染模型；来自患者解剖结构内的某位置处的内窥镜的图像；以及在对应于内窥镜在患者解剖结构内的位置的位置处覆盖在渲染模型上的图形标记，其中图形标记随着内窥镜在患者解剖结构内的移动而移动通过渲染模型。
[0011]图形标记可以包括模拟的内窥镜。渲染模型可以包括支气管的三维模型。
[0012]在可以独立提供的一个方面或实施方案中，提供了一种用于在视场上生成增强现实显示的计算机实现的方法，该方法包括以下步骤：在控制器处接收来自内窥镜的位置信号，该位置信号包括内窥镜的可转向远侧端部的位置、取向或移动数据；在控制器处接收来自内窥镜的图像信号，该图像信号包括来自内窥镜的远侧端部处的相机的图像数据；在控制器处生成虚拟对象，该虚拟对象包括：包括来自图像信号的图像的浮动窗口；配准到视场中的真实对象的三维解剖模型；以及在内窥镜的当前位置处定位在解剖模型内的内窥镜标记；并且通过头戴式查看器显示虚拟对象。
[0013]该方法可以包括根据来自内窥镜的位置信号和图像信号更新虚拟对象。更新虚拟对象可以包括随着内窥镜的移动在解剖模型内移动内窥镜标记。内窥镜标记可以包括管状体和相机截头锥体。
[0014]在可以独立提供的一个方面或实施方案中，提供了一种用于增强现实控制和显示的方法，该方法包括以下步骤：在控制器处接收来自内窥镜的一个或多个传感器的传感器信号，该传感器信号包括指示患者解剖结构的实时数据；在AR头戴式设备处显示虚拟对象，该虚拟对象包括配准到AR头戴式设备的视场中的对象的解剖模型；并且在控制器处将实时数据投影到解剖模型的一部分的三维(3D)空间中；并且在AR头戴式设备处显示具有所投影的实时数据的解剖模型。
[0015]投影可以包括用图像信号中识别的特征来纹理化解剖模型。投影可以基于经更新的取向信号和经更新的图像信号移动到解剖模型的不同部分。解剖模型的该部分可以基于解剖模型的与内窥镜相机的真实世界视场相关的区域来选择。该方法可以包括在AR头戴式设备处在显示器的单独部分中显示实时数据，其中实时数据从内窥镜相机的视点取向。实时数据可以是来自超声换能器或飞行时间传感器的数据。该方法还可以包括在控制器处识别实时数据与解剖模型之间的偏差，并且在AR头戴式设备处生成该偏差的通知。
[0016]在可独立提供的一个方面或实施方案中，提供了一种计算机实现的方法，该方法包括：从内窥镜接收图像信号和取向信号，该内窥镜包括可转向远侧尖端，该可转向远侧尖端具有产生图像信号的相机和产生取向信号的取向传感器；在第一显示器的硬件屏幕上描绘来自图像信号的图像；并且在第二显示器的增强现实显示上提供复合视图，其中复合视图包括覆盖在真实世界视场上的计算机生成的图形的复合视图，其中计算机生成的图形包括：解剖模型；根据取向信号定位在解剖模型中的内窥镜标记；以及描绘相机的实时取景方
向的照明。
[0017]在可以独立提供的一个方面或实施方案中，提供了一种系统，该系统包括图形显示器和控制器，该控制器被配置为控制该图形显示器以显示：对应于患者解剖结构的解剖构造的渲染模型；来自患者解剖结构内的某位置处的内窥镜的图像；在对应于内窥镜在患者解剖结构内的位置的位置处覆盖在渲染模型上的图形标记，其中控制器被配置为控制图形标记随着内窥镜在患者解剖结构内的移动而移动通过渲染模型。
[0018]一个方面或实施方案中的特征可以按任何适当的组合作为任何其他方面或实施方案中的特征来应用。例如，系统、手柄、控制器、处理器、镜、方法、图形显示器或部件中的任何一个或多个的特征可以在系统、手柄、控制器、处理器、镜、方法、图形显示器或部件中的一个或多个中实现。
附图说明
[0019]通过阅读以下详细描述并参考附图，所公开的技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机控制的内窥镜系统，包括：内窥镜，所述内窥镜包括可转向远侧尖端，所述可转向远侧尖端具有产生图像信号的相机和产生取向信号的取向传感器；第一显示器，所述第一显示器包括描绘来自所述图像信号的图像的硬件屏幕；以及第二显示器，所述第二显示器包括增强现实显示，其中所述增强现实显示包括覆盖在真实世界视场上的计算机生成的图形的复合视图，其中所述计算机生成的图形包括：解剖模型；根据所述取向信号定位在所述解剖模型中的内窥镜标记；以及描绘所述相机的实时取景方向的照明。2.根据权利要求1所述的系统，其中所述计算机生成的图形还包括来自所述图像信号的图像。3.根据权利要求1或2所述的系统，其中所述硬件屏幕包括触摸屏。4.根据任一前述权利要求所述的系统，还包括控制器，所述控制器与所述内窥镜有线或无线通信并且包括存储指令的硬件存储器，所述指令用于接收所述取向信号，并且根据所述取向信号在所述解剖模型内移动所述内窥镜标记。5.根据权利要求4所述的系统，其中所述控制器包括与提供所述增强现实显示的AR查看器无线通信的AR控制器。6.根据权利要求5所述的系统，还包括内窥镜控制器，所述内窥镜控制器包括连接到所述内窥镜的手柄，其中所述第一显示器安装到所述手柄上，并且其中所述内窥镜控制器将所述图像信号和所述取向信号中继到所述AR控制器。7.一种图形显示器，包括：对应于患者解剖结构的解剖构造的渲染模型；来自所述患者解剖结构内的某位置处的内窥镜的图像；在对应于所述内窥镜在所述患者解剖结构内的所述位置的位置处覆盖在所述渲染模型上的图形标记，其中所述图形标记随着所述内窥镜在所述患者解剖结构内的移动而移动通过所述渲染模型。8.根据权利要求7所述的图形显示器，其中所述图形标记包括模拟的内窥镜。9.根据权利要求7或8所述的图形显示器，其中所述渲染模型包括支气管的三维模型。10.一种用于在视场上生成增强现实显示的计算机实现的方法，包括：在控制器处接收来自内窥镜的位置信号，所述位置信号包括所述内窥镜的可转向远侧端部的位置、取向或移动数据；在所述控制器处接收来自所述内窥镜的图像信号，所述图像信号包...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：柯惠股份公司，
类型：发明
国别省市：