增强手术现实环境制造技术

本公开涉及一种用于在手术操作期间观察感兴趣区域的增强图像的增强现实手术系统。所述系统包括捕获感兴趣区域的图像的图像捕获装置。控制器接收所述图像并且对所述图像应用至少一个图像处理滤波器。所述图像处理滤波器包括将所述图像分解成空间频带的空间分解滤波器。时间滤波器被应用于所述空间频带以产生时间滤波带。相加器将所述空间频带中的每个带与对应的时间滤波带相加以产生增强带。重构滤波器通过合并所述增强带来产生增强图像。显示器向用户显示所述增强图像。

【技术实现步骤摘要】
【国外来华专利技术】增强手术现实环境相关申请的交叉引用本申请要求2014年7月25日提交的、申请号是62/028,974的美国临时专利申请的权益和优先权，该申请的全部公开通过引用方式并入本文中。
本公开涉及用于改善患者的手术预后的手术技术。更具体地，本公开针对用于在执行手术技术的同时增强和加强临床医生的视场的系统和方法。
技术介绍
微创手术涉及代替使用一个较大的开口而使用多个小切口来执行手术操作。小切口减少了患者的不适并改善了恢复时间。小切口也限制了内部器官、组织和其他物质的可见度。内窥镜被插入到一个或多个切口中，以使临床医生在手术期间更容易看到体内的内部器官、组织和其他物质。这些内窥镜包括联接到显示器的具有光学和/或数字变焦能力的相机，显示器显示如通过相机捕获的体内的器官、组织以及物质的放大视图。现有的内窥镜和显示器，特别是那些在手术机器人系统中使用的内窥镜和显示器具有有限的识别在相机的视场内但在显示器上所显示的光谱内不完全可见的状况或对象的能力。例如，现有的微创和机器人手术工具(包括但不限于内窥镜和显示器)的以下能力有限(如果有的话)：在切除后识别组织灌注，在组织内定位不同尺寸的动脉，测量血管密封的有效性，从热特征(heatsignature)识别患病的或死亡的组织，在切除后验证适当的功能，区分敏感区域(例如，输尿管)和周围物质(例如，周围血液)，以及检测对当前测试不可见的超小泄漏。在一些手术中，或者未实施这些检查，或者实施了更多创伤和/或耗时的测试以检查这些和其他状况和对象。存在对在手术期间识别在手术相机的视场内但在显示器上所显示的光谱内不完全可见的更大范围的可能状况或对象的需要。
技术实现思路
在本公开的一方案中，提供了一种用于在手术操作期间观察感兴趣区域的增强图像的增强现实手术系统。所述系统包括图像捕获装置，所述图像捕获装置被配置为捕获所述感兴趣区域的图像。所述系统还包括控制器，所述控制器被配置为接收所述图像并且对所述图像应用至少一个图像处理滤波器以产生增强图像。所述图像处理滤波器包括：空间分解滤波器，其被配置为将所述图像分解成多个空间频带；时间滤波器，其被配置为应用于所述多个空间频带以产生多个时间滤波带；相加器(adder)，其被配置为将所述多个空间频带中的每个带与所述多个时间滤波带中的对应带相加，以产生多个增强带；和重构滤波器，其被配置为通过合并所述多个增强带来产生增强图像。然后向用户显示所述增强图像。所述图像捕获装置可以捕获具有多个图像帧的视频，并且所述控制器将所述至少一个图像处理滤波器应用于所述多个图像帧中的每个图像帧。所述时间滤波器从所述多个空间频带中隔离至少一个空间频带，以产生所述多个时间滤波带。在所述多个空间频带中的每个带与所述多个时间滤波带中的对应带相加以产生所述多个增强带之前，所述多个时间滤波带通过放大器放大。所述图像处理滤波器可以使用被配置为高亮所述图像中的一个或多个边缘的边缘检测算法，其中一个或多个高亮的边缘被添加到所述增强图像。所述系统可以包括被配置为获取多个高光谱图像的至少一个高光谱传感器(hyper-spectralsensor)。所述图像处理滤波器使用高光谱算法来组合所述多个光谱图像以产生三维高光谱图像立方体，所述三维高光谱图像立方体添加到所述增强图像。所述系统还可以包括红外相机，所述红外相机被配置为捕获至少一个图像，其中所述图像处理滤波器产生红外图像，该红外图像被添加到所述增强图像。在本公开的另一个方案中，提供了一种用于产生增强图像的方法。非暂时性计算机可读介质包括但不限于闪存、光盘和固态驱动器，该非暂时性计算机可读介质可以存储指令，所述指令在由包括但不限于控制器或中央处理单元的处理设备执行时使处理设备执行一个或多个功能，包括本文所述的方法。方法可以包括利用图像捕获装置捕获至少一个图像。所述至少一个图像被分解以产生多个空间频带。时间滤波器被应用于所述多个空间频带以产生多个时间滤波带。所述多个空间频带中的每个带与所述多个时间滤波带中的对应带相加，以产生多个增强带。所述多个增强带被合并以产生增强图像，该增强图像显示在显示器上。从所述多个空间频带隔离至少一个空间频带。在将所述多个空间频带中的每个带与所述多个时间滤波带中的对应带相加以产生多个增强带之前，可以放大所述时间滤波带。边缘检测算法可以被应用为高亮所述图像中的一个或多个边缘，并且所述一个或多个高亮的边缘被添加到所述增强图像。可以获取多个高光谱图像。所述多个高光谱图像被组合以产生三维高光谱图像立方体。所述三维高光谱图像立方体被添加到所述增强图像。红外图像可以被获取并添加到所述增强图像。附图说明根据下文的详细描述并结合附图，本公开的上述和其他方案、特征和优点将变得更加明显，其中：图1是用于增强手术环境的系统的框图；图2A至图2D是如何可能实现图1的系统的示例；图3是图1的控制器的系统框图；图4是用于增强图像或视频的系统的第一框图；图5是用于增强图像或视频的系统的第二框图；图6是用于增强图像或视频的系统的第三框图；图7是用于增强图像或视频的系统的第四框图；以及图8是机器人手术系统的系统框图。具体实施方式可以分析在手术操作期间从手术相机捕获的图像数据以识别相机视场内的对象的附加的不可感知属性，所述对象可以是不可见的或可见的，但是使人在观看显示在屏幕上的相机图像时难以清楚地看到。可以将各种图像处理技术应用于该图像数据以识别患者体内的不同状况。例如，欧拉图像放大技术可以用于识别捕获图像的不同部分中的光的波长或“颜色”变化。可以进一步分析这些变化以识别再灌注、动脉血流和/或血管类型。欧拉图像放大还可以用于使图像帧之间的运动或活动对临床医生更可见。在一些实例中，可以向临床医生呈现不同图像帧之间的预定波长的光的测量强度的变化，以使临床医生更加意识到特定感兴趣对象(例如，血液)的运动。图像代数(imagealgebra)可用于识别在手术操作期间用于切割组织或其它物质的最佳位置。在一些实例中，图像代数可以包括边缘检测和/或欧拉图像放大以识别最佳切割位置。高光谱图像分析可用于识别视域范围内的小区域中的微小变化，所述微小变化可以是不可见的或者对于人眼来说难以辨别。这些高光谱图像分析技术可以与欧拉图像放大结合以识别这些区域的具体的一组变化。图像代数可以与高光谱图像分析结合以识别对象或其他块体(mass)的边缘。图像代数可以包括边缘检测和/或可以与高光谱图像分析和欧拉图像放大二者结合以识别块体的边缘。红外光可以用于识别患病的、死亡的和/或异常的组织的边界。滤波器可以用于从所捕获的图像数据隔离红外、近红外或其它范围中的一个或多个期望的波长。欧拉图像放大和/或图像代数可以用于分析滤波的图像数据并识别特定的组织边界。欧拉图像放大、图像代数、高光谱图像分析和滤波技术中的一个或多个可以被包括来作为成像系统的部分。这些技术可以使成像系统能够提供关于相机视场内的不明显状况和对象的附加信息并加强手术预后。该附加信息可以包括但不限于：识别组织灌注、定位特定尺寸的动脉(诸如较大的动脉)、验证血管密封的有效性、识别异常组织的热特征、验证期望的对象运动(诸如，在死亡组织的边缘缺乏活动或在切除后验证适当的流动)、区分看起来相似的对象(诸如区分输尿管、肠系膜下动脉和/或周围血液本文档来自技高网...

【技术保护点】
一种用于在手术操作期间观察感兴趣区域的增强图像的增强现实手术系统，所述系统包括：图像捕获装置，其被配置为插入到患者体内并且在所述手术操作期间捕获所述患者体内的所述感兴趣区域的图像；控制器，其被配置为接收所述图像并且对所述图像应用至少一个图像处理滤波器以产生所述增强图像，所述图像处理滤波器包括：空间分解滤波器，其被配置为将所述图像分解成多个空间频带；时间滤波器，其被配置为应用于所述多个空间频带以产生多个时间滤波带；相加器，其被配置为将所述多个空间频带中的每个带与所述多个时间滤波带中的对应带相加以产生多个增强带；和重构滤波器，其被配置为通过合并所述多个增强带来产生所述增强图像；和显示器，其被配置为在所述手术操作期间向用户显示所述增强图像。

【技术特征摘要】
【国外来华专利技术】2014.07.25 US 62/028,9741.一种用于在手术操作期间观察感兴趣区域的增强图像的增强现实手术系统，所述系统包括：图像捕获装置，其被配置为插入到患者体内并且在所述手术操作期间捕获所述患者体内的所述感兴趣区域的图像；控制器，其被配置为接收所述图像并且对所述图像应用至少一个图像处理滤波器以产生所述增强图像，所述图像处理滤波器包括：空间分解滤波器，其被配置为将所述图像分解成多个空间频带；时间滤波器，其被配置为应用于所述多个空间频带以产生多个时间滤波带；相加器，其被配置为将所述多个空间频带中的每个带与所述多个时间滤波带中的对应带相加以产生多个增强带；和重构滤波器，其被配置为通过合并所述多个增强带来产生所述增强图像；和显示器，其被配置为在所述手术操作期间向用户显示所述增强图像。2.根据权利要求1所述的增强现实手术系统，其中所述图像捕获装置捕获具有多个图像帧的视频，并且所述控制器将所述至少一个图像处理滤波器应用于所述多个图像帧中的每个图像帧。3.根据权利要求1所述的增强现实手术系统，其中，所述时间滤波器包括带通滤波器。4.根据权利要求3所述的增强现实手术系统，其中，所述带通滤波器的带通频率由临床医生设置。5.根据权利要求1所述的增强现实手术系统，其中，所述时间滤波器从所述多个空间频带隔离至少一个空间频带以产生所述多个时间滤波带。6.根据权利要求1所述的增强现实手术系统，其中，在所述多个空间频带中的每个带与所述多个时间滤波带中的所述对应带相加以产生所述多个增强带之前，所述多个时间滤波带通过放大器放大。7.根据权利要求1所述的增强现实手术系统，其中所述图像处理滤波器使用被配置为高亮所述图像中的一个或多个边缘的边缘检测算法，其中一个或多个高亮的边缘被添加到所述增强图像。8.根据权利要求1所述的增强现实手术系统，还包括被配置为获取多个高光谱图像的至少一个高光谱传感器，其中所述图像处理滤波器使用高光谱算法来组合所述多个光谱图像以产生三维高光谱图像立方体，所述三维高光谱图像立方体添加到所述增强图像。9.根据权利要求1所述的增强现实手术系统，还包括红外相机，所述红外相机被配置为捕获至少一个图像，其中所述图像处理滤波器从所捕获的图像产生红外图像，所述红外图像被添加到所述增强图像。10.一种用于在手术操作期间产生感兴趣区域的增强图像的方法，所述方法包括：使用图像捕获装置捕获所述感兴趣区域的至少一个图像；分解所述至少一个图像以产生多个空间频带；将时...

【专利技术属性】
技术研发人员：托尼·卡恩斯，爱德华·麦克纳，斯蒂芬·帕克，
申请(专利权)人：柯惠LP公司，
类型：发明
国别省市：美国,US