具有多模态图像显示的外科手术系统技术方案

提供一种产生外科手术场景的多模态图像的方法，包括：捕获从外科手术场景反射的光；产生对应于第一模态图像的第一图像信息；产生对应于第二模态图像的第二图像信息；至少部分地基于选定部分内包括的解剖结构信息选择第二图像模态的一部分；和在显示器内同时产生外科手术场景的第一模态图像的至少一部分和第二模态图像的选定部分。

Surgical System with Multimodal Image Display

【技术实现步骤摘要】
【国外来华专利技术】具有多模态图像显示的外科手术系统优先权本申请要求2016年11月11日提交的美国专利申请No.62/421,095的优先权的权益，其通过引用整体并入本文。
技术介绍
图像引导的外科手术技术为外科医生提供了可视化外科手术场景内的解剖对象的内部结构的能力。改进的可视化能力允许外科医生更好地感知手术器械的实际位置及其与解剖学对象内的关键或隐藏解剖结构的物理关系，这可以导致更安全和更有效的微创外科手术程序。
技术实现思路
以下概述介绍了本专利技术主题的某些方面，以便提供基本的理解。该概述不是对本专利技术主题的全面综述，并且不旨在识别关键或重要元素或描绘本专利技术主题的范围。尽管该概述包含与本专利技术主题的各个方面和实施例相关的信息，但是其唯一目的是以一般形式呈现一些方面和实施例作为下面更详细描述的序言。在一个方面，提供了一种用于产生外科手术场景的多模态图像的方法。相机捕获从外科手术场景反射的光。产生对应于外科手术场景的第一模态图像的第一图像信息。产生对应于外科手术场景的第二模态图像信息。至少部分地基于其包含的解剖结构信息来选择第二图像模态的一部分。计算机被配置为使用第一图像信息和第二图像信息在显示器内同时产生外科手术场景的第一模态图像的至少一部分和外科手术场景的第二模态图像的选定部分。在另一方面，提供了一种产生外科手术场景的多模态图像的方法。相机捕获从外科手术场景反射的光。对应于外科手术场景的第一模态图像产生第一图像信息。对应于外科手术场景的第二模态图像产生第二图像信息。在显示器内跟踪用户眼睛焦点位置。至少部分地基于所跟踪的用户眼睛焦点来选择第二模态图像的一部分。计算机被配置为使用第一图像信息和第二图像信息在显示器内同时产生外科手术场景的第一模态图像的至少一部分和外科手术场景的第二模态图像的选定部分。在又一方面，提供了一种产生外科手术场景的多模态图像的方法。相机捕获从外科手术场景反射的光。对应于外科手术场景的第一模态图像产生第一图像信息。对应于外科手术场景的第二模态图像产生第二图像信息。在外科手术程序的过程中跟踪外科手术阶段。至少部分地基于所跟踪的外科手术阶段来选择模态图像格式。计算机被配置为使用第一图像信息和第二图像信息以选择的格式在显示器内产生第一模态图像的至少一部分和第二模态图像的至少一部分。附图说明图1是微创远程操作外科手术系统的平面图。图2是外科医生控制台的透视图。图3是电子推车的透视图。图4是远程操作外科手术系统的示意图。图5A是远程操作外科手术系统的说明性图。图5B是外科手术系统的患者侧推车的透视图。图5C是表示外科手术场景的说明性视图，并且还示出了根据一些实施例的安装用于记录场景的相机和用于滤光光波长的滤光器的内窥镜。图6是外科手术器械的正视图。图7是器械操纵器的透视图。图8是外科手术规划工具的示意图。图9是表示根据一些实施例的存储在非暂时性存储设备内的外科手术信息图谱(atlas)的说明性图。图10是示出根据一些实施例的存储在外科手术信息图谱内的示例性外科手术记录信息结构的某些细节的说明性图。图11是表示根据一些实施例的外科手术场景的示例清晰图像的说明性图。图12是表示图11的示例性外科手术场景的示例性窄带图像(NBI)模态图像的说明性图示，其中通过NBI显示模态增强第一解剖对象内的解剖结构的图像。图13是表示图11的示例性外科手术场景的示例拉曼光谱模态图像的说明性图，其中通过拉曼光谱显示模态增强第二解剖对象内的解剖结构的图像。图14是表示使用HIS成像显示模态显示的图11的示例性外科手术场景的示例高光谱(HIS)模态图像的说明性图。图15是表示根据一些实施例的图11的示例性外科手术场景的计算机断层摄影切片显示模态的说明性图。图16是根据一些实施例的使用多个显示模态结合使用拼接格式(stitchformat)的图11的外科手术场景的说明性示例多模态显示。图17是根据一些实施例的使用多个显示模态结合使用拼接格式的图11的外科手术场景的说明性替代示例多模态显示。图18是根据一些实施例的使用多个显示模态结合使用画中画格式的图11的外科手术场景的说明性示例多模态显示。图19是根据一些实施例的使用多个显示模态结合使用画中画格式的图11的外科手术场景的说明性替代示例多模态显示。图20是根据一些实施例的使用来自使用注释格式的多个显示模态的信息的图11的外科手术场景的说明性示例显示。图21A是表示根据一些实施例的动态呈现多模态手术图像的第一过程的说明性流程图。图21B是表示存储在非暂时性存储设备中的可用于产生不同的图像模态图像的相应第一图像信息的说明性图。图21C是表示存储在非暂时性存储设备中的可用于产生不同的图像模态图像部分的相应第二图像部分信息的说明性图。图22是表示根据一些实施例的用于选择显示模态和所选显示模态的部分的子过程的细节的说明性流程图。图23是表示根据一些实施例的用于接收用户对图像模态的选择的子过程的细节的说明性流程图。图24是表示根据一些实施例的在外科手术系统的查看器(viewer)内显示的示例模态选择用户界面UI的说明性图。图25A-C是根据一些实施例的呈现二维眼睛跟踪(图25A-25B)和深度眼睛跟踪(图25C)的说明性图。图26是表示根据一些实施例的用于选择多模态显示格式的子过程的细节的说明性流程图。图27是表示根据一些实施例的在外科手术系统的查看器内显示的示例格式选择用户界面UI的说明性图。图28是表示根据一些实施例的用于确定外科手术阶段信息和对应的外科手术阶段规则是否一起指示显示模态的子过程的某些细节的说明性流程图。图29是表示根据一些实施例的示例外科手术阶段签名(signatures)和对应模态的说明性图。图30是表示根据一些实施例的用于生成图像模态部分的子过程的某些细节的说明性流程图。图31是表示根据一些实施例的示例图像签名和对应注释的说明性图。具体实施方式说明专利技术性方面、实施例、实施方式或应用的本说明书和附图不应被视为限制性的——权利要求限定了该请求保护的专利技术。在不脱离本说明书和权利要求的范围的情况下，可以进行各种机械、组成、结构、电气和操作变化。在某些情况下，没有详细示出或描述公知的电路、结构或技术，以免模糊本专利技术。两个或更多个图中的相同数字表示相同或相似的元件。呈现以下描述以使得本领域技术人员能够在外科手术系统中创建和使用多模态图像。对于本领域技术人员来说，对实施例的各种修改是显而易见的，并且在不脱离本专利技术主题的范围的情况下，本文定义的一般原理可以应用于其他实施例和应用。此外，在以下描述中，出于解释的目的阐述了许多细节。然而，本领域普通技术人员将认识到，可以在不使用这些具体细节的情况下实践本专利技术的主题。在其他实例中，众所周知的机器部件、过程和数据结构以框图形式示出，以免不必要的细节模糊本公开。相同的附图标记可用于表示不同附图中相同项目的不同视图。下面引用的附图中的流程图用于表示过程。计算机系统可以被配置为执行这些过程中的一些。表示计算机实现的过程的流程图内的框表示根据计算机程序代码的计算机系统的配置，以执行参考这些模块描述的动作。因此，本专利技术的主题不旨在限于所示的实施例，而是与符合本文公开的原理和特征的最宽范围相一致。微创远程操作外科手术系统远程操作是指在一定距离处操作机器。在微创本文档来自技高网...

【技术保护点】
1.一种产生外科手术场景的多模态图像的方法，包括：使用至少一个相机捕获从所述外科手术场景反射的光；基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第一模态图像的第一图像信息；基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第二模态图像的第二图像信息；至少部分地基于所述第二模态图像的选定部分内包括的解剖结构信息选择所述第二模态图像的一部分；和配置计算机以使用所述第一图像信息和所述第二图像信息在显示器内同时产生所述外科手术场景的所述第一模态图像的至少一部分和所述第二模态图像的所述选定部分。

【技术特征摘要】
【国外来华专利技术】2016.11.11 US 62/421,0951.一种产生外科手术场景的多模态图像的方法，包括：使用至少一个相机捕获从所述外科手术场景反射的光；基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第一模态图像的第一图像信息；基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第二模态图像的第二图像信息；至少部分地基于所述第二模态图像的选定部分内包括的解剖结构信息选择所述第二模态图像的一部分；和配置计算机以使用所述第一图像信息和所述第二图像信息在显示器内同时产生所述外科手术场景的所述第一模态图像的至少一部分和所述第二模态图像的所述选定部分。2.根据权利要求1所述的方法，其中，选择所述图像模态的所述一部分包括将所述第二图像信息与存储在非暂时性存储设备中的图像签名信息进行比较。3.根据权利要求1所述的方法，其中，选择所述图像模态的所述一部分包括将所述第二图像信息与存储在非暂时性存储设备中的多个图像签名进行比较。4.根据权利要求1所述的方法，其中配置包括配置到所述计算机以将所述第二模态图像的所述选定部分拼接到所述第一模态图像中以代替所述第一模态图像的对应部分。5.根据权利要求1所述的方法，其中配置包括配置到所述计算机以在所述显示器内同时包括所述第二图像模态的所述选定部分的缩小尺寸图像和所述第一模态图像。6.根据权利要求1所述的方法，其中所述第一图像模态包括清晰图像；和其中所述第二图像模态信息包括增强图像。7.根据权利要求1所述的方法，其中所述第一模态图像包括增强图像；和其中所述第二模态图像包括增强图像。8.根据权利要求1所述的方法，其中所述第一模态图像模态包括清晰图像；和其中所述第二图像模态信息包括窄带图像。9.根据权利要求1所述的方法，其中所述第一模态图像包括清晰图像；和其中所述第二模态图像信息包括拉曼光谱图像。10.根据权利要求1所述的方法，其中所述第一模态图像包括清晰图像；和其中所述第二模态图像信息包括荧光图像。11.根据权利要求1所述的方法，其中所述第一模态图像包括清晰图像；和其中所述第二模态图像信息包括高光谱图像。12.根据权利要求1所述的方法，其中所述第一模态图像包括清晰图像；和其中所述第二模态图像信息包括光学相干断层扫描图像。13.根据权利要求1所述的方法，还包括：在所述计算机处接收格式选择；和其中配置包括配置到所述计算机以在所述显示器内以所选择的格式同时产生所述外科手术场景的所述第一图像模态的所述至少一部分和所述第二图像模态的所述选定部分。14.一种产生外科手术场景的多模态图像的方法，包括：使用至少一个相机捕获从所述外科手术场景反射的光；基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第一增强模态图像的第一图像信息；基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第二增强模态图像的第二图像信息；在所述计算机处接收格式选择，该格式选择将所述第一模态图像和第二模态图像中的一个指定为主要像并将所述第一模态图像和第二模态图像中的另一个指定为插入像；选择被指定为插入像的所述模态图像的一部分，该选择至少部分地基于指定为插入像的所述模态图像的选定部分内包括的解剖结构信息；和配置计算机以使用所述第一图像信息和所述第二图像信息在显示器内同时产生被指定为主要像的所述模态图像的至少一部分和被指定为插入像的所述模态图像的所述选定部分。15.根据权利要求14所述的方法，其中配置包括配置成将被指定为插入像的所述模态图像的所述选定部分拼接到被指定为主要像的所述模态图像的所述至少一部分中，以代替被指定为主要像的所述模态图像的所述至少一部分的相应部分。16.根据权利要求14所述的方法，其中配置包括配置为在所述显示器内同时包括指定为插入像的所述模态图像的所述选定部分的缩小尺寸图像和被指定为主要像的所述模态图像的所述至少一部分。17.一种产生外科手术场景的多模态图像的方法，包括：使用至少一个相机捕获从所述外科手术场景反射的光；基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第一模态图像的第一图像信息；基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第二模态图像的第二图像信息；跟踪在显示器内的用户眼睛焦点位置；至少部分地基于所述显示器内的被跟踪的用户眼睛焦点来选择所述第二模态图像的一部分；和配置计算机以使用所述第一图像信息和所述第二图像信息在所述显示器内同时产生所述外科手术场景的所述第一模态图像的至少一部分和所述第二模态图像的所述选定部分。18.根据权利要求17所述的方法，其中所述第二模态图像包括高光谱图像。19.根据权利要求17所述的方法，其中配置包括配置到所述计算机以将所述第二模态图像的所述选定部分拼接到所述第一模态图像中以代替所述第一模态图像的对应部分。20.根据权利要求17所述的方法，其中配置包括配置到所述计算机以在所述显示器内同时包括所述第二图像模态的所述选定部分的缩小尺寸图像和所述第一模态图像。21.一种产生外科手术场景的多模态图像的方法，包括：使用至少一个相机捕获从所述外科手术场景反射的光；基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第一模态图像的第一图像信息；基于使用所述至少一个相机捕获的光，在非暂时性存储设备中产生对应于所述外科手术场景的第二模态图像的第二图像信息；在外科手术程序的过程中跟踪外科手术阶段；至少部分地基于所跟踪的外科手术阶段来选择模态图像格式；和配置计算机以使用所述第一图像信息和所述第二图像信息以所选择的格式在显示器内产生所述第一模态图像的至少一部分和所述第二模态图像的至少一部分。22.根据权利要求21所述的方法，其中，选择所述模态图像包括将所述外科手术阶段信息与存储在非暂时性存储设备存储设备中的外科手术阶段签名信息进行比较。23.根据权利要求22所述的方法，其中，选择所述模态图像包括将所述外科手术阶段信息与存储在非暂时性存储设备存储设备中的多个外科手术阶段签名进行比较。24.一种用于产生外科手术场景的多模态图像的系统，包括：处理器；存储器设备，其保持在所述处理器上可执行的指令集，以使所述外科手术系统执行包括以下的操作：使用至少一个相机捕获从所述...

【专利技术属性】
技术研发人员：J·M·松格，M·阿兹兹安，K·C·布兰道，S·P·迪玛欧，B·D·霍弗曼，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：美国,US