用于图像引导外科手术的照射校正的近红外（NIR）成像制造技术

本文描述的技术可以体现在显示外科手术场景的一部分的视觉表示的方法中。该方法包括接收表示使用与外科手术设备相关联的相机的第一传感器来捕获的信息的数据，该信息指示表示从外科手术场景的该部分发射的荧光量的第一量。该方法还包括获得指示表示致使从外科手术场景的该部分发射荧光的激发信号量的第二量的信息，以及生成作为第一量和第二量的函数的归一化荧光信号。该方法还包括基于归一化荧光信号来生成外科手术场景的该部分的视觉表示，以及在与外科手术设备相关联的显示设备上呈现视觉表示。

【技术实现步骤摘要】
【国外来华专利技术】用于图像引导外科手术的照射校正的近红外(NIR)成像相关申请交叉引用本申请要求2018年12月5日提交的名称为“IlluminationCorrectedNear-Infrared(NIR)ImagingforImageGuidedSurgery”的美国临时申请号62/775,451的权益。前述申请的公开内容通过引用以其整体并入本文。
本公开涉及内窥镜外科手术系统中使用的近红外(NIR)成像。
技术介绍
正在开发微创外科手术系统以减小经受外科手术干预的患者所经历的创伤。这些系统只需要小的切口并且外科医生使用像相机一样的棒和器械来执行规程。除了减小创伤，这种类型的遥控操作系统增加外科医生的灵巧性并且允许外科医生从远程位置对患者进行操作。遥控外科手术是其中外科医生使用某种形式的远程控制(例如伺服机构等)来操纵外科手术器械移动而不是直接用手保持和移动器械的外科手术系统的总称。在此类遥控外科手术系统中，通过显示设备向外科医生提供外科手术部位的图像。基于通过显示设备接收的视觉反馈，外科医生通过操纵主控制输入设备(继而控制遥控机器人器械的运动)对患者执行外科手术规程。
技术实现思路
在一个方面，本文档的特征在于一种显示外科手术场景的一部分的视觉表示的方法。该方法包括接收表示使用与外科手术设备相关联的相机的第一传感器来捕获的信息的数据，信息指示表示从外科手术场景的该部分发射的荧光量的第一量。该方法还包括获得指示表示致使从外科手术场景的该部分发射荧光的激发信号量的第二量的信息，以及由一个或多个处理设备生成作为第一量和第二量的函数的归一化荧光信号。该方法还包括基于归一化荧光信号来生成外科手术场景的该部分的视觉表示，以及在与外科手术设备相关联的显示设备上呈现外科手术场景的该部分的视觉表示。在另一个方面，本文档的特征在于一种成像系统，其包括第一图像传感器和渲染引擎。第一图像传感器被配置为感测指示表示从外科手术场景的一部分发射的荧光量的第一量的信息。渲染引擎包括一个或多个处理设备，并且被配置为获得指示表示致使从外科手术场景的该部分发射荧光的激发信号量的第二量的信息，生成作为第一量和第二量的函数的归一化荧光信号，以及基于归一化荧光信号来生成外科手术场景的该部分的视觉表示。该系统还包括显示设备，该显示设备被配置为呈现视觉表示。在另一个方面，本文档的特征在于一个或多个非暂时性机器可读存储设备，其上编码有指令，该指令用于致使一个或多个处理设备执行各种操作。操作包括接收表示使用与外科手术设备相关联的相机的第一传感器来捕获的信息的数据。信息指示表示从外科手术场景的一部分发射的荧光量的第一量。操作还包括获得指示表示致使从外科手术场景的该部分发射荧光的激发信号量的第二量的信息，以及生成作为第一量和第二量的函数的归一化荧光信号。操作还包括基于归一化荧光信号来生成外科手术场景的该部分的视觉表示，以及致使在与外科手术设备相关联的显示设备上呈现外科手术场景的该部分的视觉表示。上述方面的实施方式可以包括以下特征中的一者或多者。获得指示第二量的信息可以包括接收从外科手术场景的该部分反射的激发信号的部分，使用第二传感器来捕获激发信号的部分，以及基于来自第二传感器的输出信号来确定第二量。第一传感器和第二传感器中的每一者可以是近红外(NIR)传感器。捕获激发信号的部分可以包括朝向第二传感器改变激发信号的部分的传播方向。可以使用相对于传播方向成角度设置的反射元件来改变传播方向。获得指示第二量的信息可以包括访问与激发信号的源相关联的深度映射，其中深度映射提供关于作为与源的空间分离的函数的激发信号的强度变化的信息。获得指示第二量的信息还可以包括接收表示关于外科手术场景的该部分和激发信号的源之间的空间分离的信息的数据，以及基于(i)外科手术场景的该部分和源之间的空间分离以及(ii)深度映射来确定第二量。可以从第三传感器接收表示关于空间分离的信息的数据。关于外科手术场景的该部分和源之间的空间分离的信息可以包括下列项中的至少一者：(i)外科手术场景的该部分和源之间的角度，以及(ii)外科手术场景的该部分和源之间的距离。呈现视觉表示可以包括接收关于与归一化荧光信号相关联的阈值条件的用户输入，确定其中归一化荧光信号满足阈值条件的区域，以及生成视觉表示以使得视觉表示包括其中归一化荧光信号满足阈值条件的区域的标识。在一些情况下，可以响应于在显示设备上呈现外科手术场景的视觉表示而接收用户输入，其中用户输入涉及在外科手术场景处操作外科手术设备。相机可以设置在外科手术设备中。第一量和第二量的函数可以包括第一量与第二量的比率。本文描述的一些或全部实施例可以提供以下优点中的一者或多者。通过相对于表示入射在对应部分上的激发能量的量的值对NIR图像的像素值进行归一化，可以基本上减轻由于跨图像的照射变化而引起的不良影响。这继而可以允许所检测的NIR荧光强度与内窥镜位置无关。这种位置无关性可以允许更准确地确定特定组织类型中的染料(例如，吲哚青绿(ICG))的实际量，并且可以使外科医生更容易地定位患有疾病(诸如癌症)的组织区域的边缘(margin)。附图说明图1是计算机辅助遥控操作外科手术系统的示例患者侧推车的透视图。图2是计算机辅助遥控操作外科手术系统的示例外科医生控制台的前视图。图3是计算机辅助遥控操作外科手术系统的示例机器人操纵器臂组件的侧视图。图4是标准近红外(NIR)图像的示例。图5是实现本文所述的技术的示例内窥镜系统的框图。图6A是标准近红外(NIR)图像的示例。图6B是根据本文所述的技术生成的NIR图像的示例。图7是根据本文所述的技术的用于生成NIR图像的示例过程的流程图。具体实施方式本文档描述了近红外(NIR)成像技术，其中针对图像的各个部分检测的荧光信号相对于估计入射在对应于此部分的组织上的激发能量的度量进行归一化。激发能量的度量可以以多种方法来确定。在一些情况下，基于被配置为感测从组织反射的激发能量的量的传感器的输出来导出激发能量的度量。在一些情况下，可以使用表示从内窥镜朝向组织引导的电磁辐射的物理现象的理论或经验模型来计算激发能量的度量。使用本文所述的技术而生成的归一化NIR图像考虑了由于入射激发能量的量的变化(可归因于例如相对于能量源的不同距离、取向)而引起的荧光信号的变化，并且可以提供基础(underlying)荧光的更准确表示。在一些情况下，这继而可以更可靠地用于确定由组织的对应部分吸收的染料(例如，吲哚青绿(ICG))的真实量，并且因此改善NIR成像的诊断能力。主要根据使用由加利福尼亚州桑尼维尔市(Sunnyvale,California)的直觉外科公司(IntuitiveSurgical,Inc.)开发的(da)外科手术系统的实施方式来描述该技术的各个方面。此类外科手术系统的示例是XiTM(daXiTM)外科手术系统(型号IS4000)。应当理解，本文公开的方面可以以各种方式来体现和实现，包括计算机辅助、非计算机辅助以及手动和计本文档来自技高网...

【技术保护点】
1.一种显示外科手术场景的一部分的视觉表示的方法，所述方法包括：/n接收表示使用与外科手术设备相关联的相机的第一传感器来捕获的信息的数据，所述信息指示表示从所述外科手术场景的所述部分发射的荧光量的第一量；/n获得指示表示致使从所述外科手术场景的所述部分发射所述荧光的激发信号量的第二量的信息；/n由一个或多个处理设备生成作为所述第一量和所述第二量的函数的归一化荧光信号；/n基于所述归一化荧光信号来生成所述外科手术场景的所述部分的所述视觉表示；以及/n在与所述外科手术设备相关联的显示设备上呈现所述外科手术场景的所述部分的所述视觉表示。/n

【技术特征摘要】
【国外来华专利技术】20181205 US 62/775,4511.一种显示外科手术场景的一部分的视觉表示的方法，所述方法包括：
接收表示使用与外科手术设备相关联的相机的第一传感器来捕获的信息的数据，所述信息指示表示从所述外科手术场景的所述部分发射的荧光量的第一量；
获得指示表示致使从所述外科手术场景的所述部分发射所述荧光的激发信号量的第二量的信息；
由一个或多个处理设备生成作为所述第一量和所述第二量的函数的归一化荧光信号；
基于所述归一化荧光信号来生成所述外科手术场景的所述部分的所述视觉表示；以及
在与所述外科手术设备相关联的显示设备上呈现所述外科手术场景的所述部分的所述视觉表示。


2.根据权利要求1所述的方法，其中获得指示所述第二量的所述信息包括：
接收从所述外科手术场景的所述部分反射的所述激发信号的部分；
使用第二传感器来捕获所述激发信号的所述部分；以及
基于来自所述第二传感器的输出信号来确定所述第二量。


3.根据权利要求2所述的方法，其中所述第一传感器和所述第二传感器中的每一者是近红外传感器即NIR传感器。


4.根据权利要求2所述的方法，其中捕获所述激发信号的所述部分还包括：
朝向所述第二传感器改变所述激发信号的所述部分的传播方向。


5.根据权利要求4所述的方法，其中使用相对于所述传播方向成角度设置的反射元件来改变所述传播方向。


6.根据权利要求1所述的方法，其中获得指示所述第二量的所述信息包括：
访问与所述激发信号的源相关联的深度映射，所述深度映射提供关于作为与所述源的空间分离的函数的所述激发信号的强度变化的信息；
接收表示关于所述外科手术场景的所述部分和所述激发信号的所述源之间的空间分离的信息的数据；以及
基于(i)所述外科手术场景的所述部分和所述源之间的所述空间分离以及(ii)所述深度映射来确定所述第二量。


7.根据权利要求6所述的方法，其中从第三传感器接收表示关于所述空间分离的信息的所述数据。


8.根据权利要求6所述的方法，其中关于所述外科手术场景的所述部分和所述源之间的所述空间分离的所述信息包括下列项中的至少一者：(i)所述外科手术场景的所述部分和所述源之间的角度，以及(ii)所述外科手术场景的所述部分和所述源之间的距离。


9.根据权利要求1所述的方法，其中呈现所述视觉表示包括：
接收关于与所述归一化荧光信号相关联的阈值条件的用户输入；
确定其中所述归一化荧光信号满足所述阈值条件的区域；以及
生成所述视觉表示以使得所述视觉表示包括其中所述归一化荧光信号满足所述阈值条件的所述区域的标识。


10.根据权利要求1所述的方法，还包括响应于在所述显示设备上呈现所述外科手术场景的所述视觉表示而接收用户输入，其中所述用户输入涉及在所述外科手术场景处操作所述外科手术设备。


11.根据权利要求1所述的方法，其中所述相机设置在所述外科手术设备中。


12.根据权利要求1所述的方法，其中所述第一量和所述第二量的所述函数包括所述第一量与所述第二量的比率。


13.一种成像系统，其包括：
第一图像传感器，所述第一图像传感器被配置为感测指示表示从外科手术场景的一部分发射的荧光量的第一量的信息；
渲染引擎，所述渲染引擎包括一个或多个处理设备，所述渲染引擎被配置为：
获得指示表示致使从所述外科手术场景的所述部分发射所述荧光的激发信号量的第二量的信息，
生成作为所述第一量和所述第二量的函数的归一化荧光信号，以及
基于所述归一化荧...

【专利技术属性】
技术研发人员：J·M·迪卡洛，I·E·麦克道尔，M·J·特雷乔，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：美国;US