图像引导外科手术中的近红外信息与彩色图像的组合制造技术

本文描述的技术可以体现在一种方法中，该方法包括接收表示使用多传感器相机的第一传感器和第二传感器来捕获的信息的数据。传感器被配置为捕获由光源照射的外科手术场景，该光源被配置为发射分别对应于第一传感器和第二传感器的感测能力的可见光谱中的波长。该方法还包括接收表示使用多传感器相机的第三传感器来捕获的信息的数据，第三传感器被配置为捕获由近红外光源照射的外科手术场景；以及基于表示使用第一传感器和第二传感器来捕获的信息的数据来生成外科手术场景的第一视觉表示。将第一视觉表示与使用第三传感器来捕获的信息组合以生成第二视觉表示，并且在显示设备上呈现第二视觉表示。

【技术实现步骤摘要】
【国外来华专利技术】图像引导外科手术中的近红外信息与彩色图像的组合相关申请的交叉引用本申请要求2018年12月5日提交的名称为“CombiningNear-InfraredInformationwithColoredImagesinImage-GuidedSurgery”的美国临时申请号62/775,462的权益。前述申请的公开内容通过引用以其整体并入本文。
本公开涉及内窥镜外科手术系统中使用的近红外(NIR)成像。
技术介绍
正在开发微创外科手术系统以减小经受外科手术干预的患者所经历的创伤。这些系统只需要小的切口并且外科医生使用像相机一样的棒和器械来执行规程。除了减小创伤，这种类型的遥控操作系统增加外科医生的灵巧性并且允许外科医生从远程位置对患者进行操作。遥控外科手术是其中外科医生使用某种形式的远程控制(例如伺服机构等)来操纵外科手术器械移动而不是直接用手保持和移动器械的外科手术系统的总称。在此类遥控外科手术系统中，通过显示设备向外科医生提供外科手术部位的图像。基于通过显示设备接收的视觉反馈，外科医生通过操纵主控制输入设备(继而控制遥控机器人器械的运动)对患者执行外科手术规程。
技术实现思路
在一个方面，本文档的特征在于一种方法，该方法包括接收表示使用与外科手术设备相关联的多传感器相机的第一传感器和第二传感器来捕获的信息的数据。第一传感器和第二传感器被配置为捕获由光源照射的包括生物组织的外科手术场景，光源被配置为发射分别对应于第一传感器和第二传感器的感测能力的可见光谱中的波长。该方法还包括接收表示使用多传感器相机的第三传感器来捕获的信息的数据，第三传感器被配置为捕获由近红外(NIR)光源照射的外科手术场景；以及由一个或多个处理设备基于表示使用第一传感器和第二传感器来捕获的信息的数据来生成外科手术场景的第一视觉表示。该方法还包括由一个或多个处理设备将第一视觉表示与使用第三传感器来捕获的信息组合以生成外科手术场景的第二视觉表示；以及在与外科手术设备相关联的显示设备上呈现外科手术场景的第二视觉表示。在另一个方面，本文档的特征在于一种方法，该方法包括接收表示使用与外科手术设备相关联的具有至少三个传感器的相机的第一传感器和第二传感器来捕获的信息的数据。第一传感器和第二传感器被配置为捕获由第一源和第二源照射的包括生物组织的外科手术场景，第一源和第二源被配置为发射分别对应于第一传感器和第二传感器的感测能力的可见光谱中的波长。该方法还包括由一个或多个处理设备使用表示使用第一传感器和第二传感器来捕获的信息的数据来估计表示在第三源照射外科手术场景时预期由第三传感器捕获的信息的数据，第三源被配置为发射对应于第三传感器的感测能力的可见光谱中的波长。该方法还包括使用以下项来生成外科手术场景的视觉表示：(i)表示使用第一传感器和第二传感器来捕获的信息的数据，以及(ii)表示在第三源照射外科手术场景时预期由第三传感器捕获的信息的预测数据；以及在与外科手术设备相关联的显示设备上呈现外科手术场景的视觉表示。在另一个方面，本文档的特征在于一种成像系统，其包括使用一个或多个处理设备来实现的图像生成器。成像系统被配置为接收表示使用与外科手术设备相关联的多传感器相机的第一传感器和第二传感器来捕获的信息的数据，第一传感器和第二传感器被配置为捕获由光源照射的包括生物组织的外科手术场景，光源被配置为发射分别对应于第一传感器和第二传感器的感测能力的可见光谱中的波长。图像生成器还被配置为接收表示使用多传感器相机的第三传感器来捕获的信息的数据，第三传感器被配置为捕获由近红外(NIR)光源照射的外科手术场景。图像生成器还被配置为基于表示使用第一传感器和第二传感器来捕获的信息的数据来生成外科手术场景的第一视觉表示，将第一视觉表示与使用第三传感器来捕获的信息组合以生成外科手术场景的第二视觉表示，以及致使在与外科手术设备相关联的显示设备上呈现外科手术场景的第二视觉表示。在另一个方面，本文档的特征在于一种成像系统，其包括使用一个或多个处理设备来实现的图像生成器。图像生成器被配置为接收表示使用与外科手术设备相关联的具有至少三个传感器的相机的第一传感器和第二传感器来捕获的信息的数据，第一传感器和第二传感器被配置为捕获由第一源和第二源照射的包括生物组织的外科手术场景，第一源和第二源被配置为发射分别对应于第一传感器和第二传感器的感测能力的可见光谱中的波长。图像生成器还被配置为使用表示使用第一传感器和第二传感器来捕获的信息的数据来估计表示在第三源照射外科手术场景时预期由第三传感器捕获的信息的数据，第三源被配置为发射对应于第三传感器的感测能力的可见光谱中的波长。图像生成器还被配置为使用以下项来生成外科手术场景的视觉表示：(i)表示使用第一传感器和第二传感器来捕获的信息的数据，以及(ii)表示在第三源照射外科手术场景时预期由第三传感器捕获的信息的预测数据；以及在与外科手术设备相关联的显示设备上呈现外科手术场景的视觉表示。在另一个方面，本文档包括一个或多个机器可读存储设备，其上编码有计算机可读指令，该计算机可读指令用于致使一个或多个处理设备执行各种操作。操作包括接收表示使用与外科手术设备相关联的多传感器相机的第一传感器和第二传感器来捕获的信息的数据，第一传感器和第二传感器被配置为捕获由光源照射的包括生物组织的外科手术场景，光源被配置为发射分别对应于第一传感器和第二传感器的感测能力的可见光谱中的波长。操作还包括接收表示使用多传感器相机的第三传感器来捕获的信息的数据，第三传感器被配置为捕获由近红外(NIR)光源照射的外科手术场景；以及基于表示使用第一传感器和第二传感器来捕获的信息的数据来生成外科手术场景的第一视觉表示。操作还包括将第一视觉表示与使用第三传感器来捕获的信息组合以生成外科手术场景的第二视觉表示；以及在与外科手术设备相关联的显示设备上呈现外科手术场景的第二视觉表示。在另一个方面，本文档包括一个或多个机器可读存储设备，其上编码有计算机可读指令，该计算机可读指令用于致使一个或多个处理设备执行各种操作。操作包括接收表示使用与外科手术设备相关联的具有至少三个传感器的相机的第一传感器和第二传感器来捕获的信息的数据，第一传感器和第二传感器被配置为捕获由第一源和第二源照射的包括生物组织的外科手术场景，第一源和第二源被配置为发射分别对应于第一传感器和第二传感器的感测能力的可见光谱中的波长。操作还包括使用表示使用第一传感器和第二传感器来捕获的信息的数据来估计表示在第三源照射外科手术场景时预期由第三传感器捕获的信息的数据，第三源被配置为发射对应于第三传感器的感测能力的可见光谱中的波长；使用以下项来生成外科手术场景的视觉表示：(i)表示使用第一传感器和第二传感器来捕获的信息的数据，以及(ii)表示在第三源照射外科手术场景时预期由第三传感器捕获的信息的预测数据；以及在与外科手术设备相关联的显示设备上呈现外科手术场景的视觉表示。上述方面的实施方式可以包括以下特征中的一者或多者。光源可以包括：第一源和第二源，该第一源和第二源被配置为发射分别对应于第一传感器和第二传感器的感测能本文档来自技高网...

【技术保护点】
1.一种方法，其包括：/n接收表示使用与外科手术设备相关联的多传感器相机的第一传感器和第二传感器来捕获的信息的数据，所述第一传感器和所述第二传感器被配置为捕获由光源照射的包括生物组织的外科手术场景，所述光源被配置为发射分别对应于所述第一传感器和所述第二传感器的感测能力的可见光谱中的波长；/n接收表示使用所述多传感器相机的第三传感器来捕获的信息的数据，所述第三传感器被配置为捕获由近红外光源即NIR光源照射的所述外科手术场景；/n由一个或多个处理设备基于表示使用所述第一传感器和所述第二传感器来捕获的所述信息的所述数据来生成所述外科手术场景的第一视觉表示；/n由所述一个或多个处理设备将所述第一视觉表示与使用所述第三传感器来捕获的所述信息组合以生成所述外科手术场景的第二视觉表示；以及/n在与所述外科手术设备相关联的显示设备上呈现所述外科手术场景的所述第二视觉表示。/n

【技术特征摘要】
【国外来华专利技术】20181205 US 62/775,4621.一种方法，其包括：
接收表示使用与外科手术设备相关联的多传感器相机的第一传感器和第二传感器来捕获的信息的数据，所述第一传感器和所述第二传感器被配置为捕获由光源照射的包括生物组织的外科手术场景，所述光源被配置为发射分别对应于所述第一传感器和所述第二传感器的感测能力的可见光谱中的波长；
接收表示使用所述多传感器相机的第三传感器来捕获的信息的数据，所述第三传感器被配置为捕获由近红外光源即NIR光源照射的所述外科手术场景；
由一个或多个处理设备基于表示使用所述第一传感器和所述第二传感器来捕获的所述信息的所述数据来生成所述外科手术场景的第一视觉表示；
由所述一个或多个处理设备将所述第一视觉表示与使用所述第三传感器来捕获的所述信息组合以生成所述外科手术场景的第二视觉表示；以及
在与所述外科手术设备相关联的显示设备上呈现所述外科手术场景的所述第二视觉表示。


2.根据权利要求1所述的方法，其中所述光源包括：
第一源和第二源，所述第一源和所述第二源被配置为发射分别对应于所述第一传感器和所述第二传感器的感测能力的所述波长；以及
第三源，所述第三源被配置为发射对应于所述第三传感器的感测能力的波长。


3.根据权利要求2所述的方法，还包括将所述第三源停用而不照射所述外科手术场景。


4.根据权利要求3所述的方法，其中生成所述外科手术场景的所述第一视觉表示包括：
根据表示使用所述第一传感器和所述第二传感器来捕获的所述信息的数据，预测表示在所述第三源照射所述外科手术场景时预期由所述第三传感器捕获的信息的数据；以及
根据以下项生成所述外科手术场景的所述第一视觉表示：(i)表示使用所述第一传感器和所述第二传感器来捕获的所述信息的所述数据，以及(ii)表示在所述第三源照射所述外科手术场景时预期由所述第三传感器捕获的所述信息的预测数据。


5.根据权利要求1所述的方法，其中生成所述第二视觉表示还包括：
确定表示使用所述第三传感器来捕获的所述信息的所述数据指示在所述外科手术场景处存在荧光染料；以及
响应于确定表示使用所述第三传感器来捕获的所述信息的所述数据指示存在所述荧光染料而组合(i)所述第一视觉表示和(ii)表示使用所述第三传感器来捕获的所述信息的所述数据。


6.根据权利要求5所述的方法，其中生成所述第二视觉表示还包括：
根据所述第一视觉表示生成去饱和的视觉表示；以及
将所述去饱和的视觉表示与表示使用所述第三传感器来捕获的所述信息的所述数据组合。


7.根据权利要求6所述的方法，其中生成所述去饱和的视觉表示包括使用非线性颜色映射来处理所述第一视觉表示。


8.根据权利要求1所述的方法，其中所述第一传感器和所述第二传感器包括滤光器以使分别对应于红光和蓝光的波长通过。


9.根据权利要求8所述的方法，其中所述第三传感器包括滤光器以使对应于绿光的波长通过。


10.根据权利要求1所述的方法，还包括响应于在所述显示设备上呈现所述外科手术场景的所述视觉表示而接收用户输入，其中所述用户输入涉及在所述外科手术场景处操作所述外科手术设备。


11.根据权利要求1所述的方法，其中所述相机设置在所述外科手术设备中。


12.一种方法，其包括：
接收表示使用与外科手术设备相关联的具有至少三个传感器的相机的第一传感器和第二传感器来捕获的信息的数据，所述第一传感器和第二传感器被配置为捕获由第一源和第二源照射的包括生物组织的外科手术场景，所述第一源和所述第二源被配置为发射分别对应于所述第一传感器和所述第二传感器的感测能力的可见光谱中的波长；
由一个或多个处理设备使用表示使用所述第一传感器和所述第二传感器来捕获的所述信息的所述数据来估计表示在第三源照射所述外科手术场景时预期由第三传感器捕获的信息的数据，所述第三源被配置为发射对应于所述第三传感器的感测能力的所述可见光谱中的波长；
使用以下项来生成所述外科手术场景的视觉表示：(i)表示使用所述第一传感器和所述第二传感器来捕获的所述信息的所述数据，以及(ii)表示在所述第三源照射所述外科手术场景时预期由所述第三传感器捕获的所述信息的预测数据；以及
在与所述外科手术设备相关联的显示设备上呈现所述外科手术场景的所述视觉表示。


13.一种成像系统，其包括：
图像生成器，所述图像生成器包括一个或多个处理设备，所述图像生成器被配置为：
接收表示使用与外科手术设备相关联的多传感器相机的第一传感器和第二传感器来捕获的信息的数据，所述第一传感器和所述第二传感器被配置为捕获由光源照射的生物组织的外科手术场景，所述光源被配置为发射分别对应于所述第一传感器和所述第二传感器的感测能力的可见光谱中的波长，
接收表示使用所述多传感器相机的第三传感器来捕获的信息的数据，所述第三传感器被配置为捕获由近红外光源即NIR光源照射的所述外科手术场景，
基于表示使用所述第一传感器和所述第二传感器来捕获的所述信息的所述数据来生成所述外科手术场景的第一视觉表示，
将所述第一视觉表示与使用所述第三传感器来捕获的所述信息组合以生成所述外科手术场景的第二视觉表示，以及
致使在与所述外科手术设备相关联的显示设备上呈现所述外科手术场景的所述第二视觉表示。


14.根据权利要求13所述的系统，其中所述光源包括：
第一源和第二源，所述第一源和所述第二源被配置为...

【专利技术属性】
技术研发人员：J·M·迪卡洛，M·J·特雷乔，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：美国;US