用于提供外科手术指导的系统和方法技术方案

本公开提供了用于提供外科手术指导的系统和方法。在一个方面，本公开提供了一种外科手术指导系统，其包括：图像处理模块，其被配置为(i)接收使用一个或多个图像和/或视频采集模块获得的图像数据，以及(ii)基于(a)图像/视频数据或与图像/视频数据相关联的生理数据以及(b)包括与患者或外科手术过程相关联的外科手术或医学数据的一个或多个训练数据集，来生成一个或多个医学预测或评估。该一个或多个训练数据集可以包括使用多个成像模态获得的解剖和生理数据。该系统还可以包括可视化模块，其被配置为基于一个或多个增强数据集为外科手术操作者提供外科手术场景的增强视图。手术操作者提供外科手术场景的增强视图。手术操作者提供外科手术场景的增强视图。

【技术实现步骤摘要】
【国外来华专利技术】用于提供外科手术指导的系统和方法
[0001]交叉引用
[0002]本申请要求于2020年12月4日提交的美国临时专利申请号63/121,802的优先权，该申请出于所有目的通过引用以其整体并入本文。

技术介绍

[0003]外科医生在操作期间可使用解剖学和解剖标志作为进行术中外科手术决策的指导。这样的解剖标志使得外科医生在外科手术过程期间更容易获得和保持视觉取向，这可以防止由于个体变化或病理而对改变或隐藏的关键结构造成未识别的或无意的伤害。在外科手术过程期间使损伤最小化的一种策略是预期识别关键结构并使用安全的关键视图，即描绘在给定过程期间使意外组织损伤最小化所必需的相关解剖结构的术中视图。使用可见光谱以外的光的解剖视觉也可以在术中提供价值。

技术实现思路

[0004]目前可用的外科手术指导系统可基于视觉光谱中的标准术中腹腔镜和机器人辅助内窥镜数据集提供解剖位置和组织结构轮廓的预测。考虑到患者解剖学、病理学、外科手术技术以及外科医生风格、能力和熟练程度的变化，这种常规系统的精度和准确度不足以用于临床应用，并且这种系统的可行性是假设的和不切实际的。
[0005]本文认识到目前可用的外科手术指导系统的各种限制。鉴于与基于人类视觉光谱的常规外科手术指导系统相关联的限制，本公开提供了基于人工智能(AI)的系统，其可用于改善先验或预期的外科手术结果。
[0006]本公开一般涉及使用人工智能(AI)为外科医生和其他手术助手提供增强视觉、实时指导和决策支持的系统和方法。更具体地，本公开提供了用于在外科手术过程之前、期间和/或之后使用机器学习算法来在术中实时预测关键结构和/或组织活力的位置和识别关键结构和/或组织活力的系统和方法，所述机器学习算法在基于白光的图像和/或视频、诸如荧光近红外(NIR)图像和/或视频或者放射性标记的染料成像的化学信号增强剂、固有发色团、自身荧光以及诸如基于激光散斑的图像和/或视频光学的增强信号的任意组合上训练，以便执行、分析、识别、预期和计划预料的步骤并避免非预料的步骤。本公开还提供了实时的基于术中机器学习的指导系统，其可以在外科手术过程(例如，解剖)之前和/或期间在关键结构上或附近提供实时视觉支持，使得外科手术操作者可以在手术期间识别相关的关键结构，评估组织活力，和/或做出外科手术决策。在一些实施方式中，这种实时的基于机器学习的指导系统还可以被实现为用于事后医学或外科手术训练的工具。本公开还提供了一种系统，该系统具有在外科手术过程或介入期间执行组织操纵时自主或半自主地跟踪和更新活动和可变形组织目标的能力。
[0007]一方面，本公开提供了一种外科手术指导系统，其包括图像处理模块，该图像处理模块被配置为(i)接收使用一个或多个图像和/或视频采集模块获得的图像或视频数据，以及(ii)基于(a)图像或视频数据或者与图像或视频相关联的生理数据以及(b)包括与患者
或外科手术过程相关联的外科手术或医学数据的一个或多个训练数据集，来生成一个或多个医学预测或评估。一个或多个训练数据集可以包括使用多个成像模态获得的解剖和生理数据。该系统还可以包括可视化模块，其被配置为基于一个或多个增强数据集为外科手术操作者提供外科手术场景的增强视图。在一些实施方式中，由可视化模块提供的增强视图包括对应于一个或多个组织区域的组织活力的信息或数据。在一些实施方式中，信息或数据包括组织活力的定量测量值。在一些实施方式，可视化模块与图像处理模块集成或可操作地耦合到图像处理模块。
[0008]在一些实施方式中，一个或多个图像和/或视频采集模块包括(i)第一图像和/或视频采集模块，其被配置为使用第一成像模态来捕获图像和/或视频，以及(ii)第二图像和/或者视频采集模块，其被配置为使用第二成像模态来捕获图像和/或视频。
[0009]在一些实施方式中，一个或多个医学预测或评估包括一个或多个关键结构的识别或分类。在一些实施方式中，一个或多个医学预测或评估包括一个或多个关键结构的预测位置。在一些实施方式中，一个或多个医学预测或评估在外科手术过程之前和期间向该外科手术操作者提供预测性临床决策支持。在一些实施方式中，一个或多个医学预测或评估部分地基于一个或多个计算机视觉算法的输出来生成或更新。在一些实施方式中，一个或多个医学预测或评估包括通过一个或多个通知或消息标题提供给用户或操作者的医学信息或实况指导。在一些实施方式中，一个或多个医学预测或评估包括外科手术场景中一个或多个组织区域的组织活力。
[0010]在一些实施方式中，图像处理模块被配置为基于在外科手术过程期间获得的附加图像数据来更新或改进一个或多个医学预测或评估。在一些实施方式中，图像处理模块被配置为基于在外科手术过程期间获得的附加图像数据来实时更新或改进一个或多个关键结构的预测位置。
[0011]在一些实施方式中，一个或多个训练数据集包括与一个或多个参考外科手术过程相关联的医学数据。在一些实施方式中，一个或多个训练数据集包括与(i)外科手术过程的一个或多个关键阶段或场景或(ii)在所述外科手术过程期间可见或可检测的关键结构的一个或多个视图相关联的医学数据。在一些实施方式中，一个或多个训练数据集包括使用腹腔镜、机器人辅助成像单元或成像传感器获得的医学数据，所述腹腔镜、机器人辅助成像单元或成像传感器被配置为生成红
‑
绿
‑
蓝可见光谱中的解剖图像和/或视频。在一些实施方式中，一个或多个训练数据集包括使用成像传感器获得的医学数据，该成像传感器被配置为基于化学信号增强剂生成生理或功能成像数据。在一些实施方式中，化学信号增强剂包括ICG、荧光或放射性标记的染料。在一些实施方式中，一个或多个训练数据集包括使用成像传感器获得的医学数据，该成像传感器被配置为基于激光散斑图案生成生理或功能成像数据。在一些实施方式中，一个或多个训练数据集包括使用成像传感器获得的医学数据，该成像传感器被配置为生成生理或功能成像数据，其中该生理或功能成像数据包括两个或更多个共同配准的图像或视频。在一些实施方式中，一个或多个训练数据集包括使用成像传感器获得的医学数据，该成像传感器被配置为生成生理或功能成像数据，其中该生理或功能成像数据包括外科手术感兴趣的关键结构的分割的解剖位置。在一些实施方式中，一个或多个训练数据集包括使用多个成像模态获得的医学数据，所述多个成像模态实现生理图像或视频与对应的RGB图像或视频之间的直接客观关联。多个成像模态可以包括深度成
像、距离映射、术中胆管造影、血管造影、导管造影、输尿管造影或淋巴管造影。在一些实施方式中，训练数据集包括灌注数据。
[0012]在一些实施方式中，图像处理模块被配置为基于在外科手术过程期间获得的附加生理数据来更新或改进一个或多个医学预测或评估。在一些实施方式中，可视化模块被配置为实时显示和跟踪一个或多个医学工具或关键特征的位置和取向。在一些实施方式中，可视化模块被配置为显示与关键特征的预测轮廓或边界相对应的一个或多个关键特征的可视外形。在一些实施方式中，使用一个或多个图像和/或视频采集模块获得的图像数据包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种外科手术指导系统，包括：图像处理模块，其被配置为(i)接收使用一个或多个图像和/或视频采集模块获得的图像或视频数据，以及(ii)基于(a)所述图像或视频数据或者与所述图像或视频数据相关联的生理数据以及(b)包括与患者或外科手术过程相关联的外科手术或医学数据的一个或多个训练数据集来生成一个或多个医学预测或评估，其中所述一个或多个训练数据集包括使用多个成像模态获得的解剖和生理数据；和可视化模块，其被配置为基于一个或多个增强数据集为外科手术操作者提供外科手术场景的增强视图。2.根据权利要求1所述的系统，其中所述一个或多个图像和/或视频采集模块包括(i)第一图像和/或视频采集模块，其被配置为使用第一成像模态来捕获图像和/或视频，以及(ii)第二图像和/或者视频采集模块，其被配置为使用第二成像模态来捕获图像和/或视频。3.根据权利要求1所述的系统，其中所述一个或多个医学预测或评估包括一个或多个关键结构的识别或分类。4.根据权利要求1所述的系统，其中所述一个或多个医学预测或评估包括一个或多个关键结构的预测位置。5.根据权利要求1所述的系统，其中所述一个或多个医学预测或评估在外科手术过程之前和期间向所述外科手术操作者提供预测性临床决策支持。6.根据权利要求1所述的系统，其中所述图像处理模块被配置为基于在外科手术过程期间获得的附加图像数据来实时更新或改进所述一个或多个医学预测或评估。7.根据权利要求6所述的系统，其中所述图像处理模块被配置为基于在外科手术过程期间获得的附加图像数据来实时更新或改进一个或多个关键结构的预测位置。8.根据权利要求1所述的系统，其中所述一个或多个训练数据集包括与一个或多个参考外科手术过程相关联的医学数据。9.根据权利要求8所述的系统，其中所述一个或多个训练数据集包括与(i)外科手术过程的一个或多个关键阶段或场景或(ii)在所述外科手术过程期间可见或可检测的关键结构的一个或多个视图相关联的医学数据。10.根据权利要求8所述的系统，其中所述一个或多个训练数据集包括使用腹腔镜、机器人辅助成像单元或成像传感器获得的医学数据，所述腹腔镜、机器人辅助成像单元或成像传感器被配置为生成红
‑
绿
‑
蓝可见光谱中的解剖图像和/或视频。11.根据权利要求8所述的系统，其中所述一个或多个训练数据集包括使用成像传感器获得的医学数据，所述成像传感器被配置为基于化学信号增强剂生成生理或功能成像数据。12.根据权利要求11所述的系统，其中所述化学信号增强剂包括ICG、荧光或放射性标记的染料。13.根据权利要求8所述的系统，其中所述一个或多个训练数据集包括使用成像传感器获得的医学数据，所述成像传感器被配置为基于激光散斑图案生成生理或功能成像数据。14.根据权利要求8所述的系统，其中所述一个或多个训练数据集包括使用成像传感器获得的医学数据，所述成像传感器被配置为生成生理或功能成像数据，其中所述生理或功
能成像数据包括两个或更多个共同配准的图像或视频。15.根据权利要求8所述的系统，其中所述一个或多个训练数据集包括使用成像传感器获得的医学数据，所述成像传感器被配置为生成生理或功能成像数据，其中所述生理或功能成像数据包括外科手术感兴趣的关键结构的分割的解剖位置。16.根据权利要求8所述的系统，其中所述一个或多个训练数据集包括使用多个成像模态获得的医学数据，所述多个成像模态实现生理图像或视频与对应的RGB图像或视频之间的直接客观关联，其中所述多个成像模态包括深度成像、距离映射、术中胆管造影、血管造影、导管造影、输尿管造影或淋巴管造影。17.根据权利要求1所述的系统，其中所述图像处理模块被配置为基于在外科手术过程期间获得的附加生理数据来实时更新或改进所述一个或多个医学预测或评估。18.根据权利要求1所述的系统，其中所述可视化模块被配置为实时显示和跟...

【专利技术属性】
技术研发人员：波格丹，
申请(专利权)人：艾科缇弗外科公司，
类型：发明
国别省市：