本发明专利技术涉及一种成像系统及生成可见光视频和彩色光视频的方法。成像系统包括：光源，用于发射可见光和红外光；以及照相机头单元，其被配置为捕获可见光图像数据以生成可见光图像帧、并且被配置为捕获红外图像数据以生成红外图像帧。照相机控制单元被配置为从可见光图像帧提取结构数据。照相机控制单元还被配置为对红外图像帧应用结构数据以利用结构数据来增强红外图像。
【技术实现步骤摘要】
成像系统及生成可见光视频和彩色光视频的方法
本专利技术涉及用于医疗过程的成像系统。
技术介绍
外科手术成像系统可以包括发射可见光和诸如红外光等的不可见光这两者的一个或多个光源。可见光通常用作参考光或照明光，而红外光通常用作激发染料以通过红外光谱中的荧光发光的激发光。可见光向外科医生提供人眼所见的图像，而荧光所产生的图像提供诸如血流量和炎症等的组织特征的红外图像。可见光图像(“VL图像”)和诸如红外图像(“IR图像”)等的不可见光图像的描绘分别在图1A和1B中例示性地示出。应当理解，VL图像提供了诸如静脉和不同身体组织等的外科手术部分的结构特征的更清晰视图，而IR图像提供了组织和/或病理组织内的诸如血流量等的方面的可视描绘。图1B描绘了IR图像如何缺乏VL图像中所示的结构细节。因此，这两个图像由外科医生在医疗过程期间进行分析。在一些情况下，IR图像是彩色的，然后与VL图像组合。例如，数据处理硬件被配置为使用诸如查找表(LUT)等的颜色映射，以基于IR图像生成伪颜色映射图像(彩色IR图像)，然后与VL图像组合以创建组合图像。这为外科医生提供了在诸如血流量或疾病等的组织状况的上下文中观察结构细节的益处。然而，彩色IR图像在组合时使VR图像中提供的一些结构细节模糊，如图2的组合图像中所示。
技术实现思路
因此，期望增强IR图像或彩色IR图像以包括结构数据，从而便于对外科手术部位的改进实时分析。本专利技术的一方面提供了生成利用结构数据增强的IR图像的成像系统。该系统包括用于发射红外光和可见光的光源。照相机头单元捕获VL图像数据以生成VL图像帧，并且捕获IR图像数据以生成IR图像帧。成像系统还包括被配置为执行用于执行成像功能的指令的照相机控制单元(“CCU”)。CCU被配置为从VL图像帧中提取结构数据。CCU还被配置为对IR图像帧应用结构数据以利用所提取的结构数据来增强红外光视频，从而生成增强IR图像帧。本专利技术的实现可以包括以下可选特征中的一个或多个。在一些实现中，结构数据是VL图像帧中所识别出的边缘。可以使用用于检测VL图像帧中的对比度的已知图像滤波器来识别该边缘。这种图像滤波器例示性地包括双边滤波器、高通滤波器和/或低通滤波器。在一些实现中，CCU还被配置为通过在提取结构数据之前将VL图像帧转换为灰度图像帧来检测结构数据。在一些实现中，CCU使结构数据按预定因子缩放以生成增强信号。然后，增强信号被应用于IR图像帧。因此，增强IR图像中所示出的结构数据的增强可以基于增强信号而增加或降低。在一些实现中，数据处理硬件被配置为生成IR图像数据的颜色映射。颜色映射基于组织内的染料的分散来描绘各种颜色强度。CCU还被配置为对颜色映射应用结构数据。在一些实现中，通过处理VL图像帧中所识别出的预定亮度来确定结构数据。这可以结合或代替处理VL图像帧中的对比度而进行。还提供了用于生成利用结构数据增强的IR图像的方法。该方法可以在成像系统中实现，该成像系统具有用于发射白(即，可见)光和红外光这两者的一个或多个光源、以及被配置为分别捕获可见光和红外光的第一图像传感器和第二图像传感器。该方法包括获得VL图像帧以及获得IR图像帧的步骤。该方法包括从VL图像帧中提取结构数据以及对IR图像帧应用结构数据以生成增强IR图像帧的步骤。因此，增强IR图像帧包括从VL图像帧中提取的结构数据。这里公开的方法的实现可以包括以下可选特征中的一个或多个。在一些实现中，结构数据是VL图像帧中所识别出的边缘，其中，可以通过VL图像中的对比度来识别该边缘。可以使用诸如双边滤波器、高通滤波器和/或低通滤波器等的已知滤波器来确定对比度。在一些实现中，该方法还包括通过在提取结构数据之前将VL图像帧转换为灰度图像帧的步骤。在一些实现中，结构数据按预定因子缩放以生成增强信号。因此，增强IR图像中所示出的结构数据的增强可以基于增强信号而增加或降低。在一些实现中，该方法包括生成IR图像数据的颜色映射以及对IR图像帧应用结构数据的步骤。在一些实现中，通过处理VL图像帧中所识别出的预定亮度来确定结构数据。在以下附图和说明书中详细阐述了本专利技术的一个或多个实现。根据说明书和附图以及权利要求书，其它方面、特征和优点将显而易见。附图说明附图中所阐述的实施例本质上是例示性和示例性的，并且不旨在限制权利要求所限定的主题。专利或申请文件包含至少一个以颜色执行的附图。具有彩色附图的本专利或专利申请公开的副本将由专利局在要求和缴付所需费用时提供。在结合以下附图阅读时，可以理解以下对例示性实施例的描述，其中相同的结构用相同的附图标记表示，并且在附图中：图1A是以颜色示出的VL图像帧的图。图1B是以颜色示出的IR图像帧的图。图2是以颜色示出的、将图1A所示的VL图像帧与基于图1B所示的IR图像帧的彩色IR图像帧相组合的组合图像帧的图。图3是根据这里所述的一个或多个实施例的成像系统的示意图。图4是示出从图1A所示的VL图像帧获取的结构数据的结构数据图像帧的图。图5是以颜色示出的、利用图4所示的结构数据图像帧增强的基于图1B所示的IR图像帧的增强IR图像帧的图。图6是根据这里所述的一个或多个实施例的CCU的示意图。图7A是灰度图像帧中的结构数据的例示性图。图7B是被进一步增强以相对于图7A提高一些结构数据的清晰度的结构数据的图。图7C是被进一步增强以相对于图7A降低一些结构数据的清晰度的结构数据的图。图8A是以颜色示出的IR图像帧的图。图8B是以颜色示出的、应用了颜色映射的基于图8A所示的IR图像帧的彩色IR图像帧的图。图8C是以颜色示出的、利用从VL图像提取的结构数据的基于图8B所示的彩色IR图像帧的增强彩色IR图像帧的图。图9A是以颜色示出的、基于与彩色IR图像帧组合的VL图像帧的组合图像帧的图。图9B是以颜色示出的、利用被应用于彩色IR图像帧的结构数据增强的基于图9A所示的组合图像帧的增强组合图像帧的图。图10是示出生成利用结构数据增强的IR图像的方法的流程图。具体实施方式这里的实现针对被配置为生成利用结构数据增强的IR图像的成像系统。在一方面，成像系统生成VL图像并从VL图像提取结构数据。然后，结构数据被应用于IR图像，以生成提供解剖特征的清晰可视背景的增强IR图像。如这里所使用的，术语“应用”是指使一个图像帧与另一图像帧重叠的技术，其中，来自一个图像帧的解剖特征与另一图像帧的解剖特征对准。为了例示性目的，这里在内窥镜检查的上下文中描述了成像系统。内窥镜检查、即用于检查体内腔(例如，消化道)的非外科手术医疗过程越来越多地被用作有效的诊断工具。这些过程通常使用内窥镜进行，内窥镜以其最基本的形式包括具有被配置为发射可见光和红外光的光源的柔性管。CCU控制被配置为分别检测可见光谱和红外光谱中的光的一对图像传感器的曝光。柔性管穿过患者本文档来自技高网...
【技术保护点】
1.一种成像系统，其被配置为将图像显示到显示单元上，所述成像系统包括：/n光源，用于发射可见光和红外光；/n照相机头单元，其被配置为捕获可见光图像数据以生成可见光图像帧、并且被配置为捕获红外图像数据以生成红外图像帧；以及/n照相机控制单元，其被配置为从所述可见光图像帧中提取结构数据并对所述红外图像帧应用所述结构数据以利用所述结构数据来增强所述红外图像帧。/n
【技术特征摘要】
20191212 US 16/712,1911.一种成像系统，其被配置为将图像显示到显示单元上，所述成像系统包括：
光源，用于发射可见光和红外光；
照相机头单元，其被配置为捕获可见光图像数据以生成可见光图像帧、并且被配置为捕获红外图像数据以生成红外图像帧；以及
照相机控制单元，其被配置为从所述可见光图像帧中提取结构数据并对所述红外图像帧应用所述结构数据以利用所述结构数据来增强所述红外图像帧。
2.根据权利要求1所述的成像系统，其中，所述结构数据是所述可见光图像帧中所识别出的边缘。
3.根据权利要求2所述的成像系统，其中，所述照相机控制单元包括用于检测所述边缘的双边滤波器。
4.根据权利要求2所述的成像系统，其中，所述照相机控制单元包括被配置为检测所述可见光图像帧中的边缘的低通滤波器。
5.根据权利要求1所述的成像系统，其中，所述照相机控制单元还被配置为在提取所述结构数据之前将所述可见光图像帧转换为灰度图像帧。
6.根据权利要求1所述的成像系统，其中，通过处理所述可见光图像帧中所识别出的亮度信息来确定所述结构数据。
7.根据权利要求1所述的成像系统，其中，所述照相机控制单元被配置为使所述结构数据缩放预定因子以生成增强信号，所述照相机控制单元对所述红外图像帧应用所述增强信号。
8.根据权利要求1所述的成像系统，其中，所述照相机控制单元被配置为生成所述红外图像帧的颜色映射，所述照相机控制单元还被配置为对所述颜色映射应用所述结构数据。
9.根据权利要求8所述的成像系统，其中，所述照相机控制单元被配置为生成重叠图像帧，
所述重叠图像帧具有：所述可见光图像帧以及含有所述结构数据的所述颜色映射。
10.根据权利要求1所述的成像系统，其中，所述照相机头单元被配置为捕获可见光图像数据以生成至少两个可见光图像帧、并且被配置为捕获...
【专利技术属性】
技术研发人员：J·贝尔梅特，
申请(专利权)人：卡尔史托斯影像有限公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。