荧光成像系统和用于对图像值进行加权的方法技术方案

本发明专利技术涉及荧光成像系统和用于对图像值进行加权的方法。该增强荧光成像系统包括用于发射不可见光和可见光的光源以及用于捕获不可见光图像数据和可见光图像数据的图像传感器。数据处理硬件进行操作，该操作包括确定与图像传感器所捕获的不可见光的量相关联的不可见值、并对各不可见值应用颜色映射以生成不可见光选定颜色值。该操作还包括将可见光色度值与不可见色度值进行加权以生成加权色度值、并将可见光图像数据的各像素的亮度值与加权色度值相组合。该操作还包括基于可见光图像数据的亮度值以及加权色度值来生成RGB值、并将RGB值发送至显示器。

【技术实现步骤摘要】
荧光成像系统和用于对图像值进行加权的方法
本专利技术涉及用于医疗过程的荧光成像系统。
技术介绍
内窥镜通常用于在降低外科手术过程的侵入性的同时提供对体腔的访问。荧光成像系统可以包括内窥镜、发射可见(例如，白)光和不可见(例如，红外)光这两者的一个或多个光源、照相机控制单元、以及显示控制单元。可见光通常用作参考光或照明光，而不可见光通常用作激发光。也就是说，不可见光用于照射给予患者的荧光物质(例如，染料)，转而使荧光物质发射荧光。内窥镜包括用以捕获所反射的可见光和/或所发射的荧光的一个或多个图像传感器。荧光成像系统可以将不可见光的可视化表示覆盖到可见光图像上。然而，组合或混合图像数据可能导致不可见光分量太明显、太亮、太分散或太褪色的情况。
技术实现思路
本专利技术的一方面提供了增强荧光成像系统，其包括被配置为发射不可见光和可见光的光源以及图像传感器，所述图像传感器包含被配置为捕获不可见光图像数据和可见光图像数据的多个像素。所述增强荧光成像系统被配置为将视频图像生成到显示器上，并且包括与所述图像传感器通信的数据处理硬件以及与所述数据处理硬件通信的存储器硬件。所述存储器硬件存储在所述数据处理硬件上执行时使所述数据处理硬件进行操作的指令，所述操作包括针对所述多个像素中的各像素确定不可见光值。所述不可见光值与所述图像传感器所捕获的不可见光的量相关联。所述操作还包括：对各不可见光值应用颜色映射以将所述不可见光值与选定颜色相关联，从而生成不可见光选定颜色值；以及将所述可见光图像数据的可见光色度值与所述不可见光选定颜色值的不可见光色度值进行加权，以生成加权色度值。所述操作还包括将所述可见光图像数据的各像素的亮度值与所述加权色度值相组合以增强所述视频图像。本专利技术的实现可以包括以下可选特征中的一个或多个。在一些实现中，所述颜色映射被配置为将各不可见光值变换为与选定颜色相对应的值集。所述不可见光值的大小可以与所述选定颜色的强度相关联。在一些示例中，所述选定颜色是绿色。可选地，将所述可见光图像数据的可见光色度值与所述不可见光选定颜色值的不可见光色度值进行加权包括：针对各像素将相关可见光图像数据转换为可见光亮度值、可见光蓝差色度值和可见光红差色度值；以及将所述不可见光选定颜色值转换为不可见光亮度值、不可见光蓝差色度值和不可见光红差色度值。将所述可见光图像数据的可见光色度值与所述不可见光选定颜色值的不可见光色度值进行加权还可以包括：基于加权因子来对所述可见光蓝差色度值和所述不可见光蓝差色度值进行加权，以生成加权蓝差色度值；以及基于所述加权因子来对所述可见光红差色度值和所述不可见光红差色度值进行加权，以生成加权红差色度值。在一些实现中，所述加权因子是基于相关像素的不可见光值。在所述不可见光值低于第一阈值的情况下，所述加权蓝差色度值可以等于所述可见光蓝差色度值，以及所述加权红差色度值可以等于所述可见光红差色度值。在所述不可见光值高于第二阈值的情况下，所述加权蓝差色度值可以等于所述不可见光蓝差色度值，以及所述加权红差色度值可以等于所述不可见光红差色度值。在所述不可见光值介于所述第一阈值和所述第二阈值之间的情况下，所述加权蓝差色度值可以介于所述可见光蓝差色度值和所述不可见光蓝差色度值之间，以及所述加权红差色度值可以介于所述可见光红差色度值和所述不可见光红差色度值之间。可选地，各不可见光值介于0和4095之间。本专利技术的另一方面提供了荧光成像系统，其包括被配置为发射不可见光和可见光的光源以及包含被配置为捕获不可见光图像数据和可见光图像数据的多个像素的图像传感器。所述荧光成像系统被配置为将视频图像生成到显示器上，并且包括与所述图像传感器通信的数据处理硬件以及与所述数据处理硬件通信的存储器硬件。所述存储器硬件存储在所述数据处理硬件上执行时使所述数据处理硬件进行操作的指令，所述操作包括针对所述多个像素中的各像素确定不可见光值。所述不可见光值与所述图像传感器所捕获的不可见光的量相关联。所述操作还包括将各像素的不可见光值与所述可见光图像数据的选定颜色相加以生成加色光值。所述操作还包括：对各不可见光值应用颜色映射以将所述不可见光值与选定颜色相关联，从而生成不可见光选定颜色值；以及将所述可见光图像数据的可见光色度值与所述不可见光选定颜色值的不可见光色度值进行加权，以生成加权色度值。所述操作还包括将所述可见光图像数据的亮度值与所述加权色度值相组合，以生成组合亮度-色度光值。所述操作还包括：将所述组合亮度-色度光值转换为替换色光值；以及将所述加色光值与所述替换色光值进行加权以生成加权色光值，从而增强所述视频图像。该方面可以包括以下可选特征中的一个或多个。在一些实现中，将所述不可见光值与所述可见光图像数据的像素的选定颜色相加包括：针对各像素，确定可见RGB值集；针对各像素，基于所述不可见光图像数据来确定不可见光RGB值集；以及针对各像素，将所述不可见光RGB值集与所述可见光RGB值集相加。在一些示例中，将所述加色光值与所述替换色光值进行加权包括基于加权因子来进行加权。所述加权因子可以基于各相关像素的不可见光值。在一些实现中，所述加权因子是基于所述不可见光值。可选地，所述加权因子是基于所述加色光值。所述加权因子可以基于所述图像传感器的位深度。在一些示例中，各加色光值的权重与相关不可见光值逆相关。本专利技术的另一方面提供了荧光成像系统的对图像值进行加权的方法，所述荧光成像系统包括被配置为发射不可见光和可见光的光源以及图像传感器，所述图像传感器包含被配置为捕获不可见光图像数据和可见光图像数据的多个像素。所述荧光成像系统被配置为将视频图像生成到显示器上。所述方法包括针对所述多个像素中的各像素确定不可见光值。所述不可见光值与所述图像传感器所捕获的不可见光的量相关联。所述方法还包括将各像素的不可见光值与所述可见光图像数据的选定颜色相加以生成加色光值。所述方法还包括：对各不可见光值应用颜色映射以将所述不可见光值与选定颜色相关联，从而生成不可见光选定颜色值；以及将所述可见光图像数据的可见光色度值与所述不可见光选定颜色值的不可见光色度值进行加权，以生成加权色度值。所述方法还包括：将所述可见光图像数据的亮度值与所述加权色度值相组合，以生成组合亮度-色度光值；以及将所述组合亮度-色度光值转换为替换色光值。所述方法还包括将所述加色光值与所述替换色光值进行加权以生成加权色光值。在以下附图和说明书中详细阐述了本专利技术的一个或多个实现。根据说明书和附图以及权利要求书，其它方面、特征和优点将显而易见。附图说明附图中所阐述的实施例本质上是例示性和示例性的，并且不旨在限制权利要求所限定的主题。在结合以下附图阅读时，可以理解以下对例示性实施例的描述，其中相同的结构用相同的附图标记表示，并且在附图中：图1是增强荧光成像的示例系统的示意图。图2是已知Bayer滤色器阵列图像传感器的立体图。图3是被颜色映射到RGB值集的不可见像素值的表。图4是选定YCbCr值的加权函数的图。图5是替换YCbCr值的三个表。图6是增强荧光成像的本文档来自技高网...

【技术保护点】
1.一种荧光成像系统，其包括被配置为发射不可见光和可见光的光源以及图像传感器，所述图像传感器包含被配置为捕获不可见光图像数据和可见光图像数据的多个像素，所述荧光成像系统被配置为将视频图像生成到显示器上，所述荧光成像系统包括：/n数据处理硬件，其与所述图像传感器通信；以及/n存储器硬件，其与所述数据处理硬件通信，所述存储器硬件存储在所述数据处理硬件上执行时使所述数据处理硬件进行操作的指令，所述操作包括：/n针对所述多个像素中的各像素确定不可见光值，所述不可见光值与所述图像传感器所捕获的不可见光的量相关联；/n对各不可见光值应用颜色映射以将所述不可见光值与选定颜色相关联，从而生成不可见光选定颜色值；/n将所述可见光图像数据的可见光色度值与所述不可见光选定颜色值的不可见光色度值进行加权，以生成加权色度值；以及/n将所述可见光图像数据的各像素的亮度值与所述加权色度值相组合以增强所述视频图像。/n

【技术特征摘要】
20191211 US 16/711,2181.一种荧光成像系统，其包括被配置为发射不可见光和可见光的光源以及图像传感器，所述图像传感器包含被配置为捕获不可见光图像数据和可见光图像数据的多个像素，所述荧光成像系统被配置为将视频图像生成到显示器上，所述荧光成像系统包括：
数据处理硬件，其与所述图像传感器通信；以及
存储器硬件，其与所述数据处理硬件通信，所述存储器硬件存储在所述数据处理硬件上执行时使所述数据处理硬件进行操作的指令，所述操作包括：
针对所述多个像素中的各像素确定不可见光值，所述不可见光值与所述图像传感器所捕获的不可见光的量相关联；
对各不可见光值应用颜色映射以将所述不可见光值与选定颜色相关联，从而生成不可见光选定颜色值；
将所述可见光图像数据的可见光色度值与所述不可见光选定颜色值的不可见光色度值进行加权，以生成加权色度值；以及
将所述可见光图像数据的各像素的亮度值与所述加权色度值相组合以增强所述视频图像。


2.根据权利要求1所述的荧光成像系统，其中，所述颜色映射被配置为将各不可见光值变换为选定颜色，所述不可见光值的大小与所述选定颜色的强度相关联。


3.根据权利要求1所述的荧光成像系统，其中，所述选定颜色是绿色。


4.根据权利要求1所述的荧光成像系统，其中，将所述可见光图像数据的可见光色度值与所述不可见光选定颜色值的不可见光色度值进行加权包括：
针对各像素将相关可见光图像数据转换为可见光亮度值、可见光蓝差色度值和可见光红差色度值；
将所述不可见光选定颜色值转换为不可见光亮度值、不可见光蓝差色度值和不可见光红差色度值；
基于加权因子来对所述可见光蓝差色度值和所述不可见光蓝差色度值进行加权，以生成加权蓝差色度值；以及
基于所述加权因子来对所述可见光红差色度值和所述不可见光红差色度值进行加权，以生成加权红差色度值。


5.根据权利要求4所述的荧光成像系统，其中，所述加权因子是基于相关像素的不可见光值。


6.根据权利要求5所述的荧光成像系统，其中，在所述不可见光值低于第一阈值的情况下，所述加权蓝差色度值等于所述可见光蓝差色度值，以及所述加权红差色度值等于所述可见光红差色度值。


7.根据权利要求6所述的荧光成像系统，其中，在所述不可见光值高于第二阈值的情况下，所述加权蓝差色度值等于所述不可见光蓝差色度值，以及所述加权红差色度值等于所述不可见光红差色度值。


8.根据权利要求7所述的荧光成像系统，其中，在所述不可见光值介于所述第一阈值和所述第二阈值之间的情况下，所述加权蓝差色度值介于所述可见光蓝差色度值和所述不可见光蓝差色度值之间，以及所述加权红差色度值介于所述可见光红差色度值和所述不可见光红差色度值之间。


9.根据权利要求1所述的荧光成像系统，其中，各不可见光值介于基于像素位深度的不可见光最小值和不可见光最大值之间。


10.一种荧光成像系统，其包括被配置为发射不可见光和可见光的光源以及图像传感器，所述图像传感...

【专利技术属性】
技术研发人员：E·莫拉莱斯，
申请(专利权)人：卡尔史托斯影像有限公司，
类型：发明
国别省市：美国;US