辐射域中图像融合的颜色校正制造技术

本申请涉及校正图像颜色。为场景捕获第一图像和第二图像，并将其融合成融合图像。所述第一图像和所述融合图像对应于颜色空间中的多个颜色通道。选择第一颜色通道作为锚通道。在分别对应于所述第一图像和所述融合图像的所述第一颜色通道的第一颜色信息项和第二颜色信息项之间确定锚比率，对于每个第二颜色通道，基于所述锚比率和所述第一图像对应的至少一个第三信息项来确定相应的校正颜色信息项。将所述融合图像的所述第一颜色通道的所述第二颜色信息项与所述第二颜色通道中的每一者的相应的所述校正颜色信息项组合以在色彩空间中形成最终图像。间中形成最终图像。间中形成最终图像。

【技术实现步骤摘要】
【国外来华专利技术】辐射域中图像融合的颜色校正
[0001]相关申请
[0002]本申请要求以下专利申请的优先权，其中以下每个专利申请的全部内容以引用的方式并入本申请中：
[0003]2020年11月12日提交的标题为“Color Image&Near
‑
Infrared Image Fusion in Radiance Domain(辐射域中的彩色图像&近红外图像融合)”的美国临时专利申请，申请号为NO.63/113,139；以及
[0004]2020年11月12日提交的标题为“Color Correction of Color Image and Near
‑
Infrared Image Fusion in Radiance Domain(辐射域中的彩色图像和近红外图像融合的颜色校正)”的美国临时专利申请，申请号为NO.63/113,144。


[0005]本申请涉及图像处理，具体地，涉及用于对由单个相机或两个不同相机的两个不同传感器模态(可见光和近红外图像传感器)以同步方式捕获的场景的图像进行融合的方法和系统。

技术介绍

[0006]图像融合技术用于将来自不同的图像源的信息组合成单个图像。所得到的图像包含比由任一单个图像源提供的信息更多的信息。不同的图像源通常对应于位于场景中不同感官模态，以提供用于图像融合的不同类型的信息(例如，颜色、亮度和细节)。例如，彩色图像与近红外(near
‑
infrared，NIR)图像融合，这增强了彩色图像中的细节，同时基本上保持了彩色图像的颜色和亮度信息。特别地，NIR光相对于可见光可以更好地穿过雾或霾(fog、smog、或haze)，从而使得能够基于NIR图像和彩色图像的组合来建立一些去雾算法。然而，彩色图像和NIR图像融合所得的图像的颜色可能会偏离原始彩色图像的真实颜色。提出一种有效地实现图像融合并改善由图像融合产生的图像的质量的机制将是有益的。

技术实现思路

[0007]本申请描述了关于组合由不同图像传感器模态捕获的多个图像的信息的实施例，其中多个图像例如为真彩色图像(也称为RGB图像)和对应的NIR图像。在一个示例中，RGB图像和NIR图像可以被分解为细节部分和基础部分，并且使用不同的权重在辐射域中融合。在该融合过程之前，可以使用图像配准操作来局部地和迭代地对齐RGB图像和NIR图像。RGB图像和NIR图像的辐射度可以具有不同的动态范围，并且可以经由辐射度映射函数来归一化。对于图像融合，可以基于红外发射强度来组合RGB图像和NIR图像的亮度分量，并且进一步与RGB图像的颜色分量融合。还可以参考融合图像的多个颜色通道之一来调整融合图像。进一步地，在一些实施例中，提取并组合RGB图像的基础分量和融合图像的细节分量，以提高图像融合的质量。当在融合图像中检测到一个或多个模糊区(hazy zone)时，每个模糊区的预定义部分被饱和以抑制融合图像中的模糊效应。通过这些方式，可以有效地实现图像融
合，从而提供具有更好的图像质量(例如，具有更多的细节、更好的颜色保真度和/或更低的模糊水平)的图像。
[0008]在一个方面，图像融合方法由具有一个或多个处理器和存储器的计算机系统(例如，服务器、具有相机的电子设备或它们两者)执行。所述图像融合方法包括：获得在场景中同时捕获的近红外(NIR)图像和RGB图像(例如通过同一相机或两个不同相机的不同图像传感器)，对NIR图像和RGB图像的一个或多个几何特征进行归一化，以及将归一化NIR图像和归一化RGB图像分别转换为辐射域中的第一NIR图像和第一RGB图像。所述图像融合方法还包括将第一NIR图像分解为NIR基础部分和NIR细节部分，将第一RGB图像分解为RGB基础部分和RGB细节部分，使用一组权重生成NIR基础部分、RGB基础部分、NIR细节部分和RGB细节部分的加权组合，以及将辐射域中的加权组合转换为图像域中的第一融合图像。
[0009]在一个方面，另一个图像融合方法在具有一个或多个处理器和存储器的计算机系统(例如，服务器、具有相机的电子设备或它们两者)中实现。图像融合方法包括：获得同时捕获的两个图像(例如，通过同一相机或两个不同相机的不同图像传感器)，将图像域中的两个图像转换为辐射域中的第一图像和第二图像，并且确定第一图像具有覆盖第一动态范围的第一辐射度以及第二图像具有覆盖第二动态范围的第二辐射度。所述图像融合方法还包括：响应于确定所述第一动态范围大于所述第二动态范围：确定所述第一动态范围和所述第二动态范围之间的辐射度映射函数，根据所述映射函数将所述第二图像的所述第二辐射度从所述第二动态范围映射到所述第一动态范围以及组合所述第一图像的所述第一辐射度和所述第二图像的映射的第二辐射度，以生成融合辐射度图像。所述图像融合方法还包括：将所述辐射域中的融合辐射度图像转换为所述图像域中的融合像素图像。
[0010]在另一方面，实现了一种用于在具有一个或多个处理器和存储器的计算机系统(例如，服务器、具有相机的电子设备或它们两者)中校正图像颜色的图像处理方法。图像处理方法包括：获得针对场景同时捕获的第一图像和第二图像(例如，通过相同相机的不同图像传感器或两个不同相机)以及融合所述第一图像和所述第二图像以生成融合图像。所述第一图像和所述融合图像对应于颜色空间中的多个颜色通道。所述图像处理方法还包括：从所述多个颜色通道中选择第一颜色通道作为锚通道，以及确定第一颜色信息项与第二颜色信息项之间的锚比率。所述第一颜色信息项和所述第二颜色信息项分别对应于所述第一图像和所述融合图像的第一颜色通道。所述图像处理方法包括：对于不同于所述第一颜色通道的一个或多个第二颜色通道中的每一个，基于所述锚比率和与所述第一图像的所述第二颜色通道对应的至少一个第三信息项来确定相应的校正颜色信息项。所述图像处理方法包括：将所述融合图像的所述第一颜色通道的所述第二颜色信息项与所述一个或多个第二颜色通道中的每一个的相应的所述校正颜色信息项进行组合，以在所述颜色空间中生成最终图像。
[0011]根据本申请的另一方面，一种计算机系统包括一个或多个处理单元、存储器和存储在所述存储器中的多个程序。所述程序在由所述一个或多个处理单元执行时，使所述一个或多个处理单元执行如上所述的图像处理方法。
[0012]根据本申请的另一方面，一种非易失性计算机可读存储介质存储用于由具有一个或多个处理单元的计算机系统执行的多个程序。当所述一个或多个处理单元执行所述程序时，执行如上所述的图像处理方法。
附图说明
[0013]所包括的附图为了提供对实施例的进一步理解，并且被并入本文以及构成说明书的一部分，附图示出了所描述的实施例，并且与说明书一起用于解释基本原理。
[0014]图1是根据一些实施例的示例性数据处理环境100，其中一个或多个服务器102与一个或多个客户端设备104通信连接。
[0015]图2是根据一些实施例的数据处理系统200的框图。
[0016]图3本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于校正图像颜色的图像处理方法，其特征在于，包括：获取针对场景同时捕获的第一图像和第二图像；融合所述第一图像和所述第二图像以生成融合图像，所述第一图像和所述融合图像对应于颜色空间中的多个颜色通道；从所述多个颜色通道中选择第一颜色通道作为锚通道；确定第一颜色信息项与第二颜色信息项之间的锚比率，所述第一颜色信息项和所述第二颜色信息项分别对应于所述第一图像的所述第一颜色通道和所述融合图像的所述第一颜色通道；对于不同于所述第一颜色通道的一个或多个第二颜色通道中的每一个，基于所述锚比率和与所述第一图像的相应的所述第二颜色通道相对应的至少一个第三信息项来确定相应的校正颜色信息项；以及将所述融合图像的所述第一颜色通道的所述第二颜色信息项与所述一个或多个第二颜色通道中的每一个的相应的所述校正颜色信息项进行组合，以在所述颜色空间中生成最终图像。2.根据权利要求1所述的方法，其特征在于，在像素基础上确定每个所述第二颜色通道的所述锚比率和相应的所述校正颜色信息项，并且在所述像素基础上组合所述第一颜色通道的所述第二颜色信息项和所述一个或多个第二颜色通道的相应的所述校正颜色信息项。3.根据权利要求1或2所述的方法，其特征在于，根据锚通道选择准则从所述多个颜色通道中选择所述第一颜色通道。4.根据权利要求3所述的方法，其特征在于，响应于所述锚通道选择，所述融合图像的所述锚通道相对于所述融合图像的所述多个颜色通道中的所述第一图像的对应颜色通道具有最小总标准偏差。5.根据前述权利要求中任一项所述的方法，其特征在于，确定用于每个所述第二颜色通道的相应的所述校正颜色信息项，还包括：确定所述第一图像的第三颜色信息项与对应于所述融合图像的所述第二颜色通道的第四颜色信息项之间的颜色比率；以及将相对应的所述第四颜色信息项、所述颜色比率和所述锚比率组合，以确定所述第二颜色通道的相应的所述校正颜色信息项。6.根据前述权利要求中任一项所述的方法，其特征在于，确定用于每个所述第二颜色通道的相应的所述校正颜色信息项，还包括：组合所述第一图像的所述第三颜色信息项和所述锚比率以确定所述第二颜色通道的所述校正颜色信息项。7.根据前述权利要求中任一项所述的方法，其特征在于，所述多个颜色通道包括红色通道，绿色通道和蓝色通道，所述锚通道是所述红色通道，绿色通道和蓝色通道中的一个；以及所述一个...

【专利技术属性】
技术研发人员：黄金才，申静林，何朝文，
申请(专利权)人：创峰科技，
类型：发明
国别省市：