一种基于图像区域有效性的多曝光图像融合方法及系统技术方案

本发明专利技术公开了一种基于图像区域有效性的多曝光图像融合方法及系统，涉及图像处理技术领域，首先获取若干幅不同曝光的raw图，并进行归一化；基于归一化后的若干幅不同曝光的raw图，计算当前噪声水平；基于当前噪声水平，获取每一幅raw图对应的有效性图；基于每一幅raw图对应的有效性图，计算对应的权重图；将每一幅raw图依据对应的权重图进行融合，得到融合图像。本发明专利技术进行多曝光图像融合时，计算量小、实时性好、融合效果更佳，能够减少图像信号处理过程的影响。过程的影响。过程的影响。

【技术实现步骤摘要】
一种基于图像区域有效性的多曝光图像融合方法及系统


[0001]本专利技术涉及图像处理
，更具体的说是涉及一种基于图像区域有效性的多曝光图像融合方法及系统。

技术介绍

[0002]随着计算机和多媒体技术的发展，各种多媒体应用都对高质量图像提出了广泛的需求。高质量的图像能够提供丰富的信息和真实的视觉感受。然而，在图像获取过程中，受到图像采集设备、采集环境、噪声等因素的影响，在显示终端呈现的图像往往是低质量的图像。因此，如何通过低质量图像重建高质量的图像，一直都是图像处理领域面临的一个挑战。
[0003]多曝光图像融合是把多幅曝光度不同的图像融合成为一幅图像的技术。多曝光图像融合技术可以提高图像的成像质量，避免了因为曝光度单一造成的高亮或者阴暗区域的细节丢失。现有的多曝光图像融合方法主要有Exposure Fusion（曝光融合）—Mertens TMO，以及基于导向滤波的图像融合等，然而现有的融合方法中仍存在以下缺陷：Exposure Fusion（曝光融合）—Mertens TMO：需要用拉普拉斯算子对图像三个通道进行计算，需要消耗大量的算力，容易出现偏色。
[0004]基于导向滤波的图像融合：对彩色图像进行多次滤波操作，流程复杂，需要消耗大量算力，容易出现halo现象。
[0005]因此如何克服上述现有技术的缺陷，解决多曝光图像融合过程中计算量大、效果较差等技术问题，是本领域技术人员亟需解决的问题。

技术实现思路

[0006]有鉴于此，本专利技术提供了一种基于图像区域有效性的多曝光图像融合方法及系统，方法简单、场景适应性强、速度快。
[0007]为了实现上述目的，本专利技术提供如下技术方案：一种基于图像区域有效性的多曝光图像融合方法，包括以下步骤：步骤1、获取若干幅不同曝光的raw图，并进行归一化，后续图像的处理均是基于归一化后的raw图；步骤2、基于若干幅不同曝光的raw图，计算当前噪声水平；步骤3、基于当前噪声水平，获取每一幅raw图对应的有效性图；步骤4、基于每一幅raw图对应的有效性图，计算对应的权重图；步骤5、将每一幅raw图依据对应的权重图进行融合，得到融合图像。
[0008]可选的，所述步骤1中，所述若干幅不同曝光的raw图按照曝光时间递减进行排序，构成集合A={raw0，raw1，...，rawi，...，raw（n
‑
1）}，曝光时间比例为ratio，其中n表示集合A中raw图的数量，n≥2。
[0009]可选的，所述步骤2中，计算当前噪声水平的方法为：
按照场景一致的原则进行计算，噪声均值noise_u=mean(rawj
‑
ratio*raw（j+1）)，噪声方差noise_std=std(rawj
‑
ratio*raw（j+1）)，其中rawj和raw（j+1）为集合A中任意两幅相邻的raw图，0≤j≤n
‑
2。
[0010]本专利技术利用多帧曝光特性进行噪声水平的评估，比其它噪声评估方法更简单。
[0011]可选的，所述步骤3中，获取每一幅raw图对应的有效性图的方法为：对于第i幅raw图rawi，根据曝光时间比例计算除了最短帧以外的每个点有效性：e_q=(ratio
‑
1)*noise_u；d_q=sqrt(ratio**2+1)*noise_std；Si=rawi
‑
ratio*raw(i+1)；Pi=(Si
‑
(e_q
‑
d_q))/max(delta,2*d_q)，delta=1e
‑6；Img_valid_i=(1
‑
Pi)；最短帧有效性由1减去倒数第二短帧的有效性得到。
[0012]本专利技术通过噪声水平特性，生成的图像曝光有效性更准确，更适合夜间高噪声场景的融合，场景适应性强。
[0013]并且本专利技术在raw域做有效性评估，以得到有效性图，因为raw数据更接近线性，能更准确的反应图像亮度的递进过程，减少图像信号处理过程中gamma对亮度值的影响。
[0014]可选的，所述步骤4中，对于第i幅raw图对应的有效性图Img_valid_i，计算对应的权重图的方法为：步骤4.1、使用拉普拉斯金字塔方法，对有效性图Img_valid_i做高斯模糊；步骤4.2、将高斯模糊之后的有效性图Img_valid_i图像大小缩小到原来的1/2；步骤4.3、按照步骤4.2进行若干个尺度变换就构成了从大到小的图像序列，按照上层图像大于下层图像的原则，组成高斯金字塔Img_valid_i_pyramid，然后从高斯金字塔底层的图像开始，到倒数第二顶层做以下操作：A、使用双线性插值，放大图像到与上一层一致；B、与上一层的图像做计算合成新的图像；C、将新的图像替换原有上一层图像；得到的顶层图像成为权重图w_i，可以增强融合图像的平滑性。
[0015]上述方法通过有效性判断权重，比单纯用亮度图的值大小判断权重更准确、计算量更小。
[0016]可选的，所述步骤5中，将每一幅raw图依据对应的权重图进行融合，得到融合图像，融合公式为：Raw_hdr=raw0*w_0+raw1*w_1*ratio+.....+rawi*w_i*ratio
i
+...+raw（n
‑
1）*w_（n
‑
1）*ratio
n
‑1，其中w_i表示第i幅raw图对应的权重图。
[0017]本专利技术在raw域做图像融合，与jpg图像相比，可以增加图像信息的保留比例。
[0018]一种基于图像区域有效性的多曝光图像融合系统，包括：曝光图像获取模块，用于获取若干幅不同曝光的raw图；噪声水平计算模块，用于基于归一化后的若干幅不同曝光的raw图，计算当前噪声水平；有效性图获取模块，用于基于当前噪声水平，获取每一幅raw图对应的有效性图；
权重图获取模块，用于基于每一幅raw图对应的有效性图，计算对应的权重图；融合模块，用于将每一幅raw图依据对应的权重图进行融合。
[0019]经由上述的技术方案可知，本专利技术公开提供了一种基于图像区域有效性的多曝光图像融合方法及系统，与现有技术相比，具有以下有益效果：速度方面：因为计算量的大大减少，本专利技术能快速部署在终端设备，能做到实时性好。
[0020]效果方面：本专利技术在raw域对没有处理的原始图像数据进行融合，可以更好的配合后期图像信号处理调试，保证最终出图的图像效果。
[0021]适用性方面：本专利技术适合用于多数传感器，可移植性强，可拓展于其他的任务领域，可广泛运用于拍照、摄像相关系统及终端设备等。
附图说明
[0022]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像区域有效性的多曝光图像融合方法，其特征在于，包括以下步骤：步骤1、获取若干幅不同曝光的raw图，并进行归一化；步骤2、基于归一化后的若干幅不同曝光的raw图，计算当前噪声水平；步骤3、基于当前噪声水平，获取每一幅raw图对应的有效性图；步骤4、基于每一幅raw图对应的有效性图，计算对应的权重图；步骤5、将每一幅raw图依据对应的权重图进行融合。2.根据权利要求1所述的一种基于图像区域有效性的多曝光图像融合方法，其特征在于，所述步骤1中，所述若干幅不同曝光的raw图按照曝光时间递减进行排序，构成集合A={raw0，raw1，...，rawi，...，raw（n
‑
1）}，曝光时间比例为ratio，其中n表示集合A中raw图的数量，n≥2。3.根据权利要求2所述的一种基于图像区域有效性的多曝光图像融合方法，其特征在于，所述步骤2中，计算当前噪声水平的方法为：按照场景一致的原则进行计算，噪声均值noise_u=mean(rawj
‑
ratio*raw（j+1）)，噪声方差noise_std=std(rawj
‑
ratio*raw（j+1）)，其中rawj和raw（j+1）为集合A中任意两幅相邻的raw图，0≤j≤n
‑
2。4.根据权利要求3所述的一种基于图像区域有效性的多曝光图像融合方法，其特征在于，所述步骤3中，获取每一幅raw图对应的有效性图的方法为：对于第i幅raw图rawi，根据曝光时间比例计算除了最短帧以外的每个点有效性：e_q=(ratio
‑
1)*noise_u；d_q=sqrt(ratio*2+1)*noise_std；Si=rawi
‑
ratio*raw(i+1)；Pi=(Si
‑
(e_q
‑
d_q))/max(delta,2*d_q)，delta=1e
...

【专利技术属性】
技术研发人员：林景洲，郭奇锋，张齐宁，
申请(专利权)人：深圳深知未来智能有限公司，
类型：发明
国别省市：