一种多曝光图像融合的无监督学习方法、装置及电子设备制造方法及图纸

本发明专利技术公开一种多曝光图像融合的无监督学习方法、装置及电子设备，方法包括：构建图像融合网络；所述融合网络包括：视觉特征保持单元VPN和光照调节单元IAN；将曝光不足图像I

【技术实现步骤摘要】
一种多曝光图像融合的无监督学习方法、装置及电子设备


[0001]本专利技术涉及图像融合领域，尤其涉及一种多曝光图像融合的无监督学 习方法、装置、及电子设备。

技术介绍

[0002]动态范围(Dynamic Range，DR)用以描述相机在单个帧中可以记录的 最亮和最暗色调之间的比率。数字摄影的主要目标是以生动的色彩、良好 的对比度和丰富的纹理来记录自然场景。然而，由于现有成像设备的亮度 差异和有限的动态范围，拍摄的图像要么曝光不足，要么曝光过度。不良 的曝光结果不仅会降低视觉效果，还会降低后续高层次计算机视觉任务(如 目标检测和跟踪)的性能。因此，发展高动态范围(High Dynamic Range， HDR)成像技术，使场景表现更加完整，具有十分重要的意义。
[0003]作为高动态范围成像的一种经济高效的解决方案，多重曝光图像融合 (Multi
‑
exposure Image Fusion，MEF)旨在保留多重曝光图像中最清晰的 部分，同时调整整体曝光和不良曝光区域。根据基本理论的不同，现有的 多曝光图像融合方法大致可分为三类：变换域、空间域和基于深度学习的 方法。前两类已经发展了很多年，因此被称为传统的融合方法。然而，传 统方法对提取的特征建模和设计融合规则非常费时费力，因此，其性能在 很大程度上受到限制。
[0004]在过去的十几年中，深度学习已被证明是融合多曝光图像的有效方法。 与传统的多曝光图像融合方法相比，基于深度学习的图像融合方法有两个 优点：(1)利用大量的源图像对网络进行训练，从而可以提取出更多具有 特定特征的信息性特征。(2)基于深度学习的方法是端到端的模型，能够 自适应地融合和重构源图像的特征，大大降低了实现复杂度。现有的基于 深度学习的MEF方法已经取得了一些进展。但仍存在一些有待改进的问题。 首先，基于监督学习的方法的性能在很大程度上取决于高质量的参考图像。 实际上，受现有成像技术的限制，参考图像通常不会在所有区域都很好地 曝光，并且获取参考图像总是昂贵且耗时。其次，现有的基于无监督学习 的方法大多只融合亮度通道，而忽略了与色度通道的相关性，导致一定程 度的颜色失真。第三，对比度、饱和度和纹理等结构信息的保存是大多数 方法提出网络和损失函数的主要动机。然而，藏在曝光不足和曝光过度区 域的细节仍未清晰恢复，无法很好地实现局部照明调整。

技术实现思路

[0005]为了克服上述问题，本专利技术提出了一种多曝光图像融合的无监督学习 方法(ACE
‑
MEF)。提出的ACE
‑
MEF由两个模块组成：视觉特征保持(VisualCharactersitic Preservation，VPN)和光照调节(Illumination Adjustment，IAN)。 VPN用于保存源图像中最有用的视觉信息。IAN揭示了更多的纹理信息， 这些信息由于过度曝光和曝光不足的图像之间的巨大光照差异而被部分隐 藏。为了消除对参考图像的依赖，本专利技术构造了一个特定的融合损失函数， 该函数可以自适应地约束中间融合图像与源图像在颜色和对比度信
息方面 的相似分布。将输入图像的对比度、饱和度和曝光度线性组合以测量视觉 清晰度，然后计算自适应权重图。为了避免视觉伪影，VPN中还引入了平 滑度损失。然而，受真实场景光照复杂度的限制，采用不同曝光设置拍摄 的图像往往无法覆盖整个动态范围，因此在某些光照条件较差的区域很难 恢复清晰的外观。为了解决这个问题，本专利技术将彩色视觉特征保留图像转 换到HSV空间，保留所有颜色(色调和饱和度)，并且只将亮度通道输入 到IAN中。IAN预测参数图，然后在伽马曝光调整函数中采用这些参数图 来恢复不满意的局部曝光。
[0006]本专利技术的技术方案提供一种多曝光图像融合的无监督学习方法，包括 以下步骤：
[0007]S101：构建图像融合网络；所述融合网络包括：视觉特征保持单元VPN 和光照调节单元IAN；
[0008]S102：将曝光不足图像I
u
和曝光过度图像I
o
作为样本集，输入至视觉 特征保持单元VPN，训练所述视觉特征保持单元VPN，得到训练完毕的视 觉特征保持单元VPN；视觉特征保持单元VPN输出中间融合图像I
ini
；
[0009]S103：将中间融合图像I
ini
作为光照调节单元IAN的输入，训练所述光 照调节单元，得到训练完毕的光照调节单元；
[0010]S104：输入实际待处理图像至图像融合网络，利用训练完毕的视觉特 征保持单元VPN和训练完毕的光照调节单元，得到最终图像。
[0011]进一步地，所述视觉特征保持单元VPN采用编码器
‑
解码器网络进行特 征提取和图像重建；编码器增加密集连接模块；解码器采用多个卷积层。
[0012]进一步地，所述视觉特征保持单元VPN不包含上采样和下采样单元。
[0013]进一步地，所述视觉特征保持单元VPN的损失函数为视觉特征保持损 失L
VPN
；视觉特征保持损失L
VPN
包括用于保存原图像颜色和对比度的MEF 损失L
MEF
和用于保持图像视觉效果的TV平滑损失L
TV
；其中：
[0014]L
VPN
＝L
MEF
+αL
TV
ꢀꢀꢀ
(1)
[0015]其中α是平衡L
MEF
和L
TV
影响的超参数，根据实际情况预设。
[0016]进一步地，所述MEF损失L
MEF
如下式：
[0017][0018]其中为中间融合图像i，为中间融合图像i对应的过曝图像，为 中间融合图像i对应的曝光不足图像；ω
o
、ω
u
分别为过曝图像权重图和曝 光不足图像的权重图；MEF损失L
MEF
采用自适应清晰度评估权重图。
[0019]进一步地，所述光照调节单元IAN采用U
‑
Net架构。
[0020]进一步地，所述光照调节单元IAN的损失函数L
IAN
由两部分组成，分别 为变亮损失函数L
lighten
和变暗损失函数L
darken
；其中：
[0021]L
IAN
＝L
lighten
+L
darken
ꢀꢀꢀ
(3) 。
[0022]本专利技术提供一种多曝光图像融合的无监督学习装置，包括：
[0023]构建图像融合网络模块，所述融合网络包括：视觉特征保持单元VPN 和光照调节单元IAN；
[0024]视觉特征保持单元VPN训练模块：将曝光不足图像I
u
和曝光过度图像 I
o
作为样本集，输入至视觉特征保持单元V本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多曝光图像融合的无监督学习方法，其特征在于：包括以下步骤：S101：构建图像融合网络；所述融合网络包括：视觉特征保持单元VPN和光照调节单元IAN；S102：将曝光不足图像I
u
和曝光过度图像I
o
作为样本集，输入至视觉特征保持单元VPN，训练所述视觉特征保持单元VPN，得到训练完毕的视觉特征保持单元VPN；视觉特征保持单元VPN输出中间融合图像I
ini
；S103：将中间融合图像I
ini
作为光照调节单元IAN的输入，训练所述光照调节单元，得到训练完毕的光照调节单元；S104：输入实际待处理图像至图像融合网络，利用训练完毕的视觉特征保持单元VPN和训练完毕的光照调节单元，得到最终图像。2.如权利要求1所述的一种多曝光图像融合的无监督学习方法，其特征在于：所述视觉特征保持单元VPN采用编码器
‑
解码器网络进行特征提取和图像重建；编码器增加密集连接模块；解码器采用多个卷积层。3.如权利要求1所述的一种多曝光图像融合的无监督学习方法，其特征在于：所述视觉特征保持单元VPN不包含上采样和下采样单元。4.如权利要求1所述的一种多曝光图像融合的无监督学习方法，其特征在于：所述视觉特征保持单元VPN的损失函数为视觉特征保持损失L
VPN
；视觉特征保持损失L
VPN
包括用于保存原图像颜色和对比度的MEF损失L
MEF
和用于保持图像视觉效果的TV平滑损失L
TV
；其中：L
VPN
＝L
MEF
+αL
TV
ꢀꢀꢀꢀ
(1)其中α是平衡L
MEF
和L
TV
影响的超参数，根据实际情况预设。5.如权利要求4所述的一种多曝光图像融合的无监督学习方法，其特征在于：所述MEF损失L
MEF
如下式：其中为中间融合图像i，为中间融合图像i对应的过曝图像，为中间融合图像i对应的曝光不足图像；ω
o

【专利技术属性】
技术研发人员：伍康乐，陈珺，马佳义，罗林波，熊永华，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：