一种基于生成对抗网络的高动态范围成像及鬼影去除方法技术

本发明专利技术属于数字图像处理领域，具体涉及一种基于生成对抗网络的高动态范围成像及鬼影去除方法；所述方法通过引入基于双重注意力机制的特征提取模块，对视频图像连续帧的语义和像素特征进行提取，以提升图像融合的细节和纹理特征；为有效地提升成像质量和算法鲁棒性，同时解决GAN网络中的梯度消失和模式崩溃问题，本文研究基于球面距离的损失函数，以解决运动目标位移大在合成阶段产生的大范围鬼影问题。问题。问题。

【技术实现步骤摘要】
一种基于生成对抗网络的高动态范围成像及鬼影去除方法


[0001]本专利技术属于数字图像处理领域，具体涉及一种基于生成对抗网络的高动态范围成像及鬼影去除方法。

技术介绍

[0002]高动态范围(High Dynamic Range，简称HDR)成像是用来实现比普通数位图像技术更大曝光动态范围(即更大的明暗差别)的一组技术，其不仅能够提供更好的视觉表达，也为数字媒体的跨越式发展提供了崭新而强大的推动力。目前，基于低动态范围(Low Dynamic Range，简称LDR)的图像融合方法仍然是获取HDR成像的主要途径之一。在图像融合过程中，如何有效地去除因动态场景、相机抖动、图像配准不精确甚至是运动目标大位移等因素造成的鬼影效应是HDR成像亟待解决的关键问题，其面临的技术难点主要包括：1)全局多曝光融合(Multi
‑
Exposure Fusion，简称MEF)算法，难以实现与自然场景接近的明暗细节饱满、色彩丰富的融合目标；而采用局部多曝光图像融合算法求解会导致算法复杂度增加，同时可能会出现因局部过度增强导致图像细节不自然，或光晕、噪声被增强的情况；2)真实动态场景下，存在较多复杂不规则的运动，现有去除鬼影技术手段和方法的时间复杂度较高；3)现有深度学习方法为海量视频图像融合提供了一些解决方案，但丰富训练数据集和提升深度学习算法的泛化能力方面仍有待加强。
[0003]人工智能时代，大数据的机器深度学习与运用已向纵深发展，计算机视觉技术已被重新定义。依靠强大的计算硬件支撑，以及大数据集的强化训练，深度学习(Deep learning，简称DL)网络鲁棒性不断增强，深度学习已逐渐成为处理图像、文本语料和声音信号等复杂高维度数据的主要方法，特别是图像识别以及图像处理领域，表现出强大的潜力，卷积神经网络(Convolutional Neural Networks，简称CNN)、人工神经网络(Artificial Neural Network，简称ANN)、对抗生成网络(GAN)等结构也逐渐被提出，并被广泛应用于图像分类、人脸识别、图像增强、语义分割、图像重构、图像增强、超分辨率等问题，目前深度学习已被应用于HDR成像中，基于卷积神经网络(CNN)、生成对抗网络(GAN)的深度HDR成像方法被尝试使用，取得了较好的效果。其中，GAN网络的模型更加适合鬼影区域识别，因此在HDR成像领域迅速崛起。
[0004]利用深度学习来实现图像重建，特别是针对全景图像的重建以及鬼影去除问题，取得了卓越的成绩。但由于目前的优化大多基于网络的改进，对于图像像素或空间特征的在网络层的数学表达还缺乏更有说服力的论证，对影响成像质量的方案理论论证不足，因此，基于深度学习的方法也有待进一步改进。

技术实现思路

[0005]为解决上述问题，本文主要研究基于大型运动场景的动态图像融合及鬼影去除方法，提出了基于传统多曝光融合(MEF)和基于深度学习的图像重建及去除鬼影的解决方案。
[0006]一种基于生成对抗网络的高动态范围成像及鬼影去除方法，包括：
[0007]S1.获取连续多帧的低动态范围图像序列，其包含低曝光的LDR图像、正常曝光的LDR图像和高曝光的LDR图像，并进行预处理和分块，得到用于训练的成组的低曝光和正常曝光图像块对，以及正常曝光和高曝光图像块对；其中，将正常曝光的LDR图像作为参考图像；
[0008]S2.构建用于高动态范围成像的生成对抗网络，其包括生成器网络和判别器网络；
[0009]S3.使用成组的低曝光和正常曝光图像块对，以及正常曝光和高曝光图像块对训练生成对抗网络，采用Wasserstein距离损失函数进行优化直至收敛到纳什平衡，得到并保存训练好的生成对抗网络；
[0010]S4.将待融合图像输入训练好的生成对抗网络，得到HDR图像。
[0011]进一步的，步骤S1对每组的低曝光的LDR图像、正常曝光的LDR图像和高曝光的LDR图像进行预处理和分块的具体过程包括：
[0012]S11.采用相机响应函数建立低曝光的LDR图像、高曝光的LDR图像与正常曝光的LDR图像之间的像素映射函数；
[0013]S12.对正常曝光的低动态范围图像，和像素映射后的低曝光的LDR图像、高曝光的LDR图像进行归一化处理；
[0014]S13.按照n
×
n的尺寸大小对步骤S12归一化处理后的图像进行分块，得到低曝光图像块和正常曝光图像块组成的图像块对，以及正常曝光图像块和高曝光图像块组成的图像块对。
[0015]进一步的，生成器网络包括编码模块、合成模块和解码模块，编码模块包括双重注意力模块和特征提取模块，双重注意力模块包括通道注意力单元和空间注意力单元。
[0016]进一步的，空间注意力单元的处理过程包括：
[0017]将低曝光图像块P
s1
和正常曝光图像块P
r
、正常曝光图像块P
r
和高曝光图像块P
s3
的局部特征分别进行1
×
1卷积运算；对卷积运算后的图像块分别进行转置和尺度变换，生成第一特征映射、第二特征映射和第三特征映射；第一特征映射与第二特征映射相乘后通过softmax函数，得到第一关系强度矩阵，第二特征映射与第三特征映射相乘后通过softmax函数，得到第二关系强度矩阵；将第一关系强度矩阵与图像块P
s1
相乘得到第一空间注意力特征，将第二关系强化矩阵与图像块P
s3
相乘得到第二空间注意力特征；
[0018]通道注意力单元的处理过程包括：
[0019]对图像块P
s1
、P
r
和P
s3
分别进行转置和尺度变换，生成第一转换特征、第二转换特征和第三转换特征；第一转换特征与第二转换特征相乘后通过softmax函数，得到第一通道注意矩阵，第二转换特征与第三转换特征相乘后通过softmax函数，得到第二通道注意矩阵；将第一通道注意矩阵与图像块P
s1
相乘得到第一通道注意力特征，将第二通道注意矩阵与图像块P
s3
相乘得到第二通道注意力特征。
[0020]进一步的，步骤S3训练对抗生成网络的具体过程包括：
[0021]S31.首先固定生成器网络参数不变，训练判别器网络，包括：
[0022]S32.获取假样本图像块，即将成组的低曝光和正常曝光图像块对，以及正常曝光和高曝光图像块对输入生成器网络，得到m个融合图像块；
[0023]S33.获取真样本图像块，即从低曝光和高曝光的低动态范围图像中分别获取m个低曝光源图图像块和高曝光源图图像块；
[0024]S34.将假样本图像块和真样本图像块一起送入判别器网络训练，计算判别器网络的判别损失，反向传播判别损失更新判别器网络参数，并采用Adam进行优化；
[0025]S35.接下来固定判别器网络参数不变，训练生成器网络，包括：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的高动态范围成像及鬼影去除方法，其特征在于，包括：S1.获取连续多帧的低动态范围图像序列，其包含低曝光、正常曝光和高曝光的低动态范围图像，并进行预处理和分块，得到用于训练的成组的低曝光和正常曝光图像块对，以及正常曝光和高曝光图像块对；其中，将正常曝光的低动态范围图像作为参考图像；S2.构建用于高动态范围成像的生成对抗网络，其包括生成器网络和判别器网络；S3.使用成组的低曝光和正常曝光图像块对，以及正常曝光和高曝光图像块对训练生成对抗网络，采用Wasserstein距离损失函数进行优化直至收敛到纳什平衡，得到并保存训练好的生成对抗网络；S4.将待融合图像输入训练好的生成对抗网络，得到HDR图像。2.根据权利要求1所述的一种基于生成对抗网络的高动态范围成像及鬼影去除方法，其特征在于，步骤S1对每组的低曝光、正常曝光和高曝光的低动态范围图像进行预处理和分块的具体过程包括：S11.采用相机响应函数建立低曝光、高曝光与正常曝光的低动态范围图像之间的像素映射函数；S12.对正常曝光的低动态范围图像，和像素映射后的低曝光、高曝光的低动态范围图像进行归一化处理；S13.按照n
×
n的尺寸大小对步骤S12归一化处理后的图像进行分块，得到低曝光图像块和正常曝光图像块组成的图像块对，以及正常曝光图像块和高曝光图像块组成的图像块对。3.根据权利要求1所述的一种基于生成对抗网络的高动态范围成像及鬼影去除方法，其特征在于，生成器网络包括编码模块、合成模块和解码模块，编码模块包括双重注意力模块和特征提取模块，双重注意力模块包括通道注意力单元和空间注意力单元。4.根据权利要求3所述的一种基于生成对抗网络的高动态范围成像及鬼影去除方法，其特征在于，空间注意力单元的处理过程包括：将低曝光图像块P
s1
和正常曝光图像块P
r
、正常曝光图像块P
r
和高曝光图像块P
s3
的局部特征分别进行1
×
1卷积运算；对卷积运算后的图像块分别进行转置和尺度变换，生成第一特征映射、第二特征映射和第三特征映射；第一特征映射与第二特征映射相乘后通过softmax函数，得到第一关系强度矩阵，第二特征映射与第三特征映射相乘后通过softmax函数，得到第二关系强度矩阵；将第一关系强度矩阵与图像块P
s1...

【专利技术属性】
技术研发人员：夏淑芳，夏鸿钊，柏浩林，黄颖，瞿中，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：