一种基于生成对抗网络的多曝光图高动态范围成像方法及系统技术方案

本发明专利技术涉及一种基于生成对抗网络的多曝光图高动态范围成像方法及系统，首先对原始分辨率的低曝光图像、正常曝光图像、高曝光图像和用作标签的参考高动态范围图像进行预处理，得到用于训练的成组的低曝光、正常曝光、高曝光和高动态范围图像块；设计用于多曝光图高动态范围成像的生成器网络和用于进行对抗训练的判别器网络；使用成组的低曝光、正常曝光、高曝光和高动态范围图像块交替训练生成器网络和判别器网络收敛到纳什平衡；最后将用于测试的原始分辨率的低曝光图像、正常曝光图像和高曝光图像输入已收敛的生成器网络得到其输出的高动态范围图像预测结果。本发明专利技术能提升多曝光图像间具有明显背景移动或物体运动时生成的高动态范围图像的质量。

【技术实现步骤摘要】
一种基于生成对抗网络的多曝光图高动态范围成像方法及系统
本专利技术涉及图像和视频处理
，特别是一种基于生成对抗网络的多曝光图高动态范围成像方法及系统。
技术介绍
在不同的场景中，自然亮度的动态范围往往是不同的，但大多数现成的数码相机在拍摄时只能捕获到场景内有限的动态范围。有一些专门的硬件设备可用于直接拍摄场景的高动态范围图像，但这些设备通常过于昂贵而无法广泛使用。近年来，随着移动设备的盛行，人们非常期望使用轻量化和低成本的单目移动相机来捕捉场景中的高动态范围，以制作出覆盖广泛照度范围的满意照片。完成高动态范围成像的一种流行方法是将几张以不同曝光度拍摄的低动态范围图像合并成一张高动态范围图像。在最近的高动态范围成像方法中，通常将其中一张中等曝光的低动态范围图像作为参考图像，其余的图像将被用来补偿参考图中由于局部区域曝光过度或曝光不足而导致的细节缺失。当这组低动态范围图像的像素是完全对齐时，这些方法可以很好地解决这个问题。但在实际应用中，由于相机运动或物体运动的原因，经常会出现前景和背景错位的现象，这样制作出来的高动态范围图像就会出现模糊和鬼影的伪影。之前的一些方法在预处理阶段对低动态范围图像进行对齐，如利用光流进行对齐。但光流往往是不准确的，特别是对于不同曝光级别拍摄的图像。因此仍然存在由于光流的估计误差造成的伪影问题。由于对于运动的物体来说，像素级的对齐精度很难达到，所以伪影还是很难克服的。随着深度学习技术的进步，有人提出利用深度卷积神经网络来完成多曝光图的高动态范围成像。而多数方法在预处理阶段仍需要使用光流操作对输入的低动态范围图像进行对齐。此外，当低动态范围图像之间存在较大的运动或明显的错位，且运动区域存在较大的饱和区时，这些模型无法很好地还原其缺失的细节。
技术实现思路
有鉴于此，本专利技术的目的是提出一种基于生成对抗网络的多曝光图高动态范围成像方法及系统，能够提升多曝光图像间具有明显背景移动或物体运动时生成的高动态范围图像的质量。本专利技术采用以下方案实现：一种基于生成对抗网络的多曝光图高动态范围成像方法，包括以下步骤：步骤S1：对原始分辨率的低曝光图像、正常曝光图像、高曝光图像和用作标签的参考高动态范围图像进行预处理，得到用于训练的成组的低曝光、正常曝光、高曝光图像块和高动态范围图像块；步骤S2：设计用于多曝光图高动态范围成像的生成器网络和用于进行对抗训练的判别器网络；步骤S3：使用成组的低曝光、正常曝光、高曝光图像块和高动态范围图像块交替训练生成器网络和判别器网络直至收敛到纳什平衡，得到并保存训练好的生成器网络和判别器网络；步骤S4：将用于测试的原始低曝光图像、正常曝光图像和高曝光图像输入已收敛的生成器网络得到其输出的高动态范围图像预测结果。进一步地，所述步骤S1具体包括以下步骤：步骤S11：将每组原始分辨率的低曝光图像、正常曝光图像、高曝光图像和参考高动态范围图像进行统一的随机位置上的切块，得到多组低曝光图像块、正常曝光图像块、高曝光图像块和高动态范围图像块；步骤S12：将得到的每组图像块进行统一的随机旋转和翻转，对数据进行增强，得到用于训练的成组的低曝光图像块、正常曝光图像块、高曝光图像块和高动态范围图像块数据集，其中每组中的低曝光图像块、正常曝光图像块和高曝光图像块是输入，高动态范围图像块是标签。进一步地，步骤S2中所述设计用于多曝光图高动态范围成像的生成器网络具体包括以下内容：所述生成器网络可分为三个部分，分别是编码器部分、特征融合部分和解码器部分；编码器部分含有三路结构相同的分支，分别用于提取低曝光图像块、正常曝光图像块和高曝光图像块的多尺度特征，每路分支由三个串联的编码单元组成。编码单元是一个含有两层卷积核为3×3、步长为1的卷积的残差模块，编码单元之间由卷积核为3×3、步长为2的下采样卷积层连接。编码器部分的两次下采样将网络划分为3个不同的尺度；对应编码器部分的三个尺度，特征融合部分由三个尺度的融合模块组成，分别是和每个融合模块使用编码器中三路分支上对应尺度的编码器单元输出特征作为输入，每个融合模块由四个串联的卷积核为3×3、步长为1且空洞因子为2的空洞卷积组成，并且通过逐元素加法操作将第四个卷积的输出特征与编码器部分中正常曝光分支上对应尺度的编码器单元输出特征相加，形成基于正常曝光图特征的残差结构；解码器部分总共由三个解码器单元组成，分别是和其中和对应编码器中的第一个尺度，对应编码器中的第二个尺度。解码器单元和的输入由三部分特征在通道维度上拼接组成，分别为其对应尺度上编码器部分的正常曝光图像分支输出特征、其对应尺度的融合模块输出特征和其对应下一尺度融合模块输出特征的上采样结果。解码器单元的输入由四部分特征在通道维度上拼接组成，具体包括其对应尺度上编码器部分的正常曝光图像分支输出特征、其对应尺度的融合模块输出特征、解码器单元的输出特征和解码器单元输出特征的上采样结果。每个解码器单元的结构与编码器单元相同，是一个含有两层卷积核为3×3、步长为1的卷积的残差模块。解码器部分的上采样操作由最近邻插值完成；生成器的编码器部分、特征融合部分和解码器部分的卷积层使用了普归一化，且卷积层后使用ReLU函数激活。对解码器单元和的输出特征使用卷积核为1×1、步长为1的卷积层输出通道数为3的高动态范围图像结果，故生成器总共输出两个预测的高动态范围图像结果和其中作为最终的高动态范围图像结果。进一步地，步骤S2中所述设计用于进行对抗训练的判别器网络的具体内容为：判别器网络由串联的五层卷积层组成，其中前三层卷积层的卷积核大小为4×4、步长为2，后两层卷积层的卷积核大小为4×4、步长为1，所有的卷积层使用普归一化且卷积层之间使用LeakyReLU函数激活；判别器网络的输出为判别结果矩阵M；判别结果矩阵M中每个值Mi,j对应了输入图像上以(10i,10j)为左上角、大小为70×70的方形区域，代表该区域的判别结果。进一步地，所述步骤S3具体包括以下步骤：步骤S31：将成组的低曝光、正常曝光、高曝光和高动态范围图像块随机划分为多个批次，每个批次包含N个图像块；步骤S32：使用伽马校正和各个输入图像块Li的曝光时间将图像块转到高动态范围图像域，公式如下：其中Li(i＝{1,2,3})是输入的图像块，L1、L2、L3分别对应高曝光、中曝光、低曝光图像块；γ是系数，取值为2.2，ti(i＝{1,2,3})是图像块Li的曝光时间，Hi是图像块Li转成高动态范围域的结果；步骤S33：使用成对的各个曝光图像块Li与其高动态范围域结果Hi在通道维度上的拼接结果Xi作为生成器网络第i路编码器分支的输入，得到生成器网络输出的两个高动态范围图像预测结果和步骤S34：对于每一组图像块，使用如下公式分别对生成器网络的预测结果和参考高动态图像Hgt进行色调映射得到映射结果和Tgt；其中H是高动态范围域图像块，μ是系数，取值5000，是高动态范围域本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的多曝光图高动态范围成像方法，其特征在于，包括以下步骤：/n步骤S1：对原始分辨率的低曝光图像、正常曝光图像、高曝光图像和用作标签的参考高动态范围图像进行预处理，得到用于训练的成组的低曝光、正常曝光、高曝光图像块和高动态范围图像块；/n步骤S2：设计用于多曝光图高动态范围成像的生成器网络和用于进行对抗训练的判别器网络；/n步骤S3：使用成组的低曝光、正常曝光、高曝光图像块和高动态范围图像块交替训练生成器网络和判别器网络直至收敛到纳什平衡，得到并保存训练好的生成器网络和判别器网络；/n步骤S4：将用于测试的原始低曝光图像、正常曝光图像和高曝光图像输入已收敛的生成器网络得到其输出的高动态范围图像预测结果。/n

【技术特征摘要】
1.一种基于生成对抗网络的多曝光图高动态范围成像方法，其特征在于，包括以下步骤：
步骤S1：对原始分辨率的低曝光图像、正常曝光图像、高曝光图像和用作标签的参考高动态范围图像进行预处理，得到用于训练的成组的低曝光、正常曝光、高曝光图像块和高动态范围图像块；
步骤S2：设计用于多曝光图高动态范围成像的生成器网络和用于进行对抗训练的判别器网络；
步骤S3：使用成组的低曝光、正常曝光、高曝光图像块和高动态范围图像块交替训练生成器网络和判别器网络直至收敛到纳什平衡，得到并保存训练好的生成器网络和判别器网络；
步骤S4：将用于测试的原始低曝光图像、正常曝光图像和高曝光图像输入已收敛的生成器网络得到其输出的高动态范围图像预测结果。


2.根据权利要求1所述的一种基于生成对抗网络的多曝光图高动态范围成像方法，其特征在于：所述步骤S1具体包括以下步骤：
步骤S11：将每组原始分辨率的低曝光图像、正常曝光图像、高曝光图像和参考高动态范围图像进行统一的随机位置上的切块，得到多组低曝光图像块、正常曝光图像块、高曝光图像块和高动态范围图像块；
步骤S12：将得到的每组图像块进行统一的随机旋转和翻转，对数据进行增强，得到用于训练的成组的低曝光图像块、正常曝光图像块、高曝光图像块和高动态范围图像块数据集，其中每组中的低曝光图像块、正常曝光图像块和高曝光图像块是输入，高动态范围图像块是标签。


3.根据权利要求1所述的一种基于生成对抗网络的多曝光图高动态范围成像方法，其特征在于：步骤S2中所述设计用于多曝光图高动态范围成像的生成器网络具体包括以下内容：
所述生成器网络分为三个部分，分别是编码器部分、特征融合部分和解码器部分；
编码器部分含有三路结构相同的分支，分别用于提取低曝光图像块、正常曝光图像块和高曝光图像块的多尺度特征；每路分支由三个串联的编码单元组成，编码单元是一个含有两层卷积核为3×3、步长为1的卷积的残差模块，编码单元之间由卷积核为3×3、步长为2的下采样卷积层连接；编码器部分的两次下采样将网络划分为3个不同的尺度；
对应编码器部分的三个尺度，特征融合部分由三个尺度的融合模块组成，分别是和每个融合模块使用编码器中三路分支上对应尺度的编码器单元输出特征作为输入，每个融合模块由四个串联的卷积核为3×3、步长为1且空洞因子为2的空洞卷积组成，并且通过逐元素加法操作将第四个卷积的输出特征与编码器部分中正常曝光分支上对应尺度的编码器单元输出特征相加，形成基于正常曝光图特征的残差结构；
解码器部分总共由三个解码器单元组成，分别是和其中和对应编码器中的第一个尺度，对应编码器中的第二个尺度；解码器单元和的输入由三部分特征在通道维度上拼接组成，分别为其对应尺度上编码器部分的正常曝光图像分支输出特征、其对应尺度的融合模块输出特征和其对应下一尺度融合模块输出特征的上采样结果；解码器单元的输入由四部分特征在通道维度上拼接组成，具体包括其对应尺度上编码器部分的正常曝光图像分支输出特征、其对应尺度的融合模块输出特征、解码器单元的输出特征和解码器单元输出特征的上采样结果；每个解码器单元的结构与编码器单元相同，是一个含有两层卷积核为3×3、步长为1的卷积的残差模块；解码器部分的上采样操作由最近邻插值完成；
生成器的编码器部分、特征融合部分和解码器部分的卷积层使用了普归一化，且卷积层后使用ReLU函数激活；对解码器单元和的输出特征使用卷积核为1×1、步长为1的卷积层输出通道数为3的高动态范围图像结果，故生成器总共输出两个预测的高动态范围图像结果和其中作为最终的高动态范围图像结果。


4.根据权利要求1所述的一种基于生成对抗网络的多曝光图高动态范围成像方法，其特征在于：步骤S2中所述设计用于进行对抗训练的判别器网络的具体内容为：
判别器网络由串联的五层卷积层组成，其中前三层卷积层的卷积核大小为4×4、步长为2，后两层卷积层的卷积核大小为4×4、步长为1，所有的卷积层使用普归一化且卷积层之间使用LeakyReLU函数激活；判别器网络的输出为判别结果矩阵M；判别结果矩阵M中每个值Mi,j对应了输入图像上以(10i,10j)为左上角、大小为70×70的方形区域，代表该区域的判别结果。


5.根据权利要求1所述的一种基于生成对抗网络的多曝光图高动态范围成像方法，其特征在于，所述步骤S3具体包括以下步骤：
步骤S31：将成组的低曝光、正常曝光、高曝光和高动态范围图像块随机划分为多个批次，每个批次包含N个图像块；
步骤S32：使用伽马校正和各个输入图像块Li的曝光时间将图像块转到高动态范围图像域，公式如下：


...

【专利技术属性】
技术研发人员：牛玉贞，吴建斌，刘文犀，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35