一种基于深度学习的欠曝光图像恢复方法技术

本发明专利技术基于深度学习的欠曝光图像恢复方法属于图像质量增强领域，解决了摄影摄像过程中光源不适导致的拍摄对比度低、亮度低和噪声多以及主流图像恢复算法高复杂度和高计算成本问题，本发明专利技术的主要步骤包括：首先，面向不同照度拍摄图像的多尺度分解网络的输入是一幅低照度图像，经过下采样卷积，得到一系列比原先图像更小的特征图。其次，在上采样解码端通过分解得到不同分辨率图像的反射率和照明度，在该分解基础之上，通过使用面向图像照明不均衡的多尺度亮度调整网络进行图像亮度增强，然后使用图像重建网络进行重建恢复。最后，将反射率图像和增强后的照明度图像进行整合，得到最终的恢复光照图像。

【技术实现步骤摘要】
一种基于深度学习的欠曝光图像恢复方法
本专利技术属于图像质量增强领域，具体涉及一种基于深度学习的欠曝光图像亮度恢复方法。
技术介绍
在实际生活场景中，拍摄环境的不同会导致拍摄到的图像出现许多的亮度问题。进行专业摄影拍照时，光源在摄影师和被拍摄者之间，由于光照良好，可以达到很好的拍摄效果。然而，在很多情况下光源的位置是不可控的，这经常会导致拍摄的人像出现“大黑脸”情形，这种照片上曝光不足的区域几乎看不到细节，视觉体验往往很差，对图像的进一步处理也提出了极大的挑战，专业摄影师往往会使用反光板、闪光灯等光源来增加光照，但人工光源极易造成图像的局部过度曝光，使图像出现新的视觉问题。因此，有必要研究逆光下欠曝光图像的恢复技术，该技术能给人们的生产和生活带来极大的便利。在过去的几十年中，许多研究人员致力于解决弱光图像增强问题，已经开发了许多技术来改善低光图像的主客观质量。空间域图像增强算法是早期最主要的欠曝光图像增强方法，它主要包含灰度拉伸变换和直方图处理两种方法。其中，灰度拉伸变换可以调整图片整体灰度值的范围，进而突出图片的目标区域，但该方法存在一个问题：调整后的图片极易出现白化区域，丢失区域的细节信息。1968年，MRSchroeder等人提出了直方图均衡化方法，该方法不仅可以很好的增强图像，而且可以极大程度地保留图像的细节信息。不过该方法处理后图像的直方图分布相似度较高，所以该方法不适用于一些特定场合的图像。例如：拍摄的日出、日落图像。其次是频率域中的图像增强方法，其核心思想是将数字图片各个像素的值从原来的空间域变换到频率域，然后再利用频率域中高低频信息的固有特性，对图像进行增强处理。2010年，Yang等人提出了一种图像增强的新方法，首次在医学图像的增强处理中加入了小波变换，该方法在高效调整图像对比度的同时可以极大地保留了图像的边缘细节信息。接下来介绍近些年出现的一些图像增强方法。早期的基于Retinex理论方法，单尺度Retinex(SSR)通过高斯滤波器将照明图约束为平滑后进行处理，该方法可以很好地保留图像的边界细节信息，但由于SSR算法中所选用的高斯函数特点，对于动态范围大幅度压缩和对比度增强两个要求，增强后的图像不能同时保证。针对这一问题，多尺度Retinex(MSR)在原有基础上发展而来，其优势在于恢复图像的大幅度动态范围压缩和亮度增强可以同时满足，不过，SSR方法和MSR方法增强后的图像都有较大程度的偏色现象。为解决这一明显缺陷，DanielJ.Jobson等人提出了带颜色恢复的多尺度Retinex(MSRCR)，在原有MSR算法的基础上引入了颜色调节因子C，较好地解决了对比度调整带来的色彩失真问题。随着深度神经网络的迅速发展，强化学习也被用于欠曝光图像的增强过程，2019年Wang等人提出了一种端到端的欠曝光图像恢复网络，该网络中引入了中间照明，将输入与预期的增强结果相关联，使得网络对于复杂的摄影调整具有更强的学习能力。本专利技术针对刘家瑛等人提出的弱光图像恢复网络RetinexNet进行了改进，提出了一种基于U-Net结构的多分辨率欠曝光图像恢复网络。该网络不仅能够很好地实现图像分解，而且在弱光图像增强上取得了令人满意的效果。
技术实现思路
本专利技术能够使原始欠曝光图像恢复后具有真实的颜色、清晰的细节和更少的噪声。本专利技术使用分解网络在不同分辨率下将输入图像分解为反射/照明图像对，并逐个定义损失函数给予更多的约束，极大地提高网络在训练过程中的优化效果，使得训练后的图像恢复网络可以很好的处理弱光图像。为实现上述要求，本专利技术采用的技术方案为：一种基于深度学习的欠曝光图像恢复方法，该图像恢复方法按以下步骤进行:(1)训练数据构建在网络训练前，我们选择了公开的包含大量从真实场景中捕获的低/正常光照图像对的“低光配对”数据集LOL作为训练样本，本数据集由真实摄影对和原始图像的合成对组成，真实摄影对采集在实际情况下的图像的降级特征和特性，原始图像的合成对在场景和对象多样化方面有突出的优势。具体说来，LOL数据集包含500个低/正常光照图像对，其中的弱光图像主要是通过更改相机的ISO和曝光时间进行采集；(2)使用面向不同照度拍摄图像的多尺度分解网络进行特征提取和多分辨率特征图分解分解网络的核心部分是子网络Multiscale-Decom-Net，其模型是基于标准的U-Net而构建的，首先进行卷积网络参数的设置，然后将训练数据集输入网络后通过编码路径下采样自动提取图像特征，解码端使用最近邻插值扩大图像尺寸以输出多种分辨率的特征图，然后逐个分解为反射分量与照明分量；(3)使用面向图像照明不均衡的多尺度亮度调整网络进行亮度增强面向图像照明不均衡的多尺度亮度调整网络Multiscale-Enhance-Net的整体结构是基于标准的U-Net模型，该模型将前一网络输出的成对反射图和光照图经多次下采样处理提取特征，然后使用上采样调整特征后输出多分辨率的照明调整特征图；(4)卷积网络重建光照图像将调整后的多分辨照明图输入卷积网络进行重建，得到原图尺度的正常光照图像；(5)图像恢复网络中损失函数的定义网络中的损失函数包括正常光照图像和欠曝光图像的多尺度反射率损失、恢复图像的多尺度照明平滑损失、多尺度重建损失，其中，多尺度反射率损失保证在多个尺度上图像反射率的一致性，多尺度照明平滑损失用以保证在多个尺度上恢复图像的平滑度，多尺度重建损失保证在多个尺度上图像重建图像和正常图像的内容一致性。进一步的，步骤(1)中，网络训练开始之前，除了对训练样本进行分类处理，还需要进行网络训练参数和优化器的配置。这里设置网络更新迭代次数为1000次，初始学习率为0.001，并在网络训练到20代后，学习率减小10倍。选择Adam优化器进行本专利技术的算法优化，它是一种优于传统随机梯度下降(SGD)的一阶网络优化算法，能够使用训练数据迭代地更新网络的权重。进一步的，步骤(2)中，基于编码器-解码器结构的Multiscale-Decom-Net对输入图像进行特征提取和重建，网络主要由卷积层、最大池化层(下采样)、反卷积层(上采样)以及ReLU非线性激活函数组成。分解网络的训练过程中，除了根据输入迭代更新网络的参数，在Multiscale-Decom-Net解码端每进行一次上采样操作就输出一幅特征图，并根据Retinex理论分解为照明图I-low和反射图R-low，多次上采样后即可得到多分辨率照明/反射图像对，输入调整网络进行后续处理。分解网络中还引入了跳跃连接，将上采样路径上卷积后的图像与U型网络下采样路径上对应尺寸的特征图进行相加求和，再进行后续的卷积操作。跳跃连接将深层的全局整体信息和浅层的局部细节信息结合起来，更能反映图像的原始信息。进一步的，步骤(3)中，调整网络Multiscale-Enhance-Net的结构与分解网络的Multiscale-Decom-Net的结构基本相同，主要区别在于其输入变量有三对，分别是Decom本文档来自技高网...

【技术保护点】
1.一种基于深度学习的欠曝光图像恢复方法，其特征在于，该欠曝光图像恢复方法按以下步骤进行：/n(1)训练数据构建/n网络训练前，我们选择公开的包含大量从真实场景中捕获的低/正常光照图像对的“低光配对”数据集LOL作为训练样本，本数据集由真实摄影对和原始图像的合成对组成，真实摄影对采集在实际情况下的图像的降级特征和特性，原始图像的合成对在场景和对象多样化方面有突出的优势，LOL数据集包含500个低/正常光照图像对，其中的弱光图像主要是通过更改相机的ISO和曝光时间进行采集；/n(2)使用多尺度分解网络进行多分辨率特征提取和特征图分解/n面向不同照度拍摄图像的多尺度分解网络Multiscale-Decom-Net的整体结构是基于标准的U-Net而构建的，首先进行卷积网络参数的设置，然后将训练数据集输入网络后通过编码路径下采样自动提取图像特征，解码端使用最近邻插值扩大图像尺寸以输出多种分辨率的特征图，然后逐个分解为反射分量与照明分量；/n(3)使用面向图像照明不均衡的多尺度亮度调整网络进行多尺度亮度增强/n面向图像照明不均衡的多尺度亮度调整网络Multiscale-Enhance-Net的整体结构是基于标准的U-Net模型，其将前一网络输出的成对反射图和光照图经多次下采样处理提取特征，然后使用上采样调整特征后输出多分辨率的照明调整特征图；/n(4)图像重建网络恢复光照图像/n将调整后的多分辨照明图输入到图像重建网络进行恢复，得到和原图尺度一样的正常光照图像；/n(5)图像恢复网络中损失函数的定义/n网络中的损失函数包括正常光照图像和欠曝光图像的多尺度反射率损失、恢复图像的多尺度照明平滑损失、多尺度重建损失。这里多尺度反射率损失保证在多个尺度上图像反射率的一致性；多尺度照明平滑损失用以保证在多个尺度上恢复图像的平滑度，这是由于一幅正常光照图像不仅需要在纹理细节上保持平滑，而且需要保留整个图像的结构边界信息；多尺度重建损失保证在多个尺度上图像重建图像和正常图像的内容一致性。/n...

【技术特征摘要】
1.一种基于深度学习的欠曝光图像恢复方法，其特征在于，该欠曝光图像恢复方法按以下步骤进行：
(1)训练数据构建
网络训练前，我们选择公开的包含大量从真实场景中捕获的低/正常光照图像对的“低光配对”数据集LOL作为训练样本，本数据集由真实摄影对和原始图像的合成对组成，真实摄影对采集在实际情况下的图像的降级特征和特性，原始图像的合成对在场景和对象多样化方面有突出的优势，LOL数据集包含500个低/正常光照图像对，其中的弱光图像主要是通过更改相机的ISO和曝光时间进行采集；
(2)使用多尺度分解网络进行多分辨率特征提取和特征图分解
面向不同照度拍摄图像的多尺度分解网络Multiscale-Decom-Net的整体结构是基于标准的U-Net而构建的，首先进行卷积网络参数的设置，然后将训练数据集输入网络后通过编码路径下采样自动提取图像特征，解码端使用最近邻插值扩大图像尺寸以输出多种分辨率的特征图，然后逐个分解为反射分量与照明分量；
(3)使用面向图像照明不均衡的多尺度亮度调整网络进行多尺度亮度增强
面向图像照明不均衡的多尺度亮度调整网络Multiscale-Enhance-Net的整体结构是基于标准的U-Net模型，其将前一网络输出的成对反射图和光照图经多次下采样处理提取特征，然后使用上采样调整特征后输出多分辨率的照明调整特征图；
(4)图像重建网络恢复光照图像
将调整后的多分辨照明图输入到图像重建网络进行恢复，得到和原图尺度一样的正常光照图像；
(5)图像恢复网络中损失函数的定义
网络中的损失函数包括正常光照图像和欠曝光图像的多尺度反射率损失、恢复图像的多尺度照明平滑损失、多尺度重建损失。这里多尺度反射率损失保证在多个尺度上图像反射率的一致性；多尺度照明平滑损失用以保证在多个尺度上恢复图像的平滑度，这是由于一幅正常光照图像不仅需要在纹理细节上保持平滑，而且需要保留整个图像的结构边界信息；多尺度重建损失保证在多个尺度上图像重建图像和正常图像的内容一致性。


2.根据权利要求1所述的一种基于深度学习的欠曝光图像恢复方法，其特征在于：
步骤(1)中，网络训练开始之前，除了对训练样本进行分类处理，还需要进行网络训练参数和优化器的配置，选择Adam优化器进行算法优化，这里设置网络更新迭代次数为1000次，初始学习率为0.001...

【专利技术属性】
技术研发人员：赵利军，边卓，史炳贤，王昊，任康，王安红，
申请(专利权)人：太原科技大学，
类型：发明
国别省市：山西;14