本发明专利技术提出一种基于深度学习的极暗环境图像去噪及增强方法，主要解决现有图像去噪和增强技术在对极暗环境下拍摄图片处理时的噪声放大和误差累积问题。其实现方案是：对拍摄相机的原始传感器数据通过raw打包模块P打包到四个通道中，并将每个维度的空间分辨率降低两倍，减去图像的黑色像素并按照一定尺度进行缩放；构建一个端到端的极暗图像去噪网络EDDN并对其进行训练；利用子像素模块E将极暗图像去噪网络EDDN输出的具有一半空间分辨率的12通道图像恢复到原始的分辨率RGB图像；利用多个具有跳跃连接的卷积层构建极暗图像增强网络EDAN，估计输入图像的一组最佳拟合光增强曲线，通过迭代应用曲线来映射输入的RGB通道的所有像素，获得最终增强图像。本发明专利技术避免了对于极暗环境拍摄图像去噪及增强噪声放大和误差积累的问题，提高了降噪及增强的效果，可以用于极暗环境拍摄图像去噪及增强。用于极暗环境拍摄图像去噪及增强。用于极暗环境拍摄图像去噪及增强。
【技术实现步骤摘要】
基于深度学习的极暗环境拍摄图像去噪及增强方法
[0001]本专利技术属于图像处理
，尤其是指一种基于深度学习的极暗环境去噪和增强方法。
技术介绍
[0002]图像作为人们最常用的信息载体之一，包含着大量的信息，是人们获取信息的重要途径。但在极暗环境下拍摄的图像在其获取过程中处于低光条件，在相机处于较低感光度时，相机需要通过调整曝光时间、增加ISO参数等方法来增强图像亮度，这会导致图像传感器的信噪比(Signal
‑
to
‑
Noise Ratio, SNR)较低，即增加图像的噪声，降低图像的清晰度和细节，影响图像的对比度和色彩。因此，对极暗环境图像的去噪及增强是十分有必要的，在去噪的同时尽可能的保留图像的有用信息的同时通过增强方法提升图像的质量和观感效果，是极暗环境图像去噪及增强的要点也是难点。
[0003]近年来，基于深度学习的图像去噪和增强方法在极暗环境下拍摄图像的处理中得到了广泛应用，并相对于传统算法有了更大的改进，取得了较好的效果。Kai Zhang等人在其发表的论文“Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising”中提出了DnCNN网络用于极暗环境图像的去噪增强，DnCNN采用了20层卷积，每层包含64个卷积核，训练过程采用基于均方误差的损失函数，针对图像的高斯白噪声进行去噪及增强。Xiaojie Guo等人在其发表的论文“Real Image Denoising with Feature Attention”中提出了RIDNet网络进行图像的去噪及增强，采用了残差学习和知识蒸馏技术，将网络划分为噪声估计和残差重建两个子网络用于估计图像的噪声并去除噪声，并通过知识蒸馏技术提升网络的泛化能力。这两种方法均在当时取得了图像去噪增强的良好效果，但他们也存在一定的问题，DnCNN在对图像的处理中没有发生图像尺寸的变化，即基于固定的图像尺度，通过增加网络层数来提升网络性能，但是一味的加深网络深度有可能导致网络难以训练甚至梯度消失的问题。RIDNet在处理极暗环境下拍摄的图像时，对于相机采用高ISO导致的图像出现色斑或色块等彩色噪声会出现噪声放大和误差累积问题。
技术实现思路
[0004]本专利技术的目的在于克服上述已有技术的不足，提出一种基于深度学习的极暗环境图像去噪及增强方法，以减少图像的细节丢失，提高极暗环境图像的去噪增强效果。
[0005]为实现上述目的，本专利技术的技术方案包括如下步骤：
[0006](1)构建raw打包模块P:
[0007]对于原始传感器数据输入的raw格式图片，减去黑电平，将其拜耳阵列(Bayer Pattern)，可能的四种模式分别为GBRG、GRBG、BGGR、RGGB通过rawpy方法把不同模式下的raw图片解析为四通道，最后按不同的通道维度进行拼接，并通过两倍的下采样使图像的分辨率下降为原来的一半。对于得到的只有原始输入一般分辨率的四通道图像，乘以放大率
进行数据缩放，随后将打包和放大后的图像数据输入到极暗图像去噪网络EDDN中。
[0008](2)构建极暗图像去噪网络EDDN：
[0009](2a)极暗图像去噪网络EDDN在U
‑
Net网络基础上进行改进，具体包含：特征提取网络层和特征融合网络层以及一个瓶颈层。
[0010](2b)特征提取网络层的设计：由2个2D卷积层+2个LReLU激活层+1个2D最大池化层为1组共4个，以及2个2D卷积层+2个LReLU激活层为1组共1个构成；2D卷积层内核大小均为3*3，填充模式是SAME，卷积步长均为1，不同组之间的卷积层内核数量分别为32、64、128、256、512；该网络的输入是(1)中得到的图像数据，输出是双通道的尺寸分别为32、64、128、256、512维的特征图。
[0011](2c)特征融合网络层的设计：由1个2D上采样特征连接层+2个2D卷积层+2个LReLU激活层为一组共4个构成；2D卷积层内核大小均为3*3，填充模式是SAME，卷积步长均为1，不同组之间的卷积层内核数量分别为256、128、64、32；上采样特征连接层中上采样步长均为2*2，将(2b)中得到的256维特征图输入上采样特征连接层中得到512维特征图并将其与(2b)中得到的512维特征图进行通道上的拼接，然后再对拼接之后的特征图进行卷积操作，将得到的结果传入下一上采样特征连接层中，经过四层的计算最后得到与原始输入相同大小的图片。
[0012](2d)瓶颈层的设计：由1个内核大小为1*1，内核数量为12的2D卷积层+1个blocksize为2的特征重组层构成，得到具有一半空间分辨率的12通道图像。
[0013](2e)将(2b)(2c)(2d)的网络层连接起来构成极暗图像去噪网络EDDN，同时训练三个模块。
[0014](3)构建子像素模块E：
[0015]将(2d)中得到具有原始输入图像一半分辨率的12通道图像输入到子像素模块E中，子像素模块E由采用步长为1的亚像素卷积，以及卷积核个数为3的步长为2的亚像素卷积构成，分别对RGB三个不同的颜色通道进行像素清洗，采用双线性插值，得到与原始输入图像分辨率相同的去噪后RGB图像。
[0016](4)构建极暗图像增强网络EDAN：
[0017](4a)极暗图像增强网络EDAN以U
‑
Net网络为主干，输入为(3)中得到的去噪后RGB图像，从中提取24通道的特征图像；将24通道按RGB划分为8份,输入图像经过8次迭代运算得到增强后RGB图像。
[0018](4b)网络结构的设计：极暗图像增强网络EDAN包含七个具有对称跳跃连接的卷积层。在前6个卷积层中，每个卷积层由32个大小为3
×
3、步长为1的2D卷积核组成，其后是RELU激活函数。最后一个卷积层由24个大小为3
×
3、步长为1的2D卷积核组成，其后是Tanh激活函数，该激活函数经过8次迭代产生24个曲线参数映射，其中每次迭代需要3个通道（即RGB通道）的3个曲线参数映射。
[0019](4c)损失函数的设计：采用四种损失函数，分别是：空间一致性损失(Spatial Consistency Loss)、曝光控制损失(Expose Control Loss)、颜色恒常量性损失(Color Constancy Loss)、照明平滑损失(Illumination Smoothness Loss)，将四种损失函数加权作为总损失函数。
[0020]本专利技术与现有技术相比较，具有如下优点：
[0021]第一，本专利技术通过构建raw打包模块可以直接对相机传感器中未经过任何处理的原始raw格式数据进行处理，相比于经过JPEG等格式压缩和处理的图像数据，具有更高的动态范围，可以在去噪及增强过程中更好的保留图像细节和信息。
[0022]第二本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习的极暗环境拍摄图像去噪及增强方法，其特征在于，具体包括如下步骤：(1)构建打包模块P：对于原始传感器数据输入的raw格式图片，减去黑电平，将其拜耳阵列(Bayer pattern)，其可能的四种模式分别为GBRG、GRBG、BGGR、RGGB通过rawpy方法把不同模式下的raw图像解析为四通道，最后按不同的通道维度进行拼接，并通过两倍的下采样使图像的分辨率下降为原来的一半。对于得到的只有原始输入一半分辨率的四通道图像，乘以放大率进行数据缩放，随后将打包和放大后的数据输入到极暗图像去噪网络EDDN中。(2)构建极暗图像去噪网络EDDN：(2a)极暗图像去噪网络EDDN在U
‑
Net网络基础上进行改进，具体包含：特征提取网络层和特征融合网络层以及一个瓶颈层。(2b)特征提取网络层的设计：由2个2D卷积层+2个LReLU激活层+1个2D最大池化层为1组共4个，以及2个2D卷积层+2个LReLU激活层为1组共1个构成；2D卷积层内核大小均为3*3，填充模式是SAME，卷积步长均为1，不同组之间的卷积层内核数量分别为32、64、128、256、512；该网络的输入是权利要求(1)中得到的图像数据，输出是双通道的尺寸分别为32、64、128、256、512维的特征图。(2c)特征融合网络层的设计：由1个2D上采样特征连接层+2个2D卷积层+2个LReLU激活层为一组共4个构成；2D卷积层内核大小均为3*3，填充模式是SAME，卷积步长均为1，不同组之间的卷积层内核数量分别为256、128、64、32；上采样特征连接层中上采样步长均为2*2，将权利说明(2b)中得到的256维特征图输入上采样特征连接层中得到512维特征图并将其与权利说明(2b)中得到的512维特征图进行通道上的拼接，然后再对拼接之后的特征图做卷积，将得到的结果传入下一上采样特征连接层中，经过四层的计算最后得到与原始输入相同大小的图片。将(2b)(2c)的网络层连接起来构成极暗图像去噪网络EDDN,同时训练三个模块。(3)构建子像素模块E：将权利说明(2d)中得到具有原始输入图像一半分辨率的12通道图像输入到子像素模块E中，子像素模块E由采用步长为1的亚像素卷积，以及卷积核个数为3的步长为2的亚像素卷积构成，分别对RGB三个不同的颜色通道进行像素清洗，采用双线性插值，得到与原始输入图像分辨率相同的去噪后RGB格式图像。(4)构建极暗图像增强网络EDAN：(4a)极暗图像增强网络EDAN以U
‑
Net网络为主干，输入为权利要...
【专利技术属性】
技术研发人员：单武扬，岳靖川，刘澳龄，邹登，王朋博，
申请(专利权)人：岳靖川刘澳龄邹登王朋博，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。