基于Retinex-Net的低照度图像增强算法制造技术

本发明专利技术针对Retinex

【技术实现步骤摘要】
基于Retinex
‑
Net的低照度图像增强算法


[0001]本专利技术属于图像增强领域，主要是对低照度图像增强算法进行改进优化。具体是一种基于Retinext
‑
net的低照度图像增强算法，可应用于航天航空、医疗医学等领域。

技术介绍

[0002]图像增强的研究主要分为两种类型：传统方法和基于深度学习的方法。基于直方图均衡化的方法通过改变图像的直方图来改变图像中各像素的灰度来增强图像的对比度，Retinex理论通过更改照度图中像素的动态范围以达到增强对比度的目的。虽然这些方法能够在一定程度上增强图像对比度，但是收到模型分解能力的限制，增强后的结果往往不尽人意。近十年来，深度学习在计算机视觉领域得到了广泛应用，并取得了非常优异的效果。
[0003]到目前为止，已经有很多种图像增强算法杯提出。如LLNet算法，EnlightGAN算法，KinD算法等。
[0004]2018年Wei等基于图像分解思想，设计视网膜大脑皮层网络即Retinex
‑
Net算法，利用分解
‑
增强架构调整图像亮度，该算法性能优越且可优化点多，近几年一直是热门研究内容。

技术实现思路

[0005]首先由Land提出视网膜皮层理论(Retinex)。该理论认为物体颜色与光照强度无关，即物体具有颜色恒常性。基于该理论相继出现经典的SSR、MSR
‑
CP和LIME等传统增强算法。紧接着，研究者发现卷积神经网络CNN与Retinex理论结合能进一步提高增强图像的视觉效果，自动学习图像的特征，解决Retinex依赖手工设置参数的问题，使得增强效果大大提高。
[0006]在此基础上：SSR和MSR
‑
CR算法主要思想是利用高斯滤波器获取低光照图像的光照分量，再通过像素间逐点操作求得反射分量作为增强结果。LIME算法主要利用局部一致性和结构感知约束条件计算图像的反射分量并作为输出结果。然而，这些基于Retinex理论模型的算法虽然可调整低光图像亮度，但增亮程度有限。
[0007]视网膜模型是低照度图像增强的有效工具。它假设观测到的图像可以分解为反射率和照度。Retinex
‑
Net算法虽然相对于传统增强算法来看，效果提升较明显。但是由于噪声与光照水平有关，Retinex
‑
Net提取反射分量后，图像暗区噪声高于亮区，因此Retinex
‑
Net的增强结果存在噪声较大、颜色失真的问题，不利于图像质量的提升。
[0008]Retinex
‑
net是一个出色的低照度图像增强算法。其内容可以分为四个主要部分：
[0009]分解网络：分解模块中分解网是一个五层的卷积神经网络结构，将成对的低照度图像和正常图像作为输入数据，送入网络中学习分解的过程，进而得到光照分量图像和反射分量图像。
[0010]去噪网络：由于噪声在黑暗区域往往更大，甚至在增强过程中被放大，因此在重建
图像之前使用BM3D去噪操作对反射图像进行去噪。
[0011]增强网络：增强网是一个九层的卷积神经网络结构，它调整光照图以保持大区域的一致性，同时通过多尺度连接来裁剪局部分布，同时引入多尺度级联技术，从多角度调整光照图。
[0012]重建网络：重建模块基于Retinex理论模型来实现图像重建，对增强后的光照图像和去噪后的反射图像进行融合，得到增强后的效果图。
[0013]与基于Retinex的方法的关键是获得高质量的光照图和反射率图，分解结果的好坏也会影响后续的增强去噪过程。因此，设计一个有效的网络对弱光照图像进行分解是非常重要的。残差网络已广泛应用于许多计算机视觉任务中，并取得了良好的效果。残差网络得益于跳跃式连接结构，使深度神经网络在训练阶段更容易优化，不会引起梯度消失或爆炸。受此启发，在DecomNet中使用多个残差模块(RB)来获得更好的分解结果。每个RM包含6个卷积层，核的大小为{1，3，3，3，3，1}，核的个数分别为{64，128，256，256，128，64}。在每个RM前还有一个3x3的膨胀卷积目的是为了扩大感受野，使网络能够捕获更广阔的特征信息。
[0014]本方案采用Retinex
‑
Net作为骨干网络，Decom
‑
Net每次接收配对的正常光/低照度图像，在正常光图像和低照度图像共用同一反射率图的指导下，学习低照度图像及其对应的正常光图像的分解。在训练过程中，不需要提供反射率和光照图的真值。只需要反射率的一致性和照明映射的平滑嵌入到网络作为损失函数。
[0015]由于采集环境以及设备等因素的影响，低照度图像在暗区域包含了大量噪声，噪声会减少图像信息并降低图像质量，反射分量反映物体特征且包含大量细节信息。为了对反射分量R进行更好的处理，达到较好的去噪以及细节保持效果，用改进的降噪网络对低照度图像反射分量R进行去噪处理。
[0016]U
‑
Net网络可以有效地提取图像特征，减少所需训练的参数数量，卷积压缩和跳跃连接等结构，可以充分的与图像各层级的特征进行融合，进而还原图像。因其出色的结构设计，越来越多的学者们将其应用在图像增强中作为主要架构。因此NARetinex
‑
Net网络在降噪处理部分采用了U型结构作为基础网络部分。
[0017]受到ResNet和Inception模块的启发，本文设计了一个RI(Res
‑
Inception)模块，将它代替传统U
‑
Net网络中的卷积层。RI模块使用并行的多个分支结构，可以同时从不同尺度和不同层次的特征图中提取信息，从而有效提高网络的感受野和特征表达能力，还可以通过降维的方式来减少计算量，从而保持模型的轻量化和高效性。1x1卷积和全局平均池化层可以有效地降低网络参数数量，加快网络的训练速度，使得整个模型更容易训练并取得更好的性能。
[0018]整个降噪网络分为编码和解码两部分，在编码阶段，首先将输入的光照分量和反射分量进行融合，然后经过一个RI模块进行特征提取和一个2x2的最大池化层将图像尺寸大小减半，通道数加倍，并使用ReLU激活函数。网络解码部分包括1个RI模块和上采样，上采样将低维特征图转换为高维特征图像，并将每个特征图的尺寸大小加倍，通道数减半然后与编码阶段通过跳跃连接的特征图进行拼接。
[0019]在图像增强中，加入注意力机制可以帮助网络更好地提取图像中的关键特征，从而提高图像的质量和增强效果，而通道注意力机制在实际应用中非常有效，可以帮助神经网络自适应地调整通道之间地比重，使得网络能更好地提取图像特征。
[0020]ECANet通过改进SENet中的Squeeze操作，提出了一种更高效地通道注意力机制，为了避免手动交叉验证调整k的步骤，研究人员提出了一种自适应方法来确定k，该方法考虑跨通道交互的覆盖范围(即核大小k)。使用通道注意力模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于Retinex
‑
Net的低照度图像增强算法，其流程包括以下步骤：步骤1：分解网络阶段：使用ResNet网络作为骨干网络，并引用膨胀卷积和跳跃连接；步骤2：降噪网络阶段：结合Inception模块和注意力机制思想对U型网络进行改进，将传统的卷积替换成Inception多尺度提取特征，将改进后的注意力机制嵌入到跳跃连接中，使得较大权重分布在有效特征里，并抑制无效特征，使模型性能可以更加优秀；步骤3：光照调整网络阶段：使用了DenseNet与Res
‑
Inception取代普通卷积，进一步提高特征提取能力；步骤4：基于Retinex
‑
Net的低照度图像增强模型的构建。2.根据权利要求1所述的基于Retinex
‑
Net的低照度图像增强算法，其特征在于，所述步骤1中，引入ResNet作为骨干网络，结合膨胀卷积来提取特征图；同时在每个残差块前面添加跳跃连接保留了更多的图像细节，从而使最后的分解结果更加准确。3.根据权利要求1所述的基于Retinex
‑
Net的低照度图像增强算法，其特征在于，所述步骤2中，提取到两层特征之后，引入U型结构，将Res
‑
Inception模块替换普通卷积同时从不同尺度和不同层次的特征图中提取特征，1x1卷积和全局平均池化层可以有效地降低网络参数数量，从而保持模型地轻量化和高效性。对ECANet添加两条新的分支，分别选取2k和3k的核大小，并且让Dilatation也相对应的为2和3，让跨通道交互的覆盖范围尽可能地更大一些，，在获得特征图的当前通道与其新的2k、3k个相邻通道之间局部相关性后，对三个分支进行加权可以获得更多通道之间的交互信息。4.根据权利要求1所述的基于Retinex
‑
Net的低照度图像增强算法，其特征在于，所述步骤3中，引入DenseNet,使得前一层的特征图被传递到后续层中，可以在不增加过多参数量的情况下增加网络深度，从而得到更好的性能，提高了模型的泛化能力。反射分量...

【专利技术属性】
技术研发人员：叶家威，尹芳，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：