一种基于参数估计的微光图像增强方法技术

该发明专利技术公开了一种基于参数估计的微光图像增强方法，属于计算机视觉、机器学习等领域。利用深度可分离卷积和倒残差结构优化网络的参数，保证了网络对通道和空间维度特征的提取的能力，同时降低了卷积操作的计算量和参数量。然后，利用能捕获特征全局信息的缩放点注意力机制估计了颜色校正矩阵和伽马校正参数，实现了对最终成像质量的整体优化。网络训练过程中，本发明专利技术使用了像素级差异的L2损失和认知级差异的多权重的感知损失。本发明专利技术在LoL数据集上的实验表明，当倒残差结构的扩张率为1.5时能在LoL数据集上达到最优的性能。时能在LoL数据集上达到最优的性能。时能在LoL数据集上达到最优的性能。

【技术实现步骤摘要】
一种基于参数估计的微光图像增强方法


[0001]本专利技术属于计算机视觉、机器学习等领域，特别涉及一种基于参数估计的微光图像增强方法。

技术介绍

[0002]微光图像增强是一项常见的图像处理任务，旨在提高图像的可见性，同时保持图像的自然性。通过微光图像增强处理，可以有效改善光照不足、光线不均匀等问题，进而提高图像质量，更容易提取图像中的有效或更符合视觉特点的特征。为微光图像增强通常被用作目标识别、目标检测等计算机视觉任务的前处理手段，以帮助这些任务取得更好的效果和精度。微光图像增强任务可以根据处理方法的不同，划分为传统的增强方法和基于深度学习的方法。
[0003]传统的增强方法主要分为非物理模型方法和基于物理模型的方法，非物理模型方法是一种重要的图像处理技术，可以通过直接调整图像像素来实现图像的增强，以提高图像的可见性和质量。基于物理模型的方法主要是通过对微光图像的退化过程进行建模，不断调整成像参数，最终反演出未退化的图像。由于传统的增强方法对特征的定义和处理比较局限，很难运用到实际场景中。
[0004]随着深度学习迅速发展，越来越多的微光图像增强采用了深度学习相关的方法。深度学习的微光图像增强方法可以分为有监督、无监督、半监督和自监督四种，其中有监督和无监督的方法是目前应用最多的方法，总结如下：(1)有监督的方法利用成对的数据集训练增强网络，例如，Zhang等人提出了KIND增强方法，通过将图像分解为入射分量和反射分量，并对这两组分量进行进一步的优化和校正，最后线性组合为最终的增强图像；Lv等人提出的MBLLEN，通过多通道的亮度加强，把图像增强过程中的降噪，亮度增强，色彩还原隐式的分散到了各分支中。(2)无监督的方法通过对增强目标进行设置，通过设定的不同损失函数指导增强图像的呈现效果，例如，Guo等人设计了Zero
‑
DC的方法，将光增强任务认为是定制一条映射曲线，设计了无需参考的损失函数和参数估计网络DCE
‑
net对图像进行增强，有着高效的特点。Jiang等人采用对抗生成的方法，将U
‑
net结合注意力作为生成器，并设计了鉴别器，利用设置的对抗损失和设计的自然特征保持损失实现微光图像的自然效果增强。(3)半监督的方法通过标记和未标记的数据训练。例如，Yang等人先通过成对数据上用多级内容损失训练设计的增强网络以恢复图像的细节。随后，利用域自适应机制在不成对的真实数据上采用对抗训练和设定的关于伽马校正的损失训练网络提高网络模型的性能。(4)自监督的方法通过数据直接挖掘信息实现。例如，Zhang等人基于最大熵的Retinex理论，结合自监督方法的增强网络，约束反射率最大的通道值等于微光图像最大通道值，以及反射率最大的通道的熵值也最大，以此训练该网络。
[0005]微光图像增强任务往往需要从提升亮度和减缓图像噪声两方面入手，而无监督的增强方法很难同时实现这两个目标，因此本专利技术遵循了有监督训练的增强方法，提出了基于估计变换图像参数的微光图像增强方法。
[0006]本专利技术发现目前的增强方法也存在着一些问题，需要进一步的优化，其中有三个比较显著的问题：严重噪声、色彩失真、模型参数量过大。严重噪声的产生，往往是由于微光图像的信噪比较低，增强方法在提高图像的亮度过程中放大了原有的噪声。微光图像的色彩平衡可能偏向某个颜色通道，在增强过程中，为了提高整体亮度，往往需要对各个通道的亮度都进行增强，但这可能导致某些颜色通道过度增强。如果没有对最终的成像进行色彩的校正，或者色彩校正的方式效果不佳，增强图像就会出现色彩失真。微光图像增强模型需要同时考虑到增强图像的视觉质量和保留原始图像信息两个目标，需要对图像进行复杂的处理，例如亮度变换，除噪，色彩变化等。因此需要设计有较多的层数和参数的模型结构来估计更多的信息，导致了模型参数量过大。
[0007]针对以上问题，本专利技术提出了一种基于参数估计增强网络。接下来，本专利技术就将讨论网络设计过程中所使用模块的结构和作用，并通过实验证明本专利技术提出的增强算法在微光图像增强上的有效性。

技术实现思路

[0008]本专利技术的目的在于提出一种基于参数估计微光图像增强方法，该方法通过基于参数估计微光图像增强网络实现，网络由像素级分量估计分支和整体优化分支构成，实现像素级图像的亮度调节、去噪，以及图像整体色彩和亮度优化。其中，像素级分量估计分支用于计算调节亮度的分量和缓解噪声的分量，整体优化分支用于计算颜色校正矩阵和伽马校正参数。为了方便验证本专利技术提出的方法，将本专利技术与其他的微光图像增强方法采用同样的数据集进行训练，即选用Low
‑
Light微光配对数据集(LOL数据集)进行训练。训练完成之后，在该数据集下对应的测试集上进行测试，通过对比发现，本专利技术的方法有效增强了微光图像。此外，通过与其他的方法的对比实验，证明了本专利技术提出的方法的有效性。
[0009]为了达到以上目的，本专利技术提出了一种基于参数估计的微光图像增强方法，
[0010]该方法采用微光图像增强网络对输入的微光图像进行增强；所述微光图像增强网络包括：像素级分量估计分支和整体优化分支；
[0011]所述像素级分量估计分支包括结构相同的第一分支和第二分支，所述第一或第二分支由输入到输出依次包括：第一卷积模块、N个倒残差结构、第二卷积模块，额外的所述第二卷积模块的输入为第一卷积模块的输出与N个倒残差结构的输出进行残差连接；所述第一分支的输入为微光图像增强网络的输入，第二分支的输入为第一分支的输出与微光图像增强网络的输入进行点乘后再与微光图像增强网络的输入进行拼接的结果；所述像素级分量估计分支的输出为第一分支的输出与第二分支的输出相加的结果；
[0012]所述整体优化分支包括：第三卷积模块、第四卷积模块、第一全连接层、第二全连接层、缩放注意力模块、第三全连接层、层标准化、第四全连接层、激活函数、第五全连接层、第一卷积层和第二卷积层；整体优化分支的输入为微光图像增强网络的输入与像素级分量估计分支的输出的拼接结果；所述整体优化分支的输入依次经过第三卷积模块、第四卷积模块然后分别输出给第一全连接层、第二全连接层；所述缩放注意力模块的输入包括：第一全连接层的输出、第二全连接层的输出和查询参数；该查询参数用于限定整体优化分支输出值的数量；所述缩放注意力模块的输出依次经过第三全连接层、层标准化、第四全连接层、激活函数、第五全连接层；第三全连接层的输出与地五全连接层的输出进行残差连接后
再与一个3x3的单位矩阵和一个尺寸为1的值进行相加；对相加的结果拆分为一个3x3的矩阵和一个尺寸为1的值；3x3的矩阵输入给第一全连接层，尺寸为1的值输入给第二全连接层；所述整体优化分支的输出为像素级分量估计分支的输出与第一全连接层的输出进行矩阵相乘后再与第二全连接层的输出进行伽马变换后的结果，即为微光图像增强网络的输出；
[0013]所述微光图像增强网络的损失L
aim
如下：
[0014][0015][0016][0017]其中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于参数估计的微光图像增强方法，该方法采用微光图像增强网络对输入的微光图像进行增强；所述微光图像增强网络包括：像素级分量估计分支和整体优化分支；所述像素级分量估计分支包括结构相同的第一分支和第二分支，所述第一或第二分支由输入到输出依次包括：第一卷积模块、N个倒残差结构、第二卷积模块，额外的所述第二卷积模块的输入为第一卷积模块的输出与N个倒残差结构的输出进行残差连接；所述第一分支的输入为微光图像增强网络的输入，第二分支的输入为第一分支的输出与微光图像增强网络的输入进行点乘后再与微光图像增强网络的输入进行拼接的结果；所述像素级分量估计分支的输出为第一分支的输出与第二分支的输出相加的结果；所述整体优化分支包括：第三卷积模块、第四卷积模块、第一全连接层、第二全连接层、缩放注意力模块、第三全连接层、层标准化、第四全连接层、激活函数、第五全连接层、第一卷积层和第二卷积层；整体优化分支的输入为微光图像增强网络的输入与像素级分量估计分支的输出的拼接结果；所述整体优化分支的输入依次经过第三卷积模块、第四卷积模块然后分别输出给第一全连接层、第二全连接层；所述缩放注意力模块的输入包括：第一全连接层的输出、第二全连接层的输出和查询参数；该查询参数用于限定整体优化分支输出值的数量；所述缩放注意力模块的输出依次经过第三全连接层、层标准化、第四全连接层、激活函数、第五全连接层；第三全连接层的输出与地五全连接层的输出进行残差连接后再与一个3x3的单位矩阵和一个尺寸为1的值进行相加；对相加的结果拆分为一个3x3的矩阵和一个尺寸为1的值；3x3的矩阵输入给第一全连接层，尺寸为1的值输入给第二全连接层；所述整体优化分支的输出为像素级分量估计分支的输出与第一全连接层的输出进行矩阵相乘后再与第二全连接层的输...

【专利技术属性】
技术研发人员：于力，熊啸宇，彭超，何建，
申请(专利权)人：宜宾电子科技大学研究院，
类型：发明
国别省市：