一种结合多尺度特征聚合和提升策略的低光图像增强方法技术

本发明专利技术涉及一种结合多尺度特征聚合和提升策略的低光图像增强方法，属于图像增强技术领域，基于卷积神经网络的编码

【技术实现步骤摘要】
一种结合多尺度特征聚合和提升策略的低光图像增强方法


[0001]本专利技术涉及一种结合多尺度特征聚合和提升策略的低光图像增强方法，属于图像增强


技术介绍

[0002]低光图像增强是近年来计算机视觉领域的研究热点，它被广泛应用到各种高级视觉任务，譬如目标检测、语义分割等，同时，它也被应用到全天自动驾驶、视觉监控以及计算摄影等现实领域中。低光图像增强技术能够提高在弱光、背光以及极度低光下拍摄的照片的可见度、对比度，强化它们的内容细节，提升人们对它们的美学感知。由此可见，低光图像增强具有很强的现实意义以及使用价值。传统的低光图像增强的算法有两种，一种是基于直方图均衡化的方法，另一种是基于Retinex理论的方法。前者通过对图像进行均衡化来扩展图像的动态范围并提高图像的对比度，后者通过某种先验或正则化将图像视为照明和反射两种成分，将反射成分视为最终增强的结果，并通过预测照明成分来得到反射成分。尽管这两种方法可以在一定程度上增强低光图像，但它们两者都有自身的限制。基于直方图均衡化的方法仅仅专注于增强图像的对比度然而忽视了图像中存在的噪声，而对于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合多尺度特征聚合和提升策略的低光图像增强方法，其特征在于包括以下步骤：步骤1，数据收集与处理，(1.1)为了训练低光图像增强模型，需要有足够多的图像数据，采用了两个开源的低光图像数据集进行模型训练；第一个数据集包含916张低光图像和1016张正常光图像，上述两种图像是不成对的；第二个数据集中包含了2117张低光图像和2117张正常光图像，上述两种图像是成对的；(1.2)对于两个数据集中的图像，均采用随机裁剪得到分辨率为320
×
320的训练图像，随后对图像进行随机水平翻转进行数据增强；对于测试集，采用了6个开源低光图像数据集共672张图像进行测试，其中有5个测试数据集是不成对的数据集；另一个测试数据集共包含440张低光图像，其中有100张是无对应参考图像的，不成对的数据集；另外340张是有对应参考图像的，成对的数据集；步骤2，模型构建，(2.1)基于编码
‑
解码的U
‑
net结构设计了低光图像增强模型，由一个生成器和两个判别器组成；其中一个全局判别器用来判别图像整体，一个局部判别器用来判别图像块；(2.2)在生成器的编码阶段，对于每个尺度的特征，使用多尺度特征聚合模块，简称FABM，将其聚合到所有后续的级别；在解码阶段，将每一级编码器提取的特征汇总，并结合去噪模块，简称BPM，增强图像；(2.2.1)所述的多尺度特征聚合模块，简称FABM，在编码器中，对于第C级的特征图E
C
，首先在不同的尺度间计算它和之前(C
‑
1)级特征图E
i_A
(i＝1，...，C
‑
1)间的差异1)间的差异其中p表示投影操作算子，它将特征图E
C
上采样，j表示上采样的次数，E
C
会被上采样到和每一个E
i_A
(i＝1，...，C
‑
1)相同的尺寸；接着使用反投影差异去更新特征图E
C
从而获得聚合特征E
C_A
：其中bp表示反投影操作算子，它将反投影差异下采样，j表示下采样的次数，会被下采样到和特征图E
C
相同的尺寸；最后获得的特征E
C_A
考虑到了在它之间所有尺寸的特征；假定第C级是编码器的最后一级，那么E
C_A
就是编码器在聚合了每一级的特征后的输出；接着解码器的每一级以同样的方式对E
C_A
进行再聚合，充分利用聚合到的特征去获得增强特征D
C_E
：D
C_E
＝bp
C
‑1[p
C
‑1(D
C
)
‑
E
C_A
]+D
C
ꢀꢀꢀ
(3)其中，D
C
表示解码器中第C级的特征图，bp和p分别表示反投影算子和投影算子；在解码器中，bp表示上采样，p表示下采样；(2.2.2)所述的去噪模块，简称BPM，利用先前的预估来改善当下的信号；首先，将当前需要被增强的特征C
f
和之前被视为已经被增强了的特征P
f
相加去获得高信噪比的强化特征...

【专利技术属性】
技术研发人员：蒋斌，王仁君，杨超，
申请(专利权)人：湖南大学，
类型：发明
国别省市：