一种利用时频域层级处理的低光照图像增强方法技术

本发明专利技术涉及一种利用时频域层级处理的低光照图像增强方法，包括步骤：S1、构建低光照图像数据集，包括低光照图像数据集的采集和标注，合理划分训练数据集和测试数据集；S2、建立低光照图像增强网络框架，使用深度学习中的卷积神经网络搭建整个网络框架；S3、进行模型训练，利用步骤S1划分好的训练数据集对步骤S2构建的低光照图像增强网络框架进行迭代训练；S4、进行模型测试，利用步骤S3训练后保存的模型对步骤S1划分好的测试数据集进行检测。本发明专利技术在深度学习框架下，结合时域与频域构建网络框架，利用数据驱动方式对低光照图像进行层级处理，实现图像亮度拉伸，生成清晰、低噪声的结果图像，使得低光照图像增强任务更高效。使得低光照图像增强任务更高效。使得低光照图像增强任务更高效。

【技术实现步骤摘要】
一种利用时频域层级处理的低光照图像增强方法


[0001]本专利技术涉及低光照图像增强
，尤其涉及一种利用时频域层级处理的低光照图像增强方法。

技术介绍

[0002]随着生活水平的逐步改善和高科技技术的发展，人们常以拍摄的方式记录生活的点滴，同时在工业上智能设备通过捕获各种图像高效处理视觉任务，取得比手工操作更高的效率，因此，图像成为了人类生活必不可少的一部分。但由于低光照环境和有限且昂贵的摄像设备，人们常捕获到一些低质量的图像，如低光照图像。而这种暗光照图像通常具有亮度低，对比度不高，噪声大等缺点，这不仅影响图像的美感，人类的视觉感知，而且还会挑战许多依赖于计算机视觉算法的智能系统，如全天自动驾驶和生物特征识别，目标检测等，导致其性能受限。
[0003]为了有效改善低光图像质量，出现了许多低光照图像增强算法，这些算法可以分为三大类：基于传统理论的方法、基于视网膜皮层(Retinex)的方法和基于深度学习的方法。传统的经典方法是直方图均衡，该方法根据图像直方图统计像素的灰度值，再对其进行像素均衡，从而使得亮度有所提升，但这种方法并未本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用时频域层级处理的低光照图像增强方法，其特征在于，包括以下步骤：S1、构建低光照图像数据集，包括低光照图像数据集的采集和标注，合理划分训练数据集和测试数据集；S2、建立低光照图像增强网络框架，使用深度学习中的卷积神经网络搭建整个网络框架，针对低光照图像存在的问题设计相应的模块，构建一个基于深度学习的低光照图像增强网络；S3、进行模型训练，利用步骤S1划分好的训练数据集对步骤S2构建的低光照图像增强网络框架进行迭代训练；S4、进行模型测试，利用步骤S3训练后保存的模型对步骤S1划分好的测试数据集进行检测。2.根据权利要求1所述的一种利用时频域层级处理的低光照图像增强方法，其特征在于，步骤S1中构建低光照图像数据集的具体步骤如下：S11、进行图像收集，通过两种途径获取暗光图像，包括从各个摄影学网站收集的低光照图像和利用现有的单反摄像设备、多种品牌的手机，在现实的白天及夜晚场景中人工采集图像；在白天场景中，通过调节摄像设备光圈分别采集同一场景的两种类型图像，分别是正常光照图像以及低光照图像；在夜晚及暗光环境中，将摄像设备光圈置于正常范围，对物体进行拍摄，采集低光图像；S12、进行数据集标注，对所获得的图像进行分类，利用人工对从网站上收集的以及夜晚条件下拍摄的图像进行人工标注，将同一场景的低光图像和与其对应的正常光照图像称为一组图像对，并将图像对的文件名按照自然数顺序重命名；S13、进行数据集划分标注，将收集的所有图像按照7:3的比例随机划分为训练数据集和测试数据集。3.根据权利要求1所述的一种利用时频域层级处理的低光照图像增强方法，其特征在于，步骤S2中低光照图像增强网络框架，包括：时域亮度增强模块，用于提升暗光图像的亮度水平；频域噪声抑制模块，用于滤除图像的噪声；时域细节重构模块，用于恢复图像的细节部分，包含图像的结构和纹理；各个模块均由动态增强单元DEU作为基本的元素，利用多种构建方法组成，并使用L1正则化损失、总变分差TV损失和拉普拉斯损失组合为一组约束条件用作网络的总损失函数。4.根据权利要求3所述的一种利用时频域层级处理的低光照图像增强方法，其特征在于，时域亮度增强模块的具体实现过程如下：S211、将输入图像经过一层核3x3的卷积操作获得一组特征；S212、将该特征输入类人眼机制工作的动态增强单元DEU增强特征，使其更能表征图像的亮度水平并利用统计特性增强亮度；S213、利用一层核3x3的卷积与Tanh激活操作将图像编码后输出，完成初步的亮度提升；频域噪声抑制模块的具体实现过程如下：S221、将时域亮度增强模块得到的图像利用小波变换DWT将图像特征变换到频域；S222、利用动态增强单元DEU以及基本的卷积对特征进行处理；
S223、通过对处理后的图像逐渐小波逆变换IDWT使其变换回时域图像，再进入时域细节重构模块的处理；时域细节重构模块的具体实现过程如下：S231、将时域亮度增强模块和频域噪声抑制模块的输出结果图级联，并输入到时域细节重构模块；S232、对该输入图像经过数层卷积层以及多个动态增强单元DEU，进行图像边缘增强，颜色恢复以及细节信息重构；S233、输出最终整个网络的增强图像。5.根据权利要求4所述的一种利用时频域层级处理的低光照图像增强方法，其特征在于，步骤S211的具体过程为：将图像大小为H
×
W，通道数为3的输入图像S∈R
H
×
W
×3，利用一层核为3
×
3的卷积层及带泄露的修正线性单元激活操作提取一组大小为[8，64，256，256]的包含图像的亮度，颜色，细节信息的特征。6.根据权利要求4所述的一种利用时频域层级处理的低光照图像增强方法，其特征在于，步骤S212中动态增强单元DEU分别采用核为3
×
3和5
×
5的卷积构成两条处理通路对特征进行增强，利用这两条处理通路提取特征信息；再利用特征相加操作融合两条通路的输出特征，将融合后的特征以并行的方式分别输入到由卷积层构成的网络通路中，增强学习到的特征以及通过级联方式融合其信息，再增加一组核为1
×
1和3
×
3的卷积平衡融合后的特征，整个过程定量可表示为：f＝Rconv3(X
deu
)+Rconv5(X
deu
)
ꢀꢀꢀꢀꢀꢀꢀ
(1)(1)其中，X
deu
表示动态增强单元DEU的输入特征；...

【专利技术属性】
技术研发人员：胡晓，欧嘉敏，黄奕秋，谭湘粤，钟小容，
申请(专利权)人：广州大学，
类型：发明
国别省市：