一种基于卷积神经网络的快速低光照目标检测方法技术

一种基于卷积神经网络的快速低光照目标检测方法属于深度学习领域。本发明专利技术通过对卷积神经网络的网络结构及特征图进行研究，使用三层金字塔结构的卷积神经网络作为低光照增强网络，将高分辨率的低光照图像转换为低分辨率的光照增强图像，实现了在恢复低光照图像光照亮度和色彩等细节的同时大幅减小计算资源消耗，提高成像速度。结合基于单像素注意力的轻量化超分辨率网络将低分辨率的增强图像上采样至高分辨图像，增强图像的纹理细节，提高检测精度。使用基于多尺度融合的目标检测网络融合了不同尺度图像的特征信息，有效地提高了检测精度。在Zurich RAW to RGB数据集下验证了本发明专利技术的有效性。本发明专利技术的有效性。本发明专利技术的有效性。

【技术实现步骤摘要】
一种基于卷积神经网络的快速低光照目标检测方法


[0001]本专利技术属于深度学习、图像增强和目标检测领域，具体涉及一种基于卷积神经网络的快速低光照目标检测方法。

技术介绍

[0002]目标检测技术有很多应用，如人脸识别、自动驾驶、故障诊断等。然而，现实环境中各种复杂的光照条件，如夜间、阴雨、雾霾等，都会影响图像质量，进而影响目标检测的准确性。在低光照条件下，大多数现有的目标检测方法都会受到影响，检测性能会降低，甚至导致检测失败。由于光照条件的复杂性，低光照目标检测一直是图像处理和计算机视觉中的一个难题。
[0003]目前，低光照目标检测的主要方法是两步法。第一步是增强低光照图像的亮度，恢复图像的颜色、轮廓和细节特征。第二步是检测增强图像上的目标。在传统的低光照图像增强方法中，无论是直方图均衡化方法还是基于Retinex的方法都侧重于对比度增强，但无法恢复图像的细节和颜色，因此不适用于低光照目标检测。近年来发展起来的基于卷积神经网络的低光照增强模型提取了高层语义，学习颜色、对比度和光照特征，产生了更具表现力的效果。早期的目标检测的方法分为一阶段检测器和二阶段检测器。二阶段检测器首先对所有图像区域进行分割，提取出可能的检测对象，然后对其进行分类定位。但是，二阶段检测器的运行时间太长，占用了大量的计算资源。相反，一阶段检测器在回归过程中直接对目标进行分类，显著提高了检测速度。目前，基于卷积神经网络的低光照目标检测方法已经取得了较好的增强和检测效果。然而，这些方法需要4480*4480分辨率以上的高分辨率原始图像作为学习数据集，消耗大量的计算和存储资源。此外，单级检测器对整个图像进行回归，导致大量的负样本，导致检测精度不够。针对上述问题的一种可行的解决方案是首先进行光照增强并输出 992*720以下的低分辨率图片，然后引入注意机制的轻量化超分辨率网络来增强图像的分辨率至1984*1440以上，丰富图像细节特征，最后使用多尺度融合的目标检测网络实现对低光照目标的快速检测。

技术实现思路

[0004]本专利技术提供一种基于卷积神经网络的快速低光照目标检测方法，本专利技术通过对卷积神经网络的网络结构及特征图进行研究，设计了一种多尺度卷积神经网络，使用三层金字塔结构的卷积神经网络作为低光照增强网络，将4480*4480分辨率以上的高分辨率的低光照图像转换为992*720以下的低分辨率光照增强图像，实现了在恢复低光照图像光照亮度和色彩等细节的同时大幅减小计算资源消耗，提高成像速度。结合基于单像素注意力的轻量化超分辨率网络将992*720以下的低分辨率增强图像上采样至1984*1440以上，增强图像的纹理细节，提高检测精度。使用基于多尺度融合的目标检测网络融合了不同尺度图像的特征信息，有效地提高了检测精度。
[0005]本专利技术所要解决的技术问题有两个，一是现有的基于卷积网络的低光照目标检测
中低光照增强模块法需要4480*4480分辨率以上的高分辨率原始图像作为学习数据集，消耗了大量的计算和存储资源，造成模型运行速度缓慢，并且难以在低配置硬件系统上实现的问题；二是现有的轻量级目标检测模型在检测任务中存在检测精度和回归率不高的问题。针对这两个问题，本专利技术提出一种基于金字塔卷积的卷积神经网络用于低分辨率下的低光照图像增强，结合单像素注意力机制的轻量化超分辨网络实现对低光照图像的细节增强，最后结合多尺度融合的目标检测网络进行目标检测，不仅实现了加快网络模型的运行速度，而且具有良好的目标检测精度与回归率。
[0006]本专利技术采用的技术方案如下：
[0007]一种基于卷积神经网络的快速低光照目标检测方法，包括以下步骤：
[0008]步骤1、构建由金字塔卷积神经网络(低光照增强网络)、轻量化单像素注意力网络(图像超分辨率网络)和多尺度融合卷积网络(目标检测网络)组成的目标检测模型。其中，基于三层金字塔状的卷积神经网络用于低光照图像的光照增强，注意力网络用于提高低光照图像的分辨率，多尺度融合卷积网络用于进行目标类别与定位预测；
[0009]步骤2、收集大量的图像作为数据集，将收集到的图像进行预处理，调整图像分辨率以适应网络输入，将数据集进行基于正负样本数目的优化划分得到训练集和测试集；
[0010]步骤3、对模型进行训练。利用处理好的训练数据集作为金字塔卷积神经网络的输入，增强光照。注意力网络利用金字塔卷积神经网络增强后的图像进行超分辨率增强，将增强后的高分辨率图像送入多尺度融合卷积网络进行目标的定位与分类，最终得到检测图像。
[0011]其中，步骤1所述的金字塔卷积神经网络由三个不同分辨率的卷积层组成，每个卷积层可以从不同分辨率上学习颜色和光照特征。每个分辨率层含有个数不同的密集连接卷积块。
[0012]本专利技术使用金字塔卷积网络的理由在于通过将图像降低至不同大小的分辨率可以获得图像的全局和局部信息。图像被下采样至三个不同大小的分辨率层上，在最低的分辨率层上，通过三个3*3卷积块可以良好恢复图像的全局光照信息，在较高分辨率层上，通过六个不同大小的卷积块，可以良好恢复图像的局部颜色和纹理信息，从而输出具有光照增强效果的图片。
[0013]本专利技术使用轻量化单像素注意力网络的理由在于原数据集中图像分辨率很高，在高分辨率图像中使用金字塔结构会极大增加计算量，从而严重拖缓模型运行时间。针对这些问题，在使用金字塔卷积网络输出低分辨率增强图像之后，本专利技术使用了轻量化单像素注意力网络，在超分辨网络中引入单像素注意力，提高了图像细节，有效地减小了参数量，加快模型运行效率，并且提高了目标检测的准确率。
[0014]步骤1所述的金字塔卷积神经网络的卷积块结构中，卷积后除了第一层最后使用了Tanh激活函数，在各分辨率层的每一个卷积层都应用了LeakyReLU激活函数，避免梯度消失，并增加网络稀疏性以避免过拟合，并使用实例归一化处理每一层的卷积层。
[0015]步骤1所述的金字塔卷积神经网络的损失函数由感知损失函数和均方误差函数组成，其中感知损失函数由特征损失和风格损失组成。
[0016]步骤1所述的轻量化图像超分辨网络将金字塔卷积神经网络输出的低分辨率图片施行超分辨操作，提高图像细节，将超分辨后的高分辨率图片送入目标检测网络。
[0017]步骤1所述的多尺度融合卷积网络对超分辨图进行处理，得到图像中预测目标的检测信息，所述检测信息包括目标位置信息和目标类别信息。
[0018]本专利技术提供的技术方案的有益效果是：
[0019]1、采用金字塔卷积网络来增强光照效果，降低图像分辨率，减少计算资源消耗。
[0020]2、设计了一个基于单像素注意力模块的轻量化超分辨率网络，将低分辨率增强图像还原为具有丰富细节的高分辨率图像，增强目标检测效果和目标定位精度。
[0021]3、集成了金字塔低光照增强网络、单像素注意力超分辨率网络和目标检测网络，实现了端到端的低光照图像目标检测。
附图说明
[0022]图1基于卷积神经网络的快速低光照目标检测流程示意图图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的快速低光照目标检测方法，其特征在于，包括以下步骤：步骤1、构建由金字塔卷积神经网络、轻量化单像素注意力网络和多尺度融合卷积网络组成的目标检测模型；其中，基于三层金字塔状的卷积神经网络用于低光照图像的光照增强，注意力网络用于提高低光照图像的分辨率，多尺度融合卷积网络用于进行目标类别与定位预测；低光照照度为1～3LUX；金字塔卷积神经网络由三个从低到高三个不同分辨率的卷积层组成，网络从第三层和第二层的低分辨率图像上学习颜色和光照特征，从第一层的高分辨率图像上学习细节和纹理特征，每个分辨率层含有个数不同的密集连接卷积块；第三层低分辨率图像大小为124*90，第二层低分辨图像大小为496*360，第一层高分辨率图像大小为992*720；金字塔卷积神经网络除了第一层的末尾使用Tanh激活函数，在每个卷积层的每一个卷积块后都应用了LeakyReLU激活函数，并在每个卷积层的末尾使用归一化；步骤2、收集低光照图像作为数据集，将收集到的图像进行预处理，调整图像分辨率以适应网络输入，将数据集进行基于正负样本数目的优化划分得到训练集和测试集；步骤3、对模型进行训练；利用处理好的训练数据集作为金字塔卷积神经网络的输入，增强光照；注意力网络利用金字塔卷积神经网络增强后的图像进行超分辨率增强，将增强后的的图像送入多尺度融合卷积网络进行目标的定位与分类，最终得到检测图像。2.如权利要求1所述的基于卷积神经网络的快速低光照目标检测方法，其特征在于，步骤1所述的轻量化图像超分辨网络将金字塔卷积神经网络输出的图片实行超分辨操作，将超分辨后的图像送入多尺度融合卷积网络。3.如权利要求1所述的基于卷积神经网络的快速低光照目标检测方法，其特征在于，步骤1所述的多尺度融合卷积网络对超分辨图进行处理，得到图像中预测目标的检测信息，所述检测信息包括目标位置信息和目标类别信息。4.如权利要求1所述的卷积神经网络的快速低光照目标检测方法，其特征在于，步骤2所述的预处理具体如下：首先使用DSLR的图像对齐算法将从相机捕获的RAW图像与RGB图像对齐，然后计...

【专利技术属性】
技术研发人员：任坤，陶清扬，冯波，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：