一种基于深度学习的轻量级雾天车辆检测方法技术

本发明专利技术涉及自动驾驶技术领域，且公开了一种基于深度学习的轻量级雾天车辆检测方法，结合基于动态卷积核的去雾网络模型对雾天交通图片去雾，利用改进后的YOLOv7车辆检测方法对车辆的位置和状态进行检测，针对去雾后颜色失真问题，构建一种动态残差模块，该模块可以根据输入数据的内容和上下文信息，动态地调整卷积核的感受野大小，这使得网络能够在不同位置对特征进行自适应的感知，更好地捕捉图像中不同尺度和形状的特征，进而解决去雾后颜色失真问题。针对检测速度慢问题，构建一种压缩模块和将YOLOv7主干网络C3中普通卷积替换为深度可分离卷积，压缩模块可以使特征图尺寸变小，减少模型的参数量，进而降低去雾时间，深度可分离卷积参数量小于普通卷积，降低车辆检测时间。间。间。

【技术实现步骤摘要】
一种基于深度学习的轻量级雾天车辆检测方法


[0001]本专利技术涉及自动驾驶
，具体为一种基于深度学习的轻量级雾天车辆检测方法。

技术介绍

[0002]随着自动驾驶技术与汽车制造业的高速发展，道路上具备自动驾驶功能的车辆数目愈发增多，在自动驾驶车辆行驶过程中，准确地检测出道路上的车辆位置和行驶状态是确保车辆安全行驶的关键功能之一，雾天会降低能见度，导致车载摄像头无法检测到周围车辆的位置和行驶状态，进而容易引起交通事故，因此，在雾天下进行车辆检测，可以及时发现并避免潜在的碰撞风险，对于确保自动驾驶车辆的安全行驶至关重要，同时也有助于交通管理部门获取道路上实时的车流信息，了解道路上的车辆密度从而优化交通信号灯的控制和调整，改善道路交通流量，减少拥堵现象。
[0003]中国专利202210158525.2一种基于暗通道法的雾天车辆检测方法，该方法首先通过车载摄像头采集雾天图像，将采集到的雾天图像划分为车辆区域和非车辆区域，将车辆区域的图像进行去雾处理，使用训练好的Faster
‑
Rcnn模型对去雾后的雾天图像进行检测，得出图像中车辆的具体位置和准确率，该方法没有对去雾算法和车辆检测算法进行改进，而是直接采用暗通道算法和Faster
‑
Rcnn算法，该方法去雾后图像颜色失真，并且对车辆检测的准确率较低。
[0004]中国专利201910633933.7一种雾天环境中的车辆检测方法及装置，该方法首先将采集到的交通图像进行灰度化，将灰度化的图像进行分割，找出亮度最大的区域，把该区域所有的像素点求平均，该平均值作为大气光值，把灰度化后的图像内所有像素点分为明亮区域和暗区域，并生成该两个区域的透射率组成自适应透射率，将所述的大气光值和自适应透射率输入到大气散射模型中，进而得到去雾后的交通图像，利用目标检测算法对去雾后的交通图像进行检测，得到车辆的位置和具体状态，该方法检测速度较慢，只公布了具体的去雾方法，并没有公布具体的车辆检测方法。

技术实现思路

[0005]本专利技术提供了一种基于深度学习的轻量级雾天车辆检测方法，解决目前雾天车辆检测方法存在去雾后图像颜色失真、准确性较差和检测速度较慢的问题。
[0006]本专利技术提供如下技术方案：一种基于深度学习的轻量级雾天车辆检测方法，包括以下步骤：
[0007]步骤S1：获取RESIDE中的OTS数据集；
[0008]步骤S2：从OTS数据集中选取10000张图片，按照9：1的比例分为训练集和验证集；
[0009]步骤S3：建立基于动态卷积核的去雾网络模型，学习率初始化为0.0001，batchsize设为16，优化器采用Adam优化器，使用MS
‑
SSIM损失函数计算损失误差，利用步骤S2中的训练数据集训练去雾网络模型，直至网络收敛，得到最佳的网络模型权重；
[0010]步骤S4：将车载摄像头采集的雾天交通图像输入至训练好的去雾网络模型中，得到去雾后的交通图像；
[0011]步骤S5：将KITTI车辆检测数据集转换为VOC格式，利用该数据集对改进后的YOLOv7车辆检测模型进行训练得到训练模型；
[0012]步骤S6：将去雾后的交通图像输入至训练好的车辆检测模型中，得出图像中车辆的具体位置和准确率。
[0013]进一步地，所述步骤S3中的基于动态卷积核的去雾网络模型由多分支特征融合模块、压缩模块、动态残差模块和去雾图像生成模块构成。
[0014]进一步地，所述多分支特征融合模块由1个1*1卷积、3*3卷积、5*5卷积和7*7卷积并联组成。
[0015]进一步地，所述多分支特征融合模块包括如下步骤：
[0016]车载摄像头采集的雾天交通图像分别经过1个1*1卷积、3*3卷积、5*5卷积和7*7卷积处理后生成四个特征图，四个特征图contact拼接输出为一个特征图作为下一层网络的输入。
[0017]进一步地，压缩模块由一个3*3卷积、一个max
‑
pooling(最大池化)和一个Layer Normalization归一化层组成。
[0018]进一步地，所述压缩模块包括如下步骤：
[0019]输入特征图经过一个3*3卷积后通道数由12变为3，在经过max
‑
pooling(最大池化)和一个Layer Normalization归一化层，让特征图的尺寸降为原来的一半。
[0020]进一步地，所述动态残差模块由三个残差结构组成，每个残差结构中都包含两个ODConv(动态卷积)串联组成。
[0021]进一步地，所述动态残差模块包括如下步骤：
[0022]进一步地，输入特征图X会通过Attention模块进行处理，得到通道注意力(channel_attention)、滤波注意力(filter_attention)、空间注意力(spatial_attention)和卷积核注意力(kernel_attention)。
[0023]进一步地，获取输入特征图X的批量大小、输入通道数、高度和宽度。将输入特征图X与通道注意力相乘，对输入进行通道级别的特征加权。将X重新形状为一个4D张量，便于后续计算。
[0024]进一步地，根据空间注意力、卷积核注意力和权重(weight)，计算加权的卷积核，使用加权的卷积核对输入特征图X进行卷积操作，得到输出特征图，动态卷积操作可以表示为：Y(i,j)＝sum(A(i,j,c))*(K(c)*X(i,j))，将输出特征图与滤波器注意力相乘，对输出进行滤波器级别的特征加权。
[0025]进一步地，输入特征图X与经过两个ODConv处理后的图像contact拼接输出，经过动态残差模块操作后，生成输出特征图，输出的特征图可以作为下一层网络的输入，继续进行后续的处理和分析。
[0026]式中，输入特征图为X，注意力权重矩阵为A，卷积核为K，输出特征图为Y其中Y(i,j)表示输出特征图中位置(i,j)的值，K(c)表示第c个卷积核，X(i,j)表示输入图像在位置(i,j)的值。
[0027]进一步地，去雾图像生成模块由一个unsampling层(上采样)和由一个element
‑
wise的乘法层和几个element
‑
wise的加法层组成。
[0028]进一步地，去雾图像生成模块包括如下步骤：
[0029]输入特征图经过一个unsampling(上采样)使特征图变为原尺寸大小，并输出K(x)作为其输入自适应参数，通过式J(x)＝K(x)*I(x)
‑
K(x)+b生成去雾图像。
[0030]式中，J(x)即要恢复的干净图像，I(x)即输入的雾霾图像，K(x)为自适应参数，b为默认值为1的常数偏差。
[0031]进一步地，所述步骤S5中的基于改进YOLOv7的车辆检测模型；
[0032]进一步地，将YOLOv7主干网络C3中普通卷积替换为深本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的轻量级雾天车辆检测方法，包括以下步骤：步骤S1：获取RESIDE中的OTS数据集；步骤S2：从OTS数据集中选取10000张图片，按照9：1的比例分为训练集和验证集；步骤S3：建立基于动态卷积核的去雾网络模型，学习率初始化为0.0001，batchsize设为16，优化器采用Adam优化器，使用MS
‑
SSIM损失函数计算误差，利用步骤S2中的训练数据集训练去雾网络模型，直至网络收敛，得到最佳的网络模型权重；步骤S4：将车载摄像头采集的雾天交通图像输入至训练好的去雾网络模型中，得到去雾后的交通图像；步骤S5：将KITTI车辆检测数据集转换为VOC格式，利用该数据集对改进后的YOLOv7车辆检测模型进行训练得到训练模型，将YOLOv7主干网络C3中普通卷积替换为深度可分离卷积(Depth
‑
wise Separable Convolution)来减小模型的参数量和计算复杂度，减少车辆检测所有时间；步骤S6：将去雾后的交通图像输入至训练好的车辆检测模型中，得出图像中车辆的具体位置和准确率；所述步骤S5中的基于改进YOLOv7的车辆检测模型。2.根据权利要求1所述的一种基于深度学习的轻量级雾天车辆检测方法，其特征在于：所述步骤S3中的基于动态卷积核的去雾网络模型由多分支特征融合模块、压缩模块、动态残差模块和去雾图像生成模块构成；基于深度学习的轻量级雾天车辆检测模型参数如表1所示，所述去雾图像生成模块由一个unsampling(上采样)和由一个element
‑
wise的乘法层和几个element
‑
wise的加法层组成，输入特征图经过一个unsampling(上采样)是特征图变为原尺寸大小，并输出作为其输入自适应参数，通过式生成恢复的图像；式中，即要恢复的干净图像，即输入的雾霾图像，为自适应参数，为默认值为1的常数偏差。3.根据权利要求2所述的一种基于深度学习的轻量级雾天车辆检测方法，其特征在于：所述多分支特征融合模块由1个1*1卷积、3*3卷积、5*5卷积和7*7卷积并联组成；压缩模块由一个3*3卷积、一个max
‑
pooling(最大池化)和一个Layer Normalization归一化层组成。4.根据权利要求1所述的一种基于深度学习的轻量级雾天车辆检测方法，其特征在于：所述多分支特征融合模块包括如下步骤：首先，车载摄像头采集的雾天交通图像分别经过1个1*1卷积、3*3卷积、5*5卷积和7*7卷积处理后生成四个特征图；然后，四个特征图contact拼接输出为一个特征图；最后，上诉特征图作为下一层网络的输入。5.根据权利要求3所述的一种基于深度学习的轻量级雾天车辆检测方法，其特征在于：所述压缩模块由一个3*3卷积、一个max
‑
pooling(最大池化)和一个Layer Normalization归一化层组成。6.根据权利要求5所述的一种基于深度学习的轻量级雾天车辆检测方法，其特征在于：所述压缩模块包括如下步骤：首先，输入特征图经过一个3*3卷积后通道数变为3；然后，在经过max
‑
pooling(最大池化)和一个Layer Normalization归一化层，让特征
图的尺寸降为原来的一半。7.根据权利要求2所述的一种基于深度学习的轻量级雾天车辆检测方法，其...

【专利技术属性】
技术研发人员：杨泽远，杨刚，陶发展，熊心和，匡海军，何晓鹏，汪洋，汤敏，
申请(专利权)人：重庆市荣冠科技有限公司，
类型：发明
国别省市：