一种普适性轻量级深度学习车辆检测方法技术

本发明专利技术提出了一种普适性轻量级深度学习车辆检测方法，用于解决现有技术中在计算资源、存储空间有限的情况下，无法同时满足准确率和实时性的问题，实现步骤为：获取训练样本集和测试样本集；构建改进的YOLOv4网络模型；对改进的YOLOv4网络模型进行迭代训练；获取车辆检测结果。本发明专利技术所构建的主干特征提取网络采用深度可分离卷积模块代替传统卷积模块方式，降低模型大小的同时提高检测实时性，同时所构建的主干特征提取网络所包含的第二瓶颈模块中加入通道混洗模块，一定程度上提高了车辆检测的精度，可用于汽车自动或半自动驾驶。

【技术实现步骤摘要】
一种普适性轻量级深度学习车辆检测方法
本专利技术属于深度学习
，特别涉及一种普适性轻量级深度学习车辆检测方法。考虑现实场景中车载终端计算资源、存储空间有限而导致大多数深度学习方法不再适用，根据轻量化网络模型的思想，通过对YOLOv4网络模型中主干特征提取网络轻量化设计，在保证了检测的准确率的前提下，降低了车辆检测复杂度、压缩了模型大小，提高了检测的实时性，可用于高级辅助驾驶系统中。
技术介绍
研究表明，目前我国智能网联汽车的发展正处在从L2级自动驾驶向L3级自动驾驶过度阶段。然而随着道路上的车辆日益增多，汽车在驾驶过程中容易发生各种突发状况，给人们带来经济损失的同时，可能造成部分区域的交通拥堵，更加严重的是可能导致相关人员的伤亡。随着智能交通系统的蓬勃发展能够有针对性的部分解决当前所面临的各种各样的交通问题，其中高级辅助驾驶系统(AdvancedDrivingAssistanceSystem，ADAS)作为智能交通系统体系框架的重要内容，可以有针对性的解决道路上各种问题。高精度、实时车辆检测则是自动驾驶和ADAS的基础，同时也是ADAS中至关重要的一步。大多数车辆检测算法的提出都将提高精度作为第一准则，但不可避免的是模型复杂度的提升和大量内存的消耗。在现实场景中，由于单车计算资源、存储空间有限，很难同时满足高准确率和实时性，因此如何在有限的计算资源和存储资源的场景下保证准确率的同时提高检测的实时性是研究的关键。现有基于深度学习的车辆检测方法有两种，一种是两阶段车辆检测方法，另一种是单阶段车辆检测方法。采用两阶段车辆检测主要通过一个完整的卷积神经网络(ConvolutionalNeuralNetworks，CNN)来完成目标检测的过程。在训练网络时，主要训练两个部分，第一步是训练候选区生成网络(RegionProposalNetwork，RPN)，第二步则是训练目标区域检测的网络。该方法虽然具有很高的检测精度，但由于网络结构的复杂性，导致检测速度很慢，往往在一些场景下无法满足实时性的要求。采用单阶段车辆检测主要是通过直接回归的方式进行车辆检测，该方法虽然在检测速度上相较于两阶段算法有较大的优势，但在计算资源和存储资源有限的场景下仍无法满足实时性，为了进一步提高检测实时性，需要对单阶段车辆检测进行轻量化操作，其中包括剪枝和构建轻量级网络模型，但由于单阶段检测网络结构比较简单，对图像中车辆信息提取能力有限，从而导致检测精度较低。现有的深度车辆检测算法，多数采用YOLOv3网络模型为基础进行改进来提高检测速度，例如申请公布号为CN110796168A，名称为“一种基于改进YOLOv3的车辆检测方法”的专利申请，公开的一种改进YOLOv3的车辆检测方法，该方法重新设计Darknet层于三个yolo层之间的卷积神经网络结构，借鉴了TridentNet权重共享的想法，设计YOLO-TN网络；对YOLO-TN卷积神经网络进行模型剪枝；构建车辆检测数据集，并对数据集中的车辆位置信息进行标注；训练YOLO-TN的车辆检测模型，完成车辆检测任务。该方法在保证实时性的同时还具有较高的平均精度，对远处车辆以及小尺度目标进行检测时，漏检率较低，定位也更准确。但其存在的不足之处在于，该方法采用模型剪枝的方法对网络模型进行轻量化，在计算资源有限和存储资源有限的场景下无法同时保证高精度和实时性。现有YOLOv4网络模型，其结构如图1所示，包括级联的主干特征提取网络CSPDarknet-53、空间金字塔池化网络SSP和路径聚合网络PANet，其中，主干特征提取网络包括级联的标准卷积模块、多个残差模块以及卷积层，标准卷积模块包括级联的卷积层、归一化层、激活层，残差模块包括级联的卷积层和激活层；空间金字塔池化网络包括依次层叠的多个不同尺寸的最大池化层；路径聚合网络包括多个标准卷积模块、多个上采样层以及多个下采样层；主干特征提取网络中倒数第二个残差模块和倒数第三个残差模块，以及空间金字塔池化网络的输出层与路径聚合网络相连。
技术实现思路
本专利技术目的在于针对上述现有技术的不足，提出了一种普适性轻量级深度学习车辆检测方法，用于解决现有技术中存在的在计算资源和存储资源有限的场景下车辆检测实时性和准确率较差的技术问题。为实现上述目的，本专利技术采取的技术方案包括如下步骤：(1)获取训练样本集I和测试样本集F：从数据集中获取N幅包括车辆的图像，并将其中的M幅图像及其对应的包含车辆位置信息标注框的标签数据作为训练样本集I，将其余N-M幅作为测试样本集F，其中N＞10000，M＞N/2；(2)构建改进的YOLOv4网络模型H：(2a)构建改进的YOLOv4网络模型H的结构：构建包括级联的主干特征提取网络My-MobileNet、空间金字塔池化网络SSP和路径聚合网络PANet的改进的YOLOv4网络模型H，其中，主干特征提取网络包括级联的深度可分离卷积模块、多个步长为2的第一瓶颈模块、多个步长为1的第二瓶颈模块以及卷积层，深度可分离卷积模块包括级联的深度卷积层、归一化层、激活层和逐点卷积层，第一瓶颈模块包括级联的深度卷积层、卷积层、归一化层以及激活层，第二瓶颈模块包括级联的第一瓶颈模块和通道混洗模块；空间金字塔池化网络包括依次层叠的多个不同尺寸的最大池化层；路径聚合网络包括多个深度可分离卷积模块、多个上采样层以及多个下采样层；主干特征提取网络中倒数第一个步长为2的第一瓶颈模块和倒数第四个的步长为2的第一瓶颈模块，以及空间金字塔池化网络的输出层与路径聚合网络相连；(2b)构建改进的YOLOv4网络模型H的损失函数L：L＝L1+L2+L3其中，L1为预测框中心点坐标的损失函数，L2为预测置信度的损失函数，L3为预测类别的损失函数，IoU为标注框和预测框的交并比，ρ2(b,bgt)表示预测框的中心点和标注框的中心点两点之间的欧拉距离，d表示包含标注框和预测框的外界矩形对角线的距离，w、h分别为预测框的宽和高，wgt、hgt分别为标注框的宽和高，S×S表示图像被划分成网格的大小，表示判断网格内是否存在车辆目标表示网络预测车辆的概率，pi(c)表示第i网格存在车辆的概率，B表示每个网格预测的边框数，为预测框的置信度，Ci为第i个网格边界框的置信度，λnoobj为权重系数；(3)对改进的YOLOv4网络模型H进行迭代训练：(3a)将训练样本集I中的M幅图像划分为n组，每组包括D幅图像，并以为比例对每组中的每幅图像进行压缩，然后将每组中的D幅压缩图像拼接成与原图像尺寸相同的图像，最后将n幅拼接图像与训练样本集I中未被分组的M-nD幅图像混合成数据增强后的训练样本集I′，其中，D∈{4,16,64,...}，nD＜M，n≥1；(3b)设迭代次数为t，最大迭代次数为T，T≥50000，第t次迭代的改进的YOLOv4网络模型为Ht，并令t＝1，Ht＝H；(3c)将数据增强后的训练样本集I′作为改进的YOLOv4网络模型Ht的输入，主干特征提取网络对本文档来自技高网...

【技术保护点】
1.一种普适性轻量级深度学习车辆检测方法，其特征在于，包括如下步骤：/n(1)获取训练样本集I和测试样本集F：/n从数据集中获取N幅包括车辆的图像，并将其中的M幅图像及其对应的包含车辆位置信息标注框的标签数据作为训练样本集I，将其余N-M幅作为测试样本集F，其中N＞10000，M＞N/2；/n(2)构建改进的YOLOv4网络模型H：/n(2a)构建改进的YOLOv4网络模型H的结构：/n构建包括级联的主干特征提取网络、空间金字塔池化网络和路径聚合网络的改进的YOLOv4网络模型H，其中，主干特征提取网络包括级联的深度可分离卷积模块、多个步长为2的第一瓶颈模块、多个步长为1的第二瓶颈模块以及卷积层，深度可分离卷积模块包括级联的深度卷积层、归一化层、激活层和逐点卷积层，第一瓶颈模块包括级联的深度卷积层、卷积层、归一化层以及激活层，第二瓶颈模块包括级联的第一瓶颈模块和通道混洗模块；空间金字塔池化网络包括依次层叠的多个不同尺寸的最大池化层；路径聚合网络包括多个深度可分离卷积模块、多个上采样层以及多个下采样层；主干特征提取网络中倒数第一个步长为2的第一瓶颈模块和倒数第四个的步长为2的第一瓶颈模块，以及空间金字塔池化网络的输出层与路径聚合网络相连；/n(2b)构建改进的YOLOv4网络模型H的损失函数L：/nL＝L...

【技术特征摘要】
1.一种普适性轻量级深度学习车辆检测方法，其特征在于，包括如下步骤：
(1)获取训练样本集I和测试样本集F：
从数据集中获取N幅包括车辆的图像，并将其中的M幅图像及其对应的包含车辆位置信息标注框的标签数据作为训练样本集I，将其余N-M幅作为测试样本集F，其中N＞10000，M＞N/2；
(2)构建改进的YOLOv4网络模型H：
(2a)构建改进的YOLOv4网络模型H的结构：
构建包括级联的主干特征提取网络、空间金字塔池化网络和路径聚合网络的改进的YOLOv4网络模型H，其中，主干特征提取网络包括级联的深度可分离卷积模块、多个步长为2的第一瓶颈模块、多个步长为1的第二瓶颈模块以及卷积层，深度可分离卷积模块包括级联的深度卷积层、归一化层、激活层和逐点卷积层，第一瓶颈模块包括级联的深度卷积层、卷积层、归一化层以及激活层，第二瓶颈模块包括级联的第一瓶颈模块和通道混洗模块；空间金字塔池化网络包括依次层叠的多个不同尺寸的最大池化层；路径聚合网络包括多个深度可分离卷积模块、多个上采样层以及多个下采样层；主干特征提取网络中倒数第一个步长为2的第一瓶颈模块和倒数第四个的步长为2的第一瓶颈模块，以及空间金字塔池化网络的输出层与路径聚合网络相连；
(2b)构建改进的YOLOv4网络模型H的损失函数L：
L＝L1+L2+L3









其中，L1为预测框中心点坐标的损失函数，L2为预测置信度的损失函数，L3为预测类别的损失函数，IoU为标注框和预测框的交并比，ρ2(b,bgt)表示预测框的中心点和标注框的中心点两点之间的欧拉距离，d表示包含标注框和预测框的外界矩形对角线的距离，w、h分别为预测框的宽和高，wgt、hgt分别为标注框的宽和高，S×S表示图像被划分成网格的大小，表示判断网格内是否存在车辆目标，表示网络预测车辆的概率，pi(c)表示第i网格存在车辆的概率，B表示每个网格预测的边框数，为预测框的置信度，Ci为第i个网格边界框的置信度，λnoobj为权重系数；
(3)对改进的YOLOv4网络模型H进行迭代训练：
(3a)将训练样本集I中的M幅图像划分为n组，每组包括D幅图像，并以为比例对每组中的每幅图像进行压缩，然后将每组中的D幅压缩图像拼接成与原图像尺寸相同的图像，最后将n幅拼接图像与训练样本集I中未被分组的M-nD幅图像混合成数据增强后的训练样本集I′，其中，D∈{4,16,64,...}，nD＜M，n≥1；
(3b)设迭代次数为t，最大迭代次数为T，T≥50000，第t次迭代的改进的YOLOv4网络模型为Ht，并令t＝1，Ht＝H；
(3c)将数据增强后的训练样本集I′作为改进的YOLOv4网络模型Ht的输入，主干特征提取网络对I′中的每幅图像进行车辆特征提取，得到每幅图像的三种不同尺度特征图，空间金字塔池化网络对最小尺度特征图进行特征增强，得到增强后的特征图，路径聚合网络对增强后的...

【专利技术属性】
技术研发人员：蔡雪莲，罗贸峰，左沛昂，岳文伟，张和和，李长乐，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61