一种快速车辆检测方法技术

本发明专利技术属于深度学习中的视频检测技术领域，具体涉及一种基于车窗特征的快速车辆检测方法，提出以车窗代替车体作为目标物进行检测，结合ResNet网络的残差模块和SSD算法的多尺度特征提取方法，借鉴YOLOv3的网络结构，构建了只有24个卷积层的全卷积检测方法；在车流量较大的情况下，批量测试时，平均检测精度接近100％，平均检出率达到90％，检测速度达到22毫秒/帧，实现对道路高清监控视频中车辆的实时检测，有效的提高较大车流量中车辆的检出率，具有重要的应用价值。

A Fast Vehicle Detection Method

The present invention belongs to the field of video detection technology in deep learning, and specifically relates to a fast vehicle detection method based on window features. It proposes to replace the car body with window as the target object for detection, combines the residual module of ResNet network and the multi-scale feature extraction method of SSD algorithm, and builds a full convolution detection method with only 24 convolution layers by referring to the network structure of YOLOv3. In the case of large traffic volume, the average detection accuracy is close to 100%, the average detection rate reaches 90%, and the detection speed reaches 22 milliseconds/frame. This method realizes the real-time detection of vehicles in high-definition monitoring video of road, and effectively improves the detection rate of vehicles in large traffic volume. It has important application value.

【技术实现步骤摘要】
一种快速车辆检测方法
：本专利技术属于深度学习中的视频检测
，具体涉及一种基于车窗特征的快速车辆检测方法，特别是一种能快速实现对运动车辆状态检测的方法。
技术介绍
：目前，基于卷积神经网络(ConvolutionalNeuralNetworks,CNN)的深度学习算法发展迅猛，依靠其强大的特征提取能力，在目标检测识别方面取得了很高的精度。但目前的基于深度学习的检测算法有一大缺点，就是速度问题，如FasterR-CNN等带有regionproposal(提前选取感兴趣区域，然后进一步做检测)步骤的算法，检测精度很高，如中国专利CN2018106089322公开了一种大型施工车辆扬臂检测算法，收集图片，采用FasterRCNN算法检测，计算车身面积与整个车辆面积的比，达到更好的检测准确率。但FasterR-CNN的检测速度却不能达到多目标高清视频实时检测的要求。深度学习领域以速度著称的YOLO(YouOnlyLookOnce)将物体检测作为回归问题求解，基于一个单独的端到端的网络，完成从原始图像的输入到物体位置和类别的输出，没有显式的提取regionproposal的过程，大大的提高了检测速度，使得YOLOv1在较小图片的检测速度上达到了45FPS，其简化版本达到了155FPS，满足了高清视频实时检测所需的检测速度，但它却牺牲了很多精度。YOLOv3的出现，使得检测精度大大提高，速度降低了一些，对于目标物较少的低像素视频还可以达到实时检测的要求，但面对多目标物的高清监控视频，YOLOv3的速度就难以达到实时检测的要求。现有技术中，在道路监控设备中需要嵌入检测系统，用来实时生成道路状况，或者统计车流量。这时，监控视野范围内的车辆数量很多，单帧视频生成的图像中经常会出现20个目标物，且高清监控视频单帧图片的像素值较大，此时YOLOv3速度上是达不到实时检测的要求。如中国专利CN2016105281180公开了基于局部特征分析的车辆排队长度快速检测算法，将视频检测区域从整幅图像优化到图像的局部特征，在检测车辆排队长度这一交通信息中仅选取包含车道画面的三列像素值，在加权重构的基础上形成一维特征数组进行分析，运算速率快准确率高，单帧处理耗时10ms。此外还存在的一个问题是，车辆较多时，存在前后车辆之间的相互遮挡，此时视野中车辆的整体特征点不完全，两辆车特征点相互融合，在用非极大值抑制处理时，经常造成将多辆车框在一起，识别为一辆车的情况，这样就会大大降低对车辆的检测识别精度，这也是车辆检测中的一个难点。
技术实现思路
：本专利技术的目的在于克服现有技术存在的不足，寻求设计一种快速车辆检测方法，基于车窗特征作为被检测对象，结合ResNet(残差连接网络)的残差模块和SSD(SingleShotDetector)算法的多尺度特征提取工艺，借鉴YOLOv3的网络结构，构建只有24个卷积层的全卷积检测方法，更好的解决道路上运动车辆检测中相互遮挡车辆难以准确检出的问题和现有基于深度学习的检测算法不能实时对监控视频中的车辆做检测的问题。为了实现上述目的，本专利技术提供的快速车辆检测方法，其工艺过程包括以下步骤：(1)采集数据：从对道路中的车辆进行实时交通监控视频中截取不同条件下的大量图片，图片大小为1920px×1080px，将此作为数据；(2)数据标注：基于车窗特征对步骤(1)中采集的图片做数据标注，采用labelimg标注工具在图片中用矩形框分别将车辆的前车窗和后车窗作为目标物框起来，并附带车辆的类别标签进行标注，将画出的每个矩形框在图片上的像素点坐标信息以xml数据格式保存在.xml文件中，生成包含有图片中车辆的前后车窗位置信息和车辆的类别信息的.xml文件，以供训练和测试时使用；(3)构建基础网络：在步骤(2)数据标注方式下，使用ResNet网络的残差连接，按照特征层尺度像素大小对输入图片逐层进行特征点提取，依次形成特征层尺度分别为208px×208px、104px×104px、52px×52px、26px×26px的四个部分，将同一尺度的不同特征层的信息融合，构建13层的全卷积小型基础网络；(4)构建检测方法：借鉴SSD的多尺度特征提取方法，在步骤(3)构建的基础网络的基础上利用多层特征提取技术，分别从基础网络中尺度为104px×104px、52px×52px、26px×26px的残差连接层(Residual)提取特征层信息并融合到检测网络，与检测网络中相对应的特征层经过上采样后的特征信息融合；然后用1×1卷积生成与检测目标物种类数相对应的张量，即：(26×26+52×52+104×104)×(3×(4+1+C))维张量；再经过sigmoid函数和0.5阈值的筛选，选取最高置信度的种类作为预测种类；经过对多个预测框进行NMS(非极大值抑制)得到最终预测框；再得到预测目标车辆的类别和位置信息，构成检测方法，实现对道路运动中车辆的快速检测；(5)训练数据：将步骤(2)中标注好的大量图片选取80％作为训练数据，剩余20％作为测试图片；利用步骤(4)中检测方法对训练数据进行训练，当loss值小于设定的值时停止训练；得到一个“.weights”为后缀的权重模型；(6)应用测试：步骤(4)中的检测方法将以步骤(5)中生成的权重模型为标准，对测试图片做预测，查看测试精度和测试速度；当测试精度和速度符合要求时，此时构建的检测方法便达到了要求；然后利用构建好的检测方法和训练好的权重模型对带有目标车辆的图片或者道路交通视频做检测，实时识别出车辆，完成对运动车辆的检测。其中，本专利技术步骤(1)采集数据中，为了使检测方法能够适用于各种不同的道路场景，从交通监控视频中截取图片时，所述不同条件指不同路段、不同道路状况、不同天气或不同时间。其中，本专利技术步骤(2)数据标注中，所述车辆的类别标签分为“bus”和“car”两类，其中“bus”类包括公交车与大巴车，“car”类包括小型汽车与SUV车型。其中，本专利技术步骤(3)构建基础网络中，特征层尺度为208px×208px部分的形成过程为：首先将图片像素大小调整为416px×416px作为数据输入到网络中，使用16个3×3大小的卷积，步幅为1对特征层进行加深和特征提取；然后使用32个3×3大小的卷积，步幅为2对特征层进一步加深，降低该层特征图尺度到208px×208px大小，并进行特征提取，得到208px×208px尺度下的第一层；接着再用1×1卷积，步幅为1融合提取的特征，得到208px×208px尺度下的第二层；用3×3卷积，步幅为1增加特征层深度到32张208px×208px大小的特征图，得到208px×208px尺度下的第三层；最后借鉴ResNet网络的残差连接，将208px×208px尺度下的第一层与208px×208px尺度下的第三层的特征残差连接，形成特征图为208px×208px尺度下的残差连接层。其中，本专利技术步骤(3)构建基础网络中，特征层尺度为104px×104px部分的形成过程为：对208px×208px尺度下的残差连接层的特征图用64个3×3的卷积，步幅为2进行特征提取，降低该层特征图尺度到104px×104px大小，并进行特征提取，得到104px×104px尺度下的第一层；接着本文档来自技高网...

【技术保护点】
1.一种快速车辆检测方法，其特征在于，所述快速车辆检测方法包括以下步骤：(1)采集数据：从对道路中的车辆进行实时交通监控视频中截取不同条件下的大量图片，图片大小为1920px×1080px，将此作为数据；(2)数据标注：基于车窗特征对步骤(1)中采集的图片做数据标注，采用labelimg标注工具在图片中用矩形框分别将车辆的前车窗和后车窗作为目标物框起来，并附带车辆的类别标签进行标注，将画出的每个矩形框在图片上的像素点坐标信息以xml数据格式保存在.xml文件中，生成包含有图片中车辆的前后车窗位置信息和车辆的类别信息的.xml文件，以供训练和测试时使用；(3)构建基础网络：在步骤(2)数据标注方式下，使用ResNet网络的残差连接，按照特征层尺度像素大小对输入图片逐层进行特征点提取，依次形成特征层尺度分别为208px×208px、104px×104px、52px×52px、26px×26px的四个部分，将同一尺度的不同特征层的信息融合，构建13层的全卷积小型基础网络；(4)构建检测方法：借鉴SSD的多尺度特征提取方法，在步骤(3)构建的基础网络的基础上利用多层特征提取技术，分别从基础网络中尺度为104px×104px、52px×52px、26px×26px的残差连接层提取特征层信息并融合到检测网络，与检测网络中相对应的特征层经过上采样后的特征信息融合；然后用1×1卷积生成与检测目标物种类数相对应的张量，即：(26×26+52×52+104×104)×(3×(4+1+C))维张量；再经过sigmoid函数和0.5阈值的筛选，选取最高置信度的种类作为预测种类；经过对多个预测框进行非极大值抑制得到最终预测框；再得到预测目标车辆的类别和位置信息，构成检测方法；(5)训练数据；(6)应用测试。...

【技术特征摘要】
1.一种快速车辆检测方法，其特征在于，所述快速车辆检测方法包括以下步骤：(1)采集数据：从对道路中的车辆进行实时交通监控视频中截取不同条件下的大量图片，图片大小为1920px×1080px，将此作为数据；(2)数据标注：基于车窗特征对步骤(1)中采集的图片做数据标注，采用labelimg标注工具在图片中用矩形框分别将车辆的前车窗和后车窗作为目标物框起来，并附带车辆的类别标签进行标注，将画出的每个矩形框在图片上的像素点坐标信息以xml数据格式保存在.xml文件中，生成包含有图片中车辆的前后车窗位置信息和车辆的类别信息的.xml文件，以供训练和测试时使用；(3)构建基础网络：在步骤(2)数据标注方式下，使用ResNet网络的残差连接，按照特征层尺度像素大小对输入图片逐层进行特征点提取，依次形成特征层尺度分别为208px×208px、104px×104px、52px×52px、26px×26px的四个部分，将同一尺度的不同特征层的信息融合，构建13层的全卷积小型基础网络；(4)构建检测方法：借鉴SSD的多尺度特征提取方法，在步骤(3)构建的基础网络的基础上利用多层特征提取技术，分别从基础网络中尺度为104px×104px、52px×52px、26px×26px的残差连接层提取特征层信息并融合到检测网络，与检测网络中相对应的特征层经过上采样后的特征信息融合；然后用1×1卷积生成与检测目标物种类数相对应的张量，即：(26×26+52×52+104×104)×(3×(4+1+C))维张量；再经过sigmoid函数和0.5阈值的筛选，选取最高置信度的种类作为预测种类；经过对多个预测框进行非极大值抑制得到最终预测框；再得到预测目标车辆的类别和位置信息，构成检测方法；(5)训练数据；(6)应用测试。2.根据权利要求1所述的一种快速车辆检测方法，其特征在于，步骤(1)中所述不同条件指不同路段、不同道路状况、不同天气或不同时间；步骤(2)中所述车辆的类别标签分为“bus”和“car”两类，其中“bus”类包括公交车与大巴车，“car”类包括小型汽车与SUV车型的汽车。3.根据权利要求1-2所述的一种快速车辆检测方法，其特征在于，步骤(3)中所述特征层尺度为208px×208px部分的形成过程为：首先将图片像素大小调整为416px×416px作为数据输入到网络中，使用16个3×3大小的卷积，步幅为1对特征层进行加深和特征提取；然后使用32个3×3大小的卷积，步幅为2对特征层进一步加深，降低该层特征图尺度到208px×208px大小，并进行特征提取，得到208px×208px尺度下的第一层；接着再用1×1卷积，步幅为1融合提取的特征，得到208px×208px尺度下的第二层；用3×3卷积，步幅为1增加特征层深度到32张208px×208px大小的特征图，得到208px×208px尺度下的第三层；最后借鉴ResNet网络的残差连接，将208px×208px尺度下的第一层与208px×208px尺度下的第三层的特征残差连接，形成特征图为208px×208px尺度下的残差连接层。4.根据权利要求1-2所述的一种快速车辆检测方法，其特征在于，步骤(3)中所述特征层尺度为104px×104px部分的形成过程为：对208px×208px尺度下的残差连接层的特征图用64个3×3的...

【专利技术属性】
技术研发人员：王国栋，王亮亮，潘振宽，徐洁，王岩杰，李宁孝，胡诗语，
申请(专利权)人：青岛大学，
类型：发明
国别省市：山东,37