一种基于深度学习的车辆停车检测方法技术

本发明专利技术涉及图像处理技术领域，一种基于深度学习的车辆停车检测方法，将深度学习与车辆位置判断算法相结合，以判断图像中的车辆是否发生停车。其中，使用自制隧道内车辆目标数据集对深度学习目标检测模型RefineDet进行预训练，并针对车辆特征对RefineDet模型结构进行改进；使用改进后的RefineDet模型进行实时隧道内车辆目标检测，获得车辆位置信息；以车辆面积交并比、车辆中心点距离设计车辆位置判断算法，根据车辆位置信息进行车辆停车行为检测。通过本发明专利技术，能够及时地检测到车道上车辆停车行为，避免发生二次事故，减少损失。

【技术实现步骤摘要】
一种基于深度学习的车辆停车检测方法
本专利技术涉及图像处理
，特别是涉及一种基于深度学习的车辆停车检测方法。
技术介绍
近年来，随着国民经济的快速发展，机动车保有量快速增加，这极大地促进了我国公路车流量的迅猛发展，增加了通行、管理压力。在高速公路隧道内场景下，其环境具有车道窄小、照明条件不佳、空间封闭、可视范围小等诸多特点。由于上述诸多特征，发生在高速公路隧道内的事故多、较难处理，并对事故后续处理、救援等工作产生了较大的限制。因此及时对高速公路隧道内的车辆进行异常停车行为识别对交通管理工作具有重大的意义。现阶段对于隧道内停车行为的检测，主要通过人工对监控视频进行观察，不仅耗费大量的人力，而且长时间的观看监控视频会造成视觉疲劳，不能常常第一时间观察到停车事件的发生。由于高速公路隧道内一般已安装较为完善的道路监控视频，因此利用图像处理的方法对视频进行检测有着极大的应用前景。
技术实现思路
本专利技术的目的是为解决上述现有技术的不足之处而提供一种基于深度学习的车辆停车检测方法。本专利技术所采用的技术方案是：一种基于深度学习的车辆停车检测方法，按如下步骤进行步骤一、实时提取拍摄的交通运行图像，并对图像进行缩放预处理，缩放尺寸为320*320像素；步骤二、使用改进后的RefineDet模型对实时拍摄的交通运行图像中每间隔20帧的图像进行车辆目标检测，并输出相应的车辆位置信息，目标检测模型所输出的信息为：车辆目标左上角坐标(x1,y1)，右下角坐标(x2,y2)；步骤三、分别计算前后两个间隔帧中车辆位置之间的中心点距离，中心点距离阈值设置为20像素，若中心点距离小于中心点距离阈值，则进入下一步，否则舍弃；步骤四、设置面积交并比阈值0.85，计算中心点距离小于中心点距离阈值的一对车辆位置的面积交并比，若大于面积交并比阈值，则认为出现停车行为，否则舍弃；步骤五、重复上述检测，若在某一中心点存在中心点距离小于中心点距离阈值、面积交并比大于面积交并比阈值的检测结果，则认为出现了停车行为。步骤二改进后的RefineDet模型是指，结合区域卷积神经网络RCNN与目标检测算法SSD的优势(2018年张士峰等人在IEEE计算机视觉与模式识别会议上提出)，使用经典分类模型VGG16作为基网络的目标检测模型RefineDet进行优化，优化实现方法为在RefineDet特征提取部分额外添加卷积层Conv7_1、Con7_2、Conv8_1和Conv8_2以加深网络结构；通过在RefineDet模型的分类损失上采用新的FocalLoss损失，优化网络的损失函数，使用隧道内车辆目标数据集对目标检测模型RefineDet进行训练，得到改进后的RefineDet模型。步骤二中，在经过经典分类模型VGG16后将320*320像素的图片输入到区域优化模块ARM中，ARM模块能提取出大小不同的特征图，并进行粗略预估车辆的位置，去掉无效的车辆位置框，减少输入到目标检测模块ODM中需要分类和回归的车辆位置框数量，区域优化模块ARM的特征图通过特征图连接模块TCB输入到ODM模块中，在特征图连接模块TCB中利用FPN(FeaturePyramidNetworks)网络结构及上采样的方式，将低层特征图与高层特征图语义相融合，保证了检测层特征图可以进行不同尺寸的车辆的检测，在维持原来的结构的基础上，新增了Conv7_2、Conv8_2作为检测层，Conv8_2通过反卷积操作进行上采样，传递到Conv7_2中并进行相加，同样的，Conv7_2进行上采样后传递到上一层特征图中，逐层完成信息融合；新的FocalLoss损失函数为FL(pt)＝-αt(1-pt)γlog(pt)其中，pt为不同类别的分类概率，αt用于调节正负样本比例，γ用于调节权重比例。中心点计算公式如下：(x1,y1)、(x2,y2)为目标检测模型的输出结果，(x,y)为中心点坐标，中心点距离计算公式如上式，(x,y)、(X,Y)为间隔帧中两个车辆位置坐标的中心点，d为中心点距离。面积交并比IoU的计算公式如下：C、G分别为中心点距离满足阈值时所对应的两个车辆位置框。IoU越大，表明两个位置的重合度越高，当IoU计算结果大于面积交并比阈值时，判断可能发生停车行为。当在某位置满足中心点阈值、交并比阈值的检测结果，则认为出现了停车行为，此时进行报警操作。本专利技术的有益效果是：将深度学习目标检测模型与停车检测算法相结合，以判断图片中的车辆是否出现停车行为。其中，通过优化深度学习目标检测模型RefineDet以精确检测图片中的车辆目标位置；通过计算每间隔20帧的图像中的车辆位置的中心点距离、IoU，并与阈值比较，判断是否有疑似停车行为的发生，当连续发生满足阈值的情况时，判断出现停车行为，此时进行报警操作。通过本专利技术，能够有效检测道路中发生的停车行为，具有较好的实时性。附图说明图1是本专利技术提供的一种基于深度学习的车辆停车检测方法的流程示意图。图2是本专利技术提供的一种基于深度学习的车辆停车检测方法的RefineDet模型的结构改进示意图。具体实施方式在下面的描述中阐述了很多具体细节以便于充分理解本专利技术。但是本专利技术能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广，因此本专利技术不受下面公开的具体实施的限制。其次，本专利技术利用示意图进行详细描述，在详述本专利技术实施例时，为便于说明，示意图只是实例，其在此不应限制本专利技术保护的范围。如图1所示，为本专利技术提供的一种基于深度学习的车辆停车检测方法的流程示意图，包括：实时提取拍摄的交通运行图像，并对图像进行缩放预处理；使用改进后的RefineDet模型对实时视频流中每间隔20帧的交通图像进行车辆目标检测，并输出相应的车辆位置信息；分别计算前后两个间隔帧中车辆位置之间的中心点距离，若中心点距离小于中心点距离阈值，则进入下一步，否则舍弃；计算中心点距离小于中心点距离阈值的一对车辆位置的面积交并比，若小于面积交并比阈值，则认为可能出现停车行为，否则舍弃；重复上述检测，若在某一中心点满足阈值、交并比阈值的检测结果，则认为出现了停车行为。其中，在对深度学习模型RefineDet进行优化的步骤中，包括步骤：针对大车辆目标难以检测的特性，改进RefineDet模型结构如图1所示，通过在RefineDet特征提取部分额外添加Conv7_1、Conv7_2、Conv8_1和Conv8_2，选择Conv7_2、Conv8_2作为检测层，加强对大车辆目标的检测精度。针对RefineDet中的损失函数，使用新型损失函数FocalLoss进行损失计算，改进其检测效果，其公式如下：FL(pt)＝-αt(1-pt)γlog(pt)式中，pt为不同类别的分类概率，αt用于调节正负样本文档来自技高网...

【技术保护点】
1.一种基于深度学习的车辆停车检测方法，其特征在于：按如下步骤进行/n步骤一、实时提取拍摄的交通运行图像，并对图像进行缩放预处理，缩放尺寸为320*320像素；/n步骤二、使用改进后的RefineDet模型对实时拍摄的交通运行图像中每间隔20帧的图像进行车辆目标检测，并输出相应的车辆位置信息，目标检测模型所输出的信息为：车辆目标左上角坐标(x

【技术特征摘要】
1.一种基于深度学习的车辆停车检测方法，其特征在于：按如下步骤进行
步骤一、实时提取拍摄的交通运行图像，并对图像进行缩放预处理，缩放尺寸为320*320像素；
步骤二、使用改进后的RefineDet模型对实时拍摄的交通运行图像中每间隔20帧的图像进行车辆目标检测，并输出相应的车辆位置信息，目标检测模型所输出的信息为：车辆目标左上角坐标(x1,y1)，右下角坐标(x2,y2)；
步骤三、分别计算前后两个间隔帧中车辆位置之间的中心点距离，中心点距离阈值设置为20像素，若中心点距离小于中心点距离阈值，则进入下一步，否则舍弃；
步骤四、设置面积交并比阈值0.85，计算中心点距离小于中心点距离阈值的一对车辆位置的面积交并比，若大于面积交并比阈值，则认为出现停车行为，否则舍弃；
步骤五、重复上述检测，若在某一中心点存在中心点距离小于中心点距离阈值、面积交并比大于面积交并比阈值的检测结果，则认为出现了停车行为。


2.根据权利要求1所述的一种基于深度学习的车辆停车检测方法，其特征在于：步骤二改进后的RefineDet模型是指，结合区域卷积神经网络RCNN与目标检测算法SSD的优势，使用经典分类模型VGG16作为基网络的目标检测模型RefineDet进行优化，优化实现方法为在RefineDet特征提取部分额外添加卷积层Conv7_1、Con7_2、Conv8_1和Conv8_2以加深网络结构；通过在RefineDet模型的分类损失上采用新的FocalLoss损失，优化网络的损失函数，使用隧道内车辆目标数据集对目标检测模型RefineDet进行训练，得到改进后的RefineDet模型。


3.根据权利要求2所述的...

【专利技术属性】
技术研发人员：丁洁，丁冰，刘晋峰，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：山西;14