一种基于无人机的道路交叉口车辆检测方法技术

本发明专利技术涉及一种基于无人机的道路交叉口车辆检测方法，包括有以下步骤：(1)将无人机悬停在道路交叉口中心的上方，对交叉口行车区域进行垂直拍摄，获得交叉口行车区域的视频；(2)对获得的视频进行稳像处理，去除视频各帧视频帧中的非正常偏移；(3)对于视频中的各帧视频帧，执行以下步骤对其中的交叉口行车区域中的车辆进行检测：S1.提取视频帧的背景图像；S2.识别道路交叉口的行车区域；S3.通过背景差分法获取交叉口行车区域的前景图像；S4.排除交叉口行车区域前景图像中的非车辆目标；S5.得到道路交叉口行车区域中车辆的影像。

A vehicle detection method for road intersection based on unmanned aerial vehicle

The invention relates to a detection method of UAV Road intersection based on vehicle, comprising the following steps: (1) the UAV hovering above the road intersection in the center of the intersection traffic area for vertical shooting, to obtain the intersection region of the video traffic; (2) to obtain the video image stabilization remove the video, each frame of video frames in the non normal migration; (3) for each frame of video frames in the video, perform the following steps to detect the intersection of the traffic in the area of the vehicle: S1. background image extraction of video frames; driving region S2. recognition of the road intersection; the foreground image by background subtraction S3. method to get the intersection points of driving region; S4. excluded intersection vehicle target non driving region in the foreground image; the road intersection traffic in the area of vehicle image obtained by S5.

【技术实现步骤摘要】
一种基于无人机的道路交叉口车辆检测方法
本专利技术涉及交叉口车辆检测领域，更具体地，涉及一种基于无人机的道路交叉口车辆检测方法。
技术介绍
随着汽车保有量的日益增长，道路上的车辆数量迅速增加，交通压力倍增。平面交叉口是道路交通的枢纽，城市的交通问题往往突出地表现在交叉口上，因此了解平面交叉口的车流量是十分重要的。道路交叉口车流量调查的目的是通过长期连续性观测或短期间隙性和临时性观测，搜集交通量资料，获得有关交通量的实况、通行能力、流向分布、交通量变化及高峰小时交通量和交通组成等方面的资料，了解交通量在时间、空间上的变化和分布规律，为交通规划、道路建设、交通控制与管理、工程经济分析等提供必要的数据，以便对交叉口的运行效能做出准确的评价，提出交通管理、控制措施或改建、扩建方案。目前常见的交叉口车流量调查方法有：人工计数法、机械计数法、录像法和航摄法。这些常见的方法存在适用性差、费用高等问题，近年来，随着视频处理技术与无人机的发展，越来越多的道路交通调查采用多旋翼无人机进行，特别是道路交叉口的车流量调查。要想通过视频完成交通调查。其中车辆检测是关键，后续的跟踪和流量统计都是建立在高精度的车辆检测基础上的。常用的车辆检测算法分为两类，一类是将运动前景和背景分离的方法，获取车辆前景区域，如背景差法和帧差法，这种方法依赖于高质量的背景图像和车辆的速度等运动特征。由于无人机存在轻微的抖动、旋转等现象，导致各视频帧的拍摄范围和角度存在一定差别，很难直接从视频得到高质量的背景图像；同时交叉口附近的车辆存在大量的等红灯、转向等运动，或者车身颜色与路面很相近，导致车辆检测的精度不高。第二种是采用机器学习方法，根据车辆的颜色、角点和尺度特征，对车辆样本和非车辆样本进行计算和学习，如基于HOG特征方法、基于HAAR特征方法等，然后直接对视频帧上的车辆进行识别。这种方法需要大量的训练才能达到高精度，对车辆周围环境也很敏感，而各个交叉口的环境恰恰各不相同，使这类算法很难用于车辆检测。
技术实现思路
本专利技术为克服目前道路交叉口车辆检测方法存在的适用性差、精度低等问题，针对道路交叉口附近车辆的运动特征以及车辆检测的普适性、高精度等实际要求，提出了一种基于无人机的道路交叉口车辆检测方法。为实现以上专利技术目的，采用的技术方案是：一种基于无人机的道路交叉口车辆检测方法，包括有以下步骤：(1)将无人机悬停在道路交叉口中心的上方，对交叉口行车区域进行垂直拍摄，获得交叉口行车区域的视频；(2)对获得的视频进行稳像处理，去除视频各帧视频帧中的非正常偏移；(3)对于视频中的各帧视频帧，执行以下步骤对其中的交叉口行车区域中的车辆进行检测：S1.提取视频帧的背景图像；S2.识别道路交叉口的行车区域；S3.通过背景差分法获取交叉口行车区域的前景图像；S4.排除交叉口行车区域前景图像中的非车辆目标；S5.得到道路交叉口行车区域中车辆的影像。与现有技术相比，本专利技术的有益效果是：本专利技术通过无人机在道路交叉口上方采集得到的视频来对道路交叉口的车辆进行检测，不需要大量的人力和高成本，只需要设计合适的算法能在无人机拍摄的到的视频中提取出车辆的前景影像，实现车辆检测。本专利技术有效降低检测成本和操作复杂度，是一种便捷、适用性强的检测方法。附图说明图1为方法的流程示意图。图2为方法的具体实施示意图。图3为经历过稳像处理的视频图像的示意图。图4为使用背景差法进行前景提取和车辆识别的示意图。图5为对前景图像进行去噪处理，以及根据车辆图斑大小阈值进行筛选，得到的车辆识别结果图。图6为实际被检测出车辆的示意图。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；以下结合附图和实施例对本专利技术做进一步的阐述。实施例1如图1所示，本专利技术涉及一种基于无人机的道路交叉口车辆检测方法，包括有以下步骤：(1)将无人机悬停在道路交叉口中心的上方，对交叉口行车区域进行垂直拍摄，获得交叉口行车区域的视频；(2)对获得的视频进行稳像处理，去除视频各帧视频帧中的非正常偏移；(3)对于视频中的各帧视频帧，执行以下步骤对其中的交叉口行车区域中的车辆进行检测：S1.提取视频帧的背景图像；S2.识别道路交叉口的行车区域；S3.通过背景差分法获取交叉口行车区域的前景图像；S4.排除交叉口行车区域前景图像中的非车辆目标；S5.得到道路交叉口行车区域中车辆的影像。实施例2本实施例提供了一种基于无人机的道路交叉口车辆检测方法，如图2所示，其包括有以下步骤：(1)利用无人机悬停在道路交叉口的中心上方，对交叉口范围进行垂直拍摄，获取交叉口车辆等运动目标的视频。如上所述的无人机的拍摄高度应在能够拍到清晰路面信息的范围内，以便于得到清晰的交叉口信息，从而提取出道路交叉口车流量信息。(2)利用SUSAN快速角点检测算法对视频各帧视频帧中的特征点进行检测，然后利用光流法基于检测到的特征点进行运动矢量的计算，利用得到的相邻邻视频帧的偏移量x,y对相邻的视频帧进行运动补偿，获得稳定的输出序列。采用光流法消除视频的旋转、平移等现象，实现视频稳像。其中，所述利用SUSAN快速角点检测算法对视频各帧视频帧中的特征点进行检测的具体过程如下：S21.以核点像素(x,y)为中心做半径为r的圆，用圆形模板遍历图像；S22.使用相似比较函数计算模板中各像素点与核点像素的相似度：其中C(r,r0)为相似比较函数；I(r0)为核点像素的灰度值；I(r)为圆形模板区域内其他像素点的灰度值；t为SUSAN的阈值；S23.由相似比较函数的计算可以得到每个像素的USAN区域大小，其表达式为S24.以不同的核点像素为中心做半径为r的圆，对视频帧图像进行遍历，然后按照步骤S22～23的方式计算每个核点像素的USAN区域大小；S25.得到每个核点像素的USAN区域大小后，再由角点响应函数产生候选角点，最后使用非极大值抑制得到特征点：式中，g为几何阈值，而光流法计算运动矢量并进行运动补偿的具体过程如下：S12.对于视频中相邻的视频帧，以前一帧作为参考帧，后一帧为当前帧，建立光流约束方程：Ixu+Ixv+It＝0式中，u,v为x,y方向的2个速度分量，Ix,Iy,It为灰度对于x方向、y方向和时间的偏导，S13.根据L－K局部平滑假设的条件可知在小范围内光流是一致的，从而得到光流的能量函数为:Ω为光流一致的邻域范围；W(x)为该邻域范围内不同特征点的权值，令V＝(u,v)T，通过最小二乘法求得方程解如下:V＝[ATW2A]-1ATW2b公式中，W＝diag[W(X1),…W(Xn)]，b＝-[It(X1),…It(Xn)]T；对求解到的u,v去模，即可得到特征点在相邻视频帧的偏移量x,y；S14.利用得到的相邻邻视频帧的偏移量x,y对相邻的视频帧进行运动补偿，获得稳定的输出序列。视频拍摄期间无人机存在旋转抖动等现象。如图3所示，由于进行了稳像处理，那些没有像素值的区域全部补0，所以图像周围存在一定的黑边现象，但不影响后续车辆识别。(3)进行背景建模，利用建立的高斯混合模型提取视频帧的背景图像。所述高斯混合模型中，视频帧中的每一个像素点按不同的权值的多个高斯分布的叠加来建模，每种高斯分布对应像素点一个可能产生的颜色状态，对于随机变量X的观测数据集{x1,x2,…,x本文档来自技高网...

【技术保护点】
一种基于无人机的道路交叉口车辆检测方法，其特征在于：包括有以下步骤：(1)将无人机悬停在道路交叉口中心的上方，对交叉口行车区域进行垂直拍摄，获得交叉口行车区域的视频；(2)对获得的视频进行稳像处理，去除视频各帧视频帧中的非正常偏移；(3)对于视频中的各帧视频帧，执行以下步骤对其中的交叉口行车区域中的车辆进行检测：S1.提取视频帧的背景图像；S2.识别道路交叉口的行车区域；S3.通过背景差分法获取交叉口行车区域的前景图像；S4.排除交叉口行车区域前景图像中的非车辆目标；S5.得到道路交叉口行车区域中车辆的影像。

【技术特征摘要】
1.一种基于无人机的道路交叉口车辆检测方法，其特征在于：包括有以下步骤：(1)将无人机悬停在道路交叉口中心的上方，对交叉口行车区域进行垂直拍摄，获得交叉口行车区域的视频；(2)对获得的视频进行稳像处理，去除视频各帧视频帧中的非正常偏移；(3)对于视频中的各帧视频帧，执行以下步骤对其中的交叉口行车区域中的车辆进行检测：S1.提取视频帧的背景图像；S2.识别道路交叉口的行车区域；S3.通过背景差分法获取交叉口行车区域的前景图像；S4.排除交叉口行车区域前景图像中的非车辆目标；S5.得到道路交叉口行车区域中车辆的影像。2.根据权利要求1所述的基于无人机的道路交叉口车辆检测方法，其特征在于：所述步骤(2)对获得的视频进行稳像处理的具体过程如下：S11.利用SUSAN快速角点检测算法对视频各帧视频帧中的特征点进行检测；S12.对于视频中相邻的视频帧，以前一帧作为参考帧，后一帧为当前帧，建立光流约束方程：Ixu+Ixv+It＝0式中，u,v为x,y方向的2个速度分量，Ix,Iy,It为灰度对于x方向、y方向和时间的偏导，S13.根据L－K局部平滑假设的条件可知在小范围内光流是一致的，从而得到光流的能量函数为:Ω为光流一致的邻域范围；W(x)为该邻域范围内不同特征点的权值，令V＝(u,v)T，通过最小二乘法求得方程解如下:V＝[ATW2A]-1ATW2b公式中，W＝diag[W(X1),…W(Xn)]，b＝-[It(X1),…It(Xn)]T；对求解到的u,v去模，即可得到特征点在相邻视频帧的偏移量x,y；S14.利用得到的相邻邻视频帧的偏移量x,y对相邻的视频帧进行运动补偿，获得稳定的输出序列。3.根据权利要求1所述的基于无人机的道路交叉口车辆检测方法，其特征在于：所述利用SUSAN快速角点检测算法对视频各帧视频帧中的特征点进行检测的具体过程如下：S21.以核点像素(x,y)为中心做半径为r的圆，用圆形模板遍历图像；S22.使用相似比较函数计算模板中各像素点与核点像素的相似度：其中C(r,r0)为相似比较函数；I(r0)为核点像素的灰度值；I(r)为圆形模板区域内其他像素点的灰度值；t为SUSAN的阈值；S23.由相似比较函数的计算可以得到每个像素的USAN区域大小，其表达式为S24.以不同的核点像素为中心做半径为r的圆，对视频帧图像进行遍历，然后按照步骤S22～23的方式计算每个核点像素的USAN区域大小；S25.得到每个核点像素的USAN区域大小后，再由角点响应函数产生候选角点，最后使用非极大值抑制得到特征点：式中，g为几何阈值，4.根据权利要求1所述的基于无人机的道路交叉口车辆检测方法，其特征在于：所述步骤S1通过高斯混合模型提取出视频帧的背景图像。5.根据权利要求4所述的基于无人机的道路交叉口车辆检测方法，其特征在于：所述高斯混合模型中，视频帧中的每一个像素点按不...

【专利技术属性】
技术研发人员：胡继华，陈静萍，靖泽昊，程智锋，钟洪桢，伍丽华，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44