本发明专利技术基于航拍视频图像的运动车辆检测方法，涉及图像数据处理中的图像运动分析，步骤是：对输入运动车辆彩色序列图像匹配，进一步得到背景补偿后的图像：包括基于SURF特征点的图像匹配和估计摄像机的全局运动参数得到背景补偿后的图像；运动车辆位置的粗检测；运动车辆位置的精确检测：包括自适应道路检测、提取候选车辆区域的CHLBP特征和利用SVM分类器对CHLBP特征进行判断获取运动车辆位置的精确检测。该方法融合时间和空间特性，克服了现有技术存在只适用于简单的单一场景运动车辆检测，难以适用于不同场景下的多运动车辆检测，检测的准确率容易受到尺度变化、复杂环境和摄像头运动的影响的缺陷。
【技术实现步骤摘要】
本专利技术的技术方案涉及图像数据处理中的图像运动分析，具体地说是基于航拍视频图像的运动车辆检测方法。
技术介绍
随着计算机和信息技术的迅猛发展和普及应用，智能交通系统ITS应运而生，它是解决当下交通问题的重要途径，更是未来智能交通事业发展的主要方向。运动车辆检测是智能交通系统的基本技术之一，是车辆计数、车速度、车流量和车密度这些交通流参数测量的基础。在运动车辆检测中，只有从图像背景中准确地分割出车辆，才能进行运动车辆的识别与跟踪，进而进行各种交通流参数的测量与分析。航拍是一种非接触式的，远距离的探测技术，随着科学技术和社会经济的不断发展，航拍技术也逐渐被用于道路上运动车辆的检测。航拍视频中的运动车辆检测技术的研发已成为计算机视觉、模式识别和图像处理领域备受关注的前沿课题。基于固定摄像头的运动车辆检测算法，比如背景差分法、帧差法和光流法，这些检测算法不能直接用于摄像头运动的航拍视频检测场景中，主要原因是由于摄像头的运动使得图像背景变得复杂多变，从而不能精确地检测出运动车辆。美国佛罗里达大学在2005年研发了COCOA系统，该系统是针对无人机航拍图像进行地面目标检测与跟踪，通过图像配准的方式消除运动背景，然后利用帧差和背景建模的方式检测运动车辆。由于该系统是基于Harris角点做的图像估计，所以针对于图像尺度变化的情况，检测精度不高；新加坡南洋理工大学的AryoWimanNurIbrahim提出了MODAT(MovingObjectsDetectionandTracking)系统，该系统利用SIFT特征替代Harris角点特征完成图像匹配，具有尺度不变性，但是此算法只适用于简单场景的图像，不具有普适性。CN100545867C公开了航拍交通视频车辆快速检测方法，此方法利用全局运动估计方法分割出背景区域与前景区域，然后结合分水岭分割技术得出运动车辆，其存在使用二参数模型只模拟了航拍器的平移运动，会造成错误的全局运动估计，尤其会在复杂场景中引起较大的噪声干扰导致检测到错误的运动车辆的缺陷。综上所述，基于航拍视频的运动车辆检测方法的现有技术存在只适用于简单的单一场景运动车辆检测，难以适用于不同场景下的多运动车辆检测，检测的准确率容易受到尺度变化、复杂环境和摄像头运动的影响的缺陷，因此，研发适应不同场景的基于航拍视频的运动车辆检测方法具有很高的实用价值。
技术实现思路
本专利技术所要解决的技术问题是：提供基于航拍视频图像的运动车辆检测方法，该方法融合时间和空间特性，适应对不同场景的运动车辆进行精确检测，克服了现有技术存在只适用于简单的单一场景运动车辆检测，难以适用于不同场景下的多运动车辆检测，检测的准确率容易受到尺度变化、复杂环境和摄像头运动的影响的缺陷。本专利技术解决该技术问题所采用的技术方案是：基于航拍视频图像的运动车辆检测方法，该方法融合时间和空间特性，适应对不同场景的运动车辆进行精确检测，具体步骤如下：第一步，对输入运动车辆彩色序列图像匹配，进一步得到背景补偿后的图像：(1.1)基于SURF特征点的图像匹配：分别用简单航拍场景采集简单航拍场景运动车辆彩色序列图像和复杂航拍场景采集复杂航拍场景运动车辆彩色序列图像，将采集到的所有运动车辆彩色序列图像F输入计算机中，并由RGB空间转化到灰度空间，采用的公式(1)如下：I＝0.299R+0.587G+0.114B(1)，在获得的灰度序列图像I上进行SURF特征点检测，然后在相邻的两帧灰度图像之间进行基于SURF特征点的图像匹配，得到匹配特征点对，用于下面进行摄相机的全局运动参数的估计；(1.2)估计摄像机的全局运动参数，得到背景补偿后的图像：摄像机的运动状态主要包括平移、旋转和缩放，采用六参数仿射模型近似表示，以估计全局运动参数，估计的过程如公式(2)所示：其中(a1,a2,a3,a4)表示摄像机的旋转和缩放运动，(t1,t2)表示摄像机的平移运动，分别为第k-1帧和第k帧的第i个特征点对(pi,qi)的坐标，i＝1,…,N，利用公式(3)计算得到第i个特征点对(pi,qi)对应的摄像机的全局运动参数H，其中，T为转置，且有，根据相邻两帧灰度图像的N个特征点对，则有：F＝AH(5)，其中F＝(q1,q2,...,qN)T，将上述(1.1)步匹配得到的特征点对代入公式(5)，利用最小二乘法计算得到全局运动参数，并且根据公式(2)得到第k-1帧背景补偿后的灰度图像和第k+1帧背景补偿后的灰度图像第二步，运动车辆位置的粗检测：采用对“鬼影”现象不敏感的三帧差分法进行运动车辆的粗检测，三帧差分法的过程如下：其中，和分别为上述第一步中得到的第k-1帧背景补偿后的灰度图像的灰度值和k+1帧帧背景补偿后的灰度图像的灰度值，Ik(x,y)代表上述第一步中得到的第k帧灰度图像Ik的灰度值，D1(x,y)、D2(x,y)代表差分的结果，对差分结果二值化并进行“与”运算，得到粗略检测的运动车辆的候选区域，如公式(7)、(8)和(9)所示，R(x,y)＝R1(x,y)∧R2(x,y)(9)，其中，R1(x,y)，R2(x,y)代表二值化结果，T为阈值，∧表示“与”运算，R(x,y)值为1的区域为粗略检测的运动车辆的候选区域；第三步，运动车辆位置的精确检测：在上述第二步运动车辆的粗检测的基础上，首先采用自适应的方法检测道路，得到感兴趣区域，然后对位于感兴趣区域的候选运动车辆进行验证，得到运动车辆位置的的精确检测，具体过程如下：(3.1)自适应道路检测：将上述第一步中航拍采集到的运动车辆彩色序列图像F由RGB空间转换为HSV空间，其中H代表色调，S代表饱和度，V代表明暗程度，将S分量图提取出来，利用大津算法计算出S分量的每一帧图像的阈值，根据该自适应的阈值将S分量图转换为二值图像，从而分割出道路区域，分别采用第一步中的简单航拍场景采集简单航拍场景运动车辆彩色序列图像和复杂航拍场景采集复杂航拍场景运动车辆彩色序列图像两种实验数据进行实验，分别得到两种航拍场景下的自适应道路检测结果，即道路区域图；(3.2)提取候选车辆区域的CHLBP特征：将上述步骤(3.1)得到的道路区域外的图像区域判定为非车辆候选区域，并在上述第二步得到的粗略检测的运动车辆的候选区域中去除这些非车辆候选区域，得到位于道路区域的候选车辆区域U，然后对这些区域进行CHLBP特征提取，得到CHLBP特征直方图；(3.3)利用SVM分类器对CHLBP特征进行判断获取运动车辆位置的精确检测：利用SVM分类器对上述步(3.2)得到的CHLBP特征直方图进行训练并分类，判断是否为车辆，具体过程是：首先在离线情况下，利用SVM分类器进行训练，正样本为航拍场景下的车辆，负样本为除车辆外随机选取的背景，对正负样本提取CHLBP特征，然后将特征数据输入到SVM分类器中训练，构造SVM分类器，再对经过道路区域得到的候选车辆区域进行CHLBP特征提取，利用构造好的SVM分类器进行验证，当判断为正样本时则为车辆，当判断为负样本时则定为非车辆；至此完成运动车辆位置的精确检测。上述基于航拍视频图像的运动车辆检测方法，所述CHLBP特征提取，是基于七组编码模板M1-M7得到的，如公式(10)所示：用上述公式(10)中七个模板分别对上述(3.2)步中得到的位本文档来自技高网...
【技术保护点】
基于航拍视频图像的运动车辆检测方法，该方法融合时间和空间特性，适应对不同场景的运动车辆进行精确检测，具体步骤如下：第一步，对输入运动车辆彩色序列图像匹配，进一步得到背景补偿后的图像：(1.1)基于SURF特征点的图像匹配：分别用简单航拍场景采集简单航拍场景运动车辆彩色序列图像和复杂航拍场景采集复杂航拍场景运动车辆彩色序列图像，将采集到的所有运动车辆彩色序列图像F输入计算机中，并由RGB空间转化到灰度空间，采用的公式(1)如下：I＝0.299R+0.587G+0.114B (1)，在获得的灰度序列图像I上进行SURF特征点检测，然后在相邻的两帧灰度图像之间进行基于SURF特征点的图像匹配，得到匹配特征点对，用于下面进行摄相机的全局运动参数的估计；(1.2)估计摄像机的全局运动参数，得到背景补偿后的图像：摄像机的运动状态主要包括平移、旋转和缩放，采用六参数仿射模型近似表示，以估计全局运动参数，估计的过程如公式(2)所示：xikyik=a1xik-1+a2yik-1+t1a3xik-1+a4yik-1+t2---(2),]]>其中(a1,a2,a3,a4)表示摄像机的旋转和缩放运动，(t1,t2)表示摄像机的平移运动，分别为第k‑1帧和第k帧的第i个特征点对(pi,qi)的坐标，i＝1,…,N，利用公式(3)计算得到第i个特征点对(pi,qi)对应的摄像机的全局运动参数H，qiT=AiH---(3),]]>其中，T为转置，且有，Ai=xik-1yik-1001000xik-1yik-101,H=(a1,a2,a3,a4,t1,t2)T---(4),]]>根据相邻两帧灰度图像的N个特征点对，则有：F＝AH (5)，其中F＝(q1,q2,...,qN)T，将上述(1.1)步匹配得到的特征点对代入公式(5)，利用最小二乘法计算得到全局运动参数，并且根据公式(2)得到第k‑1帧背景补偿后的灰度图像和第k+1帧背景补偿后的灰度图像第二步，运动车辆位置的粗检测：采用对“鬼影”现象不敏感的三帧差分法进行运动车辆的粗检测，三帧差分法的过程如下：D1(x,y)=|Ik(x,y)-I^k-1(x,y)|D2(x,y)=|I^k+1(x,y)-Ik(x,y)|---(6),]]>其中，和分别为上述第一步中得到的第k‑1帧背景补偿后的灰度图像的灰度值和k+1帧帧背景补偿后的灰度图像的灰度值，Ik(x,y)代表上述第一步中得到的第k帧灰度图像Ik的灰度值，D1(x,y)、D2(x,y)代表差分的结果，对差分结果二值化并进行“与”运算，得到粗略检测的运动车辆的候选区域和运动车辆位置R(x,y)，如公式(7)、(8)和(9)所示，R(x,y)＝R1(x,y)∧R2(x,y) (9)，其中，R1(x,y)，R2(x,y)代表二值化结果，T为阈值，∧表示“与”运算，R(x,y)值为1的区域为粗略检测的运动车辆的候选区域；第三步，运动车辆位置的精确检测：在上述第二步运动车辆位置的粗检测的基础上，首先采用自适应的方法检测道路，得到感兴趣区域，然后对位于感兴趣区域的候选运动车辆进行验证，得到运动车辆位置的的精确检测，具体过程如下：(3.1)自适应道路检测：将上述第一步中航拍采集到的运动车辆彩色序列图像F由RGB空间转换为HSV空间，其中H代表色调，S代表饱和度，V代表明暗程度，将S分量图提取出来，利用大津算法计算出S分量的每一帧图像的阈值，根据该自适应的阈值将S分量图转换为二值图像，从而分割出道路区域，分别采用第一步中的简单航拍场景采集简单航拍场景运动车辆彩色序列图像和复杂航拍场景采集复杂航拍场景运动车辆彩色序列图像两种实验数据进行实验，分别得到两种航拍场景下的自适应道路检测结果，即道路区域图；(3.2)提取候选车辆区域的CHLBP特征：将上述步骤(3.1)得到的道路区域外的图像区域判定为非车辆候选区域，并在上述第二步得到的粗略检测的运动车辆的候选区域中去除这些非车辆候选区域，得到位于道路区域的候选车辆区域U，然后对这些区域进行CHLBP特征提取，得到CHLBP特征直方图；(3.3)利用SVM分类器对CHLBP特征进行判断获取运动车辆位置的的精确检测：利用SVM分类器对上述步(3.2)得到的CHLBP特征直方图进行训练并分类，判断是否为车辆，具体过程是：首先在离线情况下，利用SVM分类器进行训练，正样本为航拍场景下的车辆，负样本为除车辆外随机选取的背景，对正负样本提取CHLBP特征，然后将特征数据输入到SVM分类器中训练，构造SVM分类器，再对经过道路区域得到的候选车辆区域进行CHLBP特征提取，利用构造好的SVM分类器进行验证，当判断为正样本时则为车辆，当判断为负样本时则定为非车辆；至此完成运动车辆位置的精确检测。...
【技术特征摘要】
1.基于航拍视频图像的运动车辆检测方法，该方法融合时间和空间特性，适应对不同场景的运动车辆进行精确检测，具体步骤如下：第一步，对输入运动车辆彩色序列图像匹配，进一步得到背景补偿后的图像：(1.1)基于SURF特征点的图像匹配：分别用简单航拍场景采集简单航拍场景运动车辆彩色序列图像和复杂航拍场景采集复杂航拍场景运动车辆彩色序列图像，将采集到的所有运动车辆彩色序列图像F输入计算机中，并由RGB空间转化到灰度空间，采用的公式(1)如下：I＝0.299R+0.587G+0.114B(1)，在获得的灰度序列图像I上进行SURF特征点检测，然后在相邻的两帧灰度图像之间进行基于SURF特征点的图像匹配，得到匹配特征点对，用于下面进行摄相机的全局运动参数的估计；(1.2)估计摄像机的全局运动参数，得到背景补偿后的图像：摄像机的运动状态主要包括平移、旋转和缩放，采用六参数仿射模型近似表示，以估计全局运动参数，估计的过程如公式(2)所示：xikyik=a1xik-1+a2yik-1+t1a3xik-1+a4yik-1+t2---(2),]]>其中(a1,a2,a3,a4)表示摄像机的旋转和缩放运动，(t1,t2)表示摄像机的平移运动，分别为第k-1帧和第k帧的第i个特征点对(pi,qi)的坐标，i＝1,…,N，利用公式(3)计算得到第i个特征点对(pi,qi)对应的摄像机的全局运动参数H，qiT=AiH---(3),]]>其中，T为转置，且有，Ai=xik-1yik-1001000xik-1yik-101,H=(a1,a2,a3,a4,t1,t2)T---(4),]]>根据相邻两帧灰度图像的N个特征点对，则有：F＝AH(5)，其中F＝(q1,q2,...,qN)T，将上述(1.1)步匹配得到的特征点对代入公式(5)，利用最小二乘法计算得到全局运动参数，并且根据公式(2)得到第k-1帧背景补偿后的灰度图像和第k+1帧背景补偿后的灰度图像第二步，运动车辆位置的粗检测：采用对“鬼影”现象不敏感的三帧差分法进行运动车辆的粗检测，三帧差分法的过程如下：D1(x,y)=|Ik(x,y)-I^k-1(x,y)|D2(x,y)=|I^k+1(x,y)-Ik(x,y)|---(6),]]>其中，和分别为上述第一步中得到的第k-1帧背景补偿后的灰度图像的灰度值和k+1帧帧背景补偿后的灰度图像的灰度值，Ik(x,y)代表上述第一步中得到的第k帧灰度图像Ik的灰度值，D1(x,y)、D2(x,y)代表差分的结果，对差分结果二值化并进行“与”运算，得到粗略检测的运动车辆的候选区域和运动车辆位置R(x,y)，如公式(7)、(8)和(9)所示，R(x,y)＝R1(x,y)∧R2(x,y)(9)，其中，R1(x,y)，R2(x,y)代表二值化结果，T为阈值，∧表示“与”运算，R(x,y)值为1的区域为粗略检测的运动车辆的候选区域；第三步，运动车辆位置的精确检测：在上述第二步运动车辆位置的粗检测的基础上，首先采用自适应的方法检测道路，得到感兴趣区域，然后对位于感兴趣区域的候选运动车辆进行验证，得到运动车辆位置的的精确检测，具体过程如下：(3.1)自适应道路检测：将上述第一步中航拍采集到的运动车辆彩色序列图像F由RGB空间转换为HSV空间，其中H代表色调，S代表饱和度，V代...
【专利技术属性】
技术研发人员：于明，刘双岭，于洋，师硕，郭迎春，刘依，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：天津;12
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。