一种基于双目视觉的车载视频异常运动检测方法技术

本发明专利技术公开一种基于双目视觉的车载视频异常运动检测方法,根据双目图像中特征点的真实距离，将特征点划分为多层，并基于每层特征点运动模型的不同，进一步将每层特征点分为不同集合，对每个运动模型对应的特征点集合进行聚类，从而得到一系列待检测的异常运动区域，根据每个区域的异常运动参数：光流幅值、光流方向、真实距离以及所属车道线，通过建立的异常运动检测模型，计算每个待检测区域的异常性值，从而得到图像中的异常运动区域。本发明专利技术提供的基于双目视觉的车载视频异常运动检测方法能有效地检测出车载视频中的异常运动区域，以及该异常运动区域对自车的威胁大小。

A vehicle video abnormal motion detection method based on binocular vision

The invention discloses a vehicle mounted video abnormal motion detection method based on binocular vision, binocular image according to the real distance feature point, the feature points are divided into layers, and each layer based on motion feature points of different model, each layer will be further divided into different sets of feature points and feature points for each set of corresponding motion model for clustering, to obtain a series of detecting the abnormal movement of the region, according to the abnormal motion parameters of each region: optical flow amplitude, optical flow direction, and the real distance lane, through the establishment of abnormal motion detection model, the calculation of each region to be detected abnormal values, resulting in abnormal motion area in the image. The vehicle borne video abnormal motion detection method based on binocular vision can effectively detect the abnormal motion area in the vehicle video and the threat area of the abnormal motion area to the vehicle.

【技术实现步骤摘要】
一种基于双目视觉的车载视频异常运动检测方法
本专利技术涉及图像处理和计算机视觉领域，尤其涉及一种基于双目视觉的车载视频异常运动检测方法。
技术介绍
随着汽车工业的迅速发展和汽车数量的不断增加，伴随着越来越极端和频繁发生的交通事故，造成巨大的人员伤亡和财产损失。作为减少交通事故、降低事故损失的一种有效手段，汽车安全辅助驾驶技术成为交通工程领域的研究前沿。在汽车辅助驾驶系统的运动目标检测技术研究中，行人和车辆的识别及跟踪已取得了丰硕的研究成果。然而，这些方法的基本思路都是需要先进行目标的分类和识别，再进行目标的跟踪。但是，受车辆的形状、大小，以及行人姿势变化等因素的影响，运动目标的检测非常困难，这也限制了汽车安全辅助驾驶系统的作用。同时，在实际的驾驶场景中，驾驶员真正关注的是交通环境中所存在的异常运动目标，而无需识别异常运动目标的是行人、车辆或者其他物体。因此，如果从异常运动检测的角度入手，对交通环境中的异常运动目标建立异常性模型，对这些运动目标进行碰撞可能性量化，及时为驾驶员提供必要的碰撞预警信息，将会大大提高汽车安全辅助驾驶系统的性能，提高驾驶安全性，降低交通事故的发生。因此，当前需本文档来自技高网...

【技术保护点】
一种基于双目视觉的车载视频异常运动检测方法，其特征在于，包括以下步骤：1)按照一定步长在当前帧的左视图中提取像素点，作为原左视图的特征点，结合前一帧图像计算特征点的光流信息，获得特征点对集合，并在当前帧的左视图中检测车道线；2)通过当前帧的左视图和右视图计算视差矩阵，基于双目视觉成像原理得到视差值和真实距离的关系，计算每个特征点在相机坐标系中的真实距离，并由近及远将特征点划分为多层；3)根据得到的多层特征点集合，分别对每一层对应的特征点对进行多次仿射变换建模，将其划分为多个集合，每个集合中的特征点符合同一种运动模型；4)根据得到的符合不同运动模型的多个特征点集合，分别对每个运动模型对应的特征点...

【技术特征摘要】
1.一种基于双目视觉的车载视频异常运动检测方法，其特征在于，包括以下步骤：1)按照一定步长在当前帧的左视图中提取像素点，作为原左视图的特征点，结合前一帧图像计算特征点的光流信息，获得特征点对集合，并在当前帧的左视图中检测车道线；2)通过当前帧的左视图和右视图计算视差矩阵，基于双目视觉成像原理得到视差值和真实距离的关系，计算每个特征点在相机坐标系中的真实距离，并由近及远将特征点划分为多层；3)根据得到的多层特征点集合，分别对每一层对应的特征点对进行多次仿射变换建模，将其划分为多个集合，每个集合中的特征点符合同一种运动模型；4)根据得到的符合不同运动模型的多个特征点集合，分别对每个运动模型对应的特征点集合，采用基于密度的聚类算法进行聚类，从而得到各待检测区域的位置和大小；5)根据得到的各待检测区域的位置和大小，结合视差矩阵、光流信息和车道线信息，计算各待检测区域的光流幅值、光流方向、真实距离和所属车道；6)建立异常运动检测模型，根据得到的各待检测区域的信息，计算该区域的异常性值，完成异常运动区域的检测。2.根据权利要求1所述的一种基于双目视觉的车载视频异常运动检测方法，其特征在于，步骤1)具体为：1.1)计算相邻两帧图像中特征点的光流信息，需要通过计算一次正向和一次反向光流来筛选特征点，两次光流信息的误差小于设定阈值的特征点才会保留；1.2)在当前帧的左视图中检测车道线：基于霍夫变换检测出线段，筛选出线段斜率在设定范围内的线段集合，进一步从线段集合中，找出线段起点最靠近图像的垂直中线且线段终点不超过图像的垂直中线的线段，作为左车道线；找出线段起点最靠近图像的垂直中线且不超过垂直中线的线段，作为右车道线。如果在当前帧图像中没有检测到车道线，则使用上一帧图像的车道线信息。3.根据权利要求1所述的一种基于双目视觉的车载视频异常运动检测方法，其特征在于，步骤3)具体为：3.1)第1次将该层上所有的特征点用于建立仿射变换模型，满足该仿射变换模型的特征点叫内点，不满足该仿射变换模型的特征点叫外点；3.2)之后进行M-1次仿射变换建模，每次建模的特征点对都是上一次仿射变换建模后的外点。从而将每层上的特征点划分为多个集合，每个集合中的特征点符合同一种运动模型。4.根据权利要求1所述的一种基于双目视觉的车载视频异常运动检测方法，其特征在于，步骤5)具体为：5.1)根据聚类算法得到的区域位置和大小，统计该区域内所有特征点的光流方向直方图和光流幅值直方图，选择统计值最大的光流方向和光流幅值作为该区域的光流方向和光流幅值；5.2)统计该区域内视差值大于0的像素点的视差值，计算平均视差，利用视差值和真实距离的关系，计算该区域的真实距离；5.3)将图像根据车道线划分为左车道区域、右车道区域、同车道区域，然后利用车道线与待检测区域几何中心的几何关系计算该待检测区域所属的车道。5.根据权利要求1所述的一种基于双目视觉的车载视频异常运动检测方法，其特征在于，步骤6)具体为：6.1)根据该帧图像中所有待检测区域的最大光流幅值和最小光流幅值，归一化每一个待检测区域光流幅值，将其作为该区域的初始异常值；6.2)将该区域的真实距离通过高斯分布模型转换到[0,1]，并通过指数型广义加权算子进行加强或者抑制，将最终的距离权值作为真实距离对异常值的影响权值；6.3)根据待检测区域所属的车道，通过不同的光流方向的权值计算公式计算待检测区域的光流方向权值；6.4)结合待检测区域的初始异常值、距离权值和光流方向权值，计算得到该区域的异常性值。6.根据权利要求1所述的一种基于双目视觉的车载视频异常运动检测方法，其特征在于，步骤5)具体为：步骤5.1、统计该待检测区域内所有特征点的光流幅值直方图，将统计值最高的光流幅值作为该区域的光流幅值fi；步骤5.2、将360°等分为NBin个区间，统计该待检测区域内所有特征点的光流方向直方图，将统计值最高的光流方向作为该区域的光流方向Oi；步骤5.3、统计待检测区域Ri内所有视差值大于0的像素点的视差值之和与个数，计算其...

【专利技术属性】
技术研发人员：陈建平，付利华，李灿灿，崔鑫鑫，廖湖声，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11