运动背景下的基于车载鱼眼镜头的障碍物检测方法、系统技术方案

本发明专利技术提供了运动背景下的基于车载鱼眼镜头的障碍物检测方法、系统，其能够在车辆行驶时准确、高效地检测出车辆周围的移动物体，检测结果的可靠性好，方法包括以下步骤：步骤1：采集图像，提取特征点，对特征点进行光流计算和光流聚类，获取图像中的候选目标；步骤2：采集车辆信号，得到车辆在每一时刻的预测位置坐标，从而得到车的行驶位移；步骤3：将各个候选目标的特征点对应坐标的位移与车的行驶位移作比较，检测候选目标是否为障碍物目标；步骤4：跟踪障碍物目标，根据输入的每帧图像中障碍物目标的位置变化得到障碍物目标的运动轨迹；步骤5：输出障碍物目标在图像上的位置。

【技术实现步骤摘要】
运动背景下的基于车载鱼眼镜头的障碍物检测方法、系统
本专利技术涉及辅助驾驶和图像处理领域，特别涉及运动背景下的基于车载鱼眼镜头的障碍物检测方法、系统。
技术介绍
随着汽车产业的发展，汽车保有量迅速增长的同时，交通引发的安全问题日益突出，交通事故特别是恶性交通事故呈不断上升趋势，因此研究开发车辆辅助驾驶显得尤为迫切。迄今为止，尽管采用超声和雷达传感器进行倒车辅助的产品已经在市场上广泛销售，但利用视觉传感器进行车辆辅助的产品尚处于研究阶段，目前基于视觉的目标物检测算法主要有基于特征、基于立体视觉以及基于光流的检测算法。基于特征的目标物检测只适用于检测特定类型的目标物，不适合检测未知类型的目标物；基于立体视觉的目标物检测运算量大，通常需要专用的硬件，成本较高；基于光流的目标检测算法难以区别障碍物的点和到路面上的点，检测结果不准确，难以满足实时要求。
技术实现思路
针对上述问题，本专利技术提供了运动背景下的基于车载鱼眼镜头的障碍物检测方法、系统，其能够在车辆行驶时准确、高效地检测出车辆周围的移动物体，检测结果的可靠性好。...

【技术保护点】
1.运动背景下的基于车载鱼眼镜头的障碍物检测方法，其特征在于，包括以下步骤：/n步骤1：采集图像，提取特征点，对特征点进行光流计算和光流聚类，获取图像中的候选目标；/n步骤2：采集车辆信号，得到车辆在每一时刻的预测位置坐标，从而得到车的行驶位移；/n步骤3：将各个候选目标的特征点对应坐标的位移与车的行驶位移作比较，检测候选目标是否为障碍物目标；/n步骤4：跟踪障碍物目标，根据输入的每帧图像中障碍物目标的位置变化得到障碍物目标的运动轨迹；/n步骤5：输出障碍物目标在图像上的位置。/n

【技术特征摘要】
1.运动背景下的基于车载鱼眼镜头的障碍物检测方法，其特征在于，包括以下步骤：
步骤1：采集图像，提取特征点，对特征点进行光流计算和光流聚类，获取图像中的候选目标；
步骤2：采集车辆信号，得到车辆在每一时刻的预测位置坐标，从而得到车的行驶位移；
步骤3：将各个候选目标的特征点对应坐标的位移与车的行驶位移作比较，检测候选目标是否为障碍物目标；
步骤4：跟踪障碍物目标，根据输入的每帧图像中障碍物目标的位置变化得到障碍物目标的运动轨迹；
步骤5：输出障碍物目标在图像上的位置。


2.根据权利要求1所述的运动背景下的基于车载鱼眼镜头的障碍物检测方法，其特征在于，步骤1包括以下步骤：
步骤101：通过车载鱼眼相机实时采集车辆行车环境监测视频影像的图像帧数据，并对采集到的图像帧数据进行包含了转化成灰度图像并进行裁剪的预处理操作；
步骤102：对采集到的图像进行标定，建立图像坐标系和世界坐标系之间坐标转化关系；
步骤103：利用得到的标定结果在图像中划分出感兴趣区域；
步骤104：对采集的图像进行角点检测，计算出容易被跟踪的特征点。
步骤105：将计算出的特征点利用L-K光流法计算出每个特征点对应的光流；
步骤106：将得到的特征点的坐标和光流数作为聚类特征，使用MeanShift算法将光流进行聚类，得到候选目标。


3.根据权利要求2所述的运动背景下的基于车载鱼眼镜头的障碍物检测方法，其特征在于：在步骤102中，在建立图像坐标系和世界坐标系之间坐标转化关系时，根据相机成像模型，由图像中的坐标点在图像坐标系与世界坐标系中的对应关系，求解相机模型的内外参数；
在步骤103中，将感兴趣区域划分为四个区域：左侧区域、右侧区域、中间区域、近车区域，近车区域的长度取车前N1米，N1的取值范围为0.5米-2米，宽度与车身等宽，覆盖区域面积为车身宽度*N1平方米；中间区域的长度取近车区域前侧N2米，N2的取值范围为5米-10米，宽度与车身等宽，覆盖区域面积为车身宽度*N2平方米；左侧区域的宽度取中间区域左侧的N3米，N3的取值范围为2米-6米，长度与中间区域等长，覆盖区域面积为N2*N3平方米；右侧区域的宽度取中间区域右侧N4米，N4的取值范围为2米-6米，长度与中间区域等长，覆盖区域面积为N2*N4平方米；
在步骤104中，在角点检测的过程中，先计算出特征提取矩阵，公式如下：



其中，w(x，y)表示滑动窗口，Ix表示x方向的梯度，Iy表示y方向的梯度；矩阵M对应的特征方程为：
f(λ)＝λ2-(a+c)λ+ac-b2
采用如下方法提取特征点：取特征根的经验阈值λT带入特征方程，如果某个点对应的特征方程，满足以下两个不等式中的任意一个，则认为该点是特征点，两个不等式如下：






同时记录下该特征点的位置(x，y)，得到满足不等式的图像中所有特征点的位置集合；
在步骤105中，在步骤五中，L-K光流法计算中光流属于局部光流，根据光流的约束条件，假设图像上(x，y)点在t时刻对应的亮度值为I(x，y，t)，t+dt时刻对应的亮度值为I(x+dx，y+dy，t+dt)，则
I(x，y，t)＝I(x+dx，y+dy，t+dt)
将上述公式按照一阶泰勒公式展开，得到：



即：Ixdx+Iydy+Itdt＝0，令则：
Ixu+Iyv＝-It，即：
设定光流(u，v)在一个局部小的范围内，亮度是恒定的，则：

表示成：
由得到
最后推出每个特征点对应的光流的计算公式如下：



其中，
在步骤106中，采用meanshift聚类算法将特征点的位置、光流值和像素灰度值的大小作为聚类特征将光流进行聚类，表示为((x，y)，(u，v)，(r，g，b))，其中(x，y)表示该点在图像中的位置，(u，v)表示该点对应的光流大小，(r，g，b)表示该点对应的三个通道的灰度值，将位置相近、对应的光流值近似和像素值近似的特征点聚集成一类，采用meanshift聚类算法每次迭代后，新的圆心坐标公式为：



其中，x表示新的聚类中心，是以((x，y)，(u，v)，(r，g，b))为坐标的高维空间的点坐标，xi表示第i个特征向量，g为影子核，即核函数求导的负方向，h为高维球的半径；
通过聚类，得到候选目标，将每个候选目标在图像上对应的位置及属于该候选目标的光流保存下来，用矩形框(x，y，w，h)来表示目标的位置，其中(x，y)表示矩形框左上角点，w表示矩形框的宽度，h表示矩形框的高度。


4.根据权利要求3所述的运动背景下的基于车载鱼眼镜头的障碍物检测方法，其特征在于：在步骤105中，判断计算的光流是否正确，根据每个光流的位移和方向，把与大部分光流大小方向差异比较大的光流判断为错误的光流，保留正确的光流和其对应的特征点，丢弃错误的光流和特征点。


5.根据权利要求1所述的运动背景下的基于车载鱼眼镜头的障碍物检测方法，其特征在于：在步骤2中，车的行驶位移通过车辆中心点o的坐标值Xt和Yt的变化计算得到，坐标值Xt和Yt的计算公式如下：






其中，xt为后轴中心在x方向上的坐标值，yt为后轴中心在y方向上的坐标值，dor表示车辆后轴中心到车辆中心的距离，表示为车身姿态角，初始值为0，Δφ为姿态角增量，其中：



ΔSRL为左后轮的行驶距离，ΔSRR为右后轮的行驶距离，DRAxle为后轴轮距；
后轴中心在x方向上的坐标值xt的初始值为0，后轴中心在y方向初始值为-dor，则其坐标值为：
xt＝xt+Δx
yt＝yt+Δy
其中，Δx表示后轴中心在x方向的偏移量，Δy表示后轴中心在y方向上的偏移量，计算公式如下：






其中，ΔS表示车辆后轴中心的行驶距离，ΔS通过如下公式计算得到：



其中，ΔSRR为右后轮的行驶距离，ΔSRL左后轮的行驶距离；
ΔSRR通过如下公式计算得到：
ΔSRR＝ΔRRCounter*Cal-CoefS*VehGear
其中，ΔRRCounter为右后轮的轮速脉冲差值，Cal-CoefS为轮速计数值与行驶距离的换算系数，VehGear车辆行驶方向，前进挡为1，倒挡为-1；
ΔSRL通过如下公式计算得到：
ΔSRL＝ΔRLCounter*Cal-CoefS*VehGear
其中，ΔRLCounter为左后轮的轮速脉冲差值，Cal-CoefS为轮速计数值与行驶距离...

【专利技术属性】
技术研发人员：赵津津，刘春霞，李三宝，侯欢欢，杨波，
申请(专利权)人：北京茵沃汽车科技有限公司，
类型：发明
国别省市：北京;11