一种车辆周围运动物体和凸起障碍物的检测方法技术

本发明专利技术公开了一种基于车辆环视图的快速运动物体检测方法，其主要步骤包括：1)利用车载鱼眼相机和图像拼接算法得到车辆环视图像序列，并存于车载电子控制单元的缓存区中；2)将图像序列中连续两帧图像分别设为参考帧和当前帧，采用光流法计算出参考帧中像素点的运动矢量；3)利用车辆的can信息建立汽车运动模型，结合参考帧和当前帧图像，计算出参考帧中像素点的位移；4)通过比较光流法得到的像素点运动矢量，和运动模型得到的像素点位移，识别图像中的运动目标和凸起障碍物；5)利用卡尔曼滤波求出像素点最优运动矢量，将结果作为新的像素点坐标，继续计算和下一帧图像间的运动矢量。最后通过中央控制系统进行警报处理，提醒驾驶员注意车身周围环境，避免造成人为损失。

A method for detecting moving objects and protruding obstacles around vehicles

The present invention discloses a fast moving object detection method based on the vehicle ring view. The main steps include: 1) using the onboard fish eye camera and the image stitching algorithm to get the image sequence of the vehicle, coexist in the cache area of the vehicle electronic control unit; 2) the two frames of continuous frames in the image sequence are set as the reference frames, respectively. The current frame uses the optical flow method to calculate the motion vector of pixels in the reference frame; 3) the vehicle motion model is established by using the can information of the vehicle. The displacement of the pixel points in the reference frame is calculated with the reference frame and the current frame image. 4) the pixel point position obtained by comparing the light flow method and the pixel position obtained by the motion model. Move, identify the moving objects and bulge obstacles in the image; 5) the optimal motion vector of pixel point is obtained by Calman filter, and the result is used as the new pixel coordinates, and the motion vector between the next frame and the next frame is calculated. Finally, the central control system is used for alarm processing to remind drivers to pay attention to the surrounding environment and avoid loss of adults.

【技术实现步骤摘要】
一种车辆周围运动物体和凸起障碍物的检测方法
本专利技术涉及目标检测领域技术，特别是涉及动态背景下的运动目标检测方法。
技术介绍
汽车车身周边环境是否存在异常物体或突发情况，是驾驶员在驾驶过程中必须关注的重要环节，对车辆安全驾驶起着不可忽视的作用。汽车工业和信息技术的更新换代，为安全驾驶提供了越来越有力的技术支持。对于汽车车身周边环境的检测，目前采用较多的是雷达侦测和摄像头监测，与雷达侦测相比，采用摄像头监测的方法具有更加直观清晰的视觉效果，而在获得车载视频基础上开发的环境监测方法，包括运动物体检测和停车位自动识别等技术，已经大量运用于车辆制造行业。基于图像的运动目标检测是计算机图像处理技术中的关键应用技术，它是利用图像处理的手段，将视频序列中的前景目标从背景中分离出来，从而对序列中的运动目标进行检测，并在此基础上对检测到的有效目标进行进一步的分类和识别。随着科技的进步和计算机技术的发展，运动目标检测已经广泛应用于人工智能、视频监控、医学影像和军事制导等领域，具有广阔的发展前景和重要的使用价值。运动目标检测主要分为静态背景检测和动态背景检测：静态背景检测是指摄像头安装在某一固定位置且采集区域不发生变化，因此得到的图像中背景为静态背景，在此基础上对视野范围中的运动目标进行检测和识别，通常采用的方法主要分为三类：帧间差分法、背景相减法和光流法；动态背景检测是指摄像头在采集图像时因存在旋转、移动等状态变化，导致采集区域不断改变，得到的图像中背景时时变化，在此基础上对视野范围中的运动目标进行检测和识别。与静态背景检测相比，动态背景检测不仅受光照和噪音等影响，还因其背景不停改变，很大程度上会干扰图像中运动目标的分离和识别，导致检测精度降低，算法鲁棒性较差。因此，如何从动态背景中准确有效的将待识别的运动目标检测并分离出来，是本领域亟待解决的关键性问题。
技术实现思路
本专利技术的目的是提供一种基于车辆环视图的运动物体和凸起障碍物检测方法。利用车载鱼眼相机采集得到车辆环视图像序列，同时建立汽车运动模型，利用车辆环视图和运动模型对连续两帧图像中的运动物体和凸起障碍物进行检测，并及时通过中央控制系统进行警报处理，提醒驾驶员注意车身周围环境，避免造成人为损失。本专利技术所采用的技术方案是：一种基于车辆环视图的快速运动物体检测方法，其主要包括以下步骤：在车体的前后左右四个方位分别安装一个高清鱼眼相机，采集四个方向实时场景视频流；利用鱼眼相机采集得到一段时间内车体四个方向的实时场景图像序列，存于电子控制单元的缓存区中；通过图像拼接算法，利用四个方向的图像序列，拼接得到车辆环视图序列；提取环视图序列中当前帧图像和前一帧图像，设为当前帧和参考帧，并采用光流法计算出两帧图像间像素点的运动矢量；利用车辆的can信息建立汽车运动模型，结合参考帧和当前帧图像，计算出像素点的位移；通过比较光流法得到的像素点运动矢量，和运动模型得到的像素点位移，识别图像中的运动目标和凸起障碍物；利用卡尔曼滤波求出像素点最优运动矢量，将结果作为新的像素点坐标，继续计算和下一帧图像间的运动矢量。所述车体周围安装高清鱼眼相机，前后相机安装位置分别为车体前方牌照附近区域和后方牌照附近区域，相机与水平线夹角不超过60°；左右相机分别安装于车体左右后视镜正下方，相机与水平线夹角不超过45°。所述采集四个方向实时场景视频流，是指车辆在启动时，鱼眼相机即开始采集图像，将图像序列存储于车辆电子控制单元(ECU)缓存区中，采集频率为每秒30帧，覆盖时长为2秒。所述通过图像拼接算法和四个方向视频流得到车辆环视图的实时视频流，是指对每一时刻四个鱼眼相机同时采集到的图像进行拼接。通过计算四幅单视图像和环视图像中各个像素点在世界坐标中的位置，将单视图中像素点的值赋值于环视图中对应像素点，得到该时刻环视图像，环视图像设定显示车体前后左右5米范围。对ECU缓存区中四个方向视频流每一帧对应的图像做拼接处理，得到环视图的视频流。所述光流法为Horn-Schunck光流法，求得的为稠密光流，对每一个像素计算光流值。假设ui,j与vi,j分别表示图像像素点(i,j)处的水平方向光流值与垂直方向光流值，则迭代方程为：其中k为迭代次数，λ反映了对图像数据及平滑约束的可信度，当图像数据本身含有较大噪声时，此时需要加大λ的值，相反，当输入图像含有较少的噪声时，此时可减小λ的值。代表u邻域与v邻域的平均值，采用相应四邻域内的均值，计算公式如下：Ix，Iy分别是图像对x，y的偏导数，It是两帧图像间对时间的导数，其中：本专利技术考虑相邻像素及相邻两帧图像的影响，采用四次有限差分来得到：所述利用汽车运动模型计算像素点坐标，首先利用鱼眼相机的内参和外参计算出参考帧中像素点(x,y)在以车中心为原点的世界坐标中的坐标(Xw,Yw,Zw)，将参考帧中像素点的世界坐标经过汽车运动模型计算，得到新的世界坐标(Xw',Yw',Zw')，随后再利用相机内外参和新坐标(Xw',Yw',Zw')计算出车移动过后的原参考帧中像素点的新坐标(x',y')，得到像素点分别在x和y方向的位移(u,v)，其中：所述汽车运动模型，是指利用车辆运动的实时can信息中的速度，加速度，方向和转角信息，计算出两帧间隔时间内汽车的位置变化信息。假设车辆在低速转弯时，最小转弯半径如图2所示，L为车辆前轴与后轴之间的轴距，α为转向角度，R为最小转弯半径，O为转向的圆心。当汽车转角为α时，可根据车长求出汽车当前的转弯半径：车辆驱动轴中点为参考的运动模型，如图3所示：Mk、Mk+1参考点即后轴中点，分别为tk到tk+1时刻车辆运动的两个连续位置；Xk、Xk+1为后轴中点的速度方向，即车辆的纵向；θk为车辆的初始方向角；v0为车辆初始速度；瞬时加速度为a；O为车辆转弯中心；Δ为从tk到tk+1时刻，车辆所走过的距离；β为车辆转向圆心角；R1为车辆后轮中点的转弯半径，其中：Δ＝R1*β(8)经过Δt时间后，车辆的瞬时速度为vt，则：初始角θk更新为：将更新后的初始角代入公式(9)中，可以计算出再下一时刻车辆的位置坐标。上述公式为车辆后轴中点在运动过程中的轨迹方程，在Δt足够小的情况下，随着β、vt、θk、xk及yk的不断变化，可描述出车辆转向过程的运动轨迹。当已知车辆的初始方向角和初始坐标时，就可推导出任何时刻的车辆的坐标值，进而求得参考帧中像素点的世界坐标(Xw',Yw',Zw')。所述通过比较光流法得到的像素点运动矢量，和运动模型得到的像素点位移，识别图像中的运动目标和凸起障碍物，是通过比较两种方法得到的位移幅值和方向，识别像素点属于背景部分还是前景部分。设光流法求得的像素点(x,y)运动矢量为(u1,v1)，幅值为S1，方向为θ1，运动模型求得的位移矢量为(u2,v2)，幅值为S2，方向为θ2，则：设判断阈值K和T，K<<T,前景和背景的识别准则为：1)若|u1-u2|≤K且|v1-v2|≤K，则像素点(x,y)为背景中地面上的点；2)若|u1-u2|＞K或|v1-v2|＞K，则像素点(x,y)为背景中的凸起障碍物或前景中的运动物体；3)若像素点(x,y)为背景中的凸起障碍物或前景中的运动物体，则进行下一步判断：ⅰ)若K＜|u1-u2本文档来自技高网...

【技术保护点】
1.一种基于车辆环视图的快速运动物体检测方法，其特征在于，其主要包括以下步骤：1)在车体的前后左右四个方位分别安装一个高清鱼眼相机，采集四个方向实时场景视频流；利用车载鱼眼相机得到的实时场景视频流和图像拼接算法得到车辆环视图像序列，并存于车载电子控制单元的缓存区中；2)将图像序列中连续两帧图像分别设为参考帧和当前帧，采用光流法计算出参考帧中像素点的运动矢量；3)利用车辆的can信息建立汽车运动模型，结合参考帧和当前帧图像，计算出参考帧中像素点的位移；4)通过比较光流法得到的像素点运动矢量，和运动模型得到的像素点位移，识别图像中的运动目标和凸起障碍物；5)利用卡尔曼滤波求出像素点最优运动矢量，将结果作为新的像素点坐标，继续计算和下一帧图像间的运动矢量；6)通过中央控制系统进行警报处理，提醒驾驶员注意车身周围环境，避免造成人为损失。

【技术特征摘要】
1.一种基于车辆环视图的快速运动物体检测方法，其特征在于，其主要包括以下步骤：1)在车体的前后左右四个方位分别安装一个高清鱼眼相机，采集四个方向实时场景视频流；利用车载鱼眼相机得到的实时场景视频流和图像拼接算法得到车辆环视图像序列，并存于车载电子控制单元的缓存区中；2)将图像序列中连续两帧图像分别设为参考帧和当前帧，采用光流法计算出参考帧中像素点的运动矢量；3)利用车辆的can信息建立汽车运动模型，结合参考帧和当前帧图像，计算出参考帧中像素点的位移；4)通过比较光流法得到的像素点运动矢量，和运动模型得到的像素点位移，识别图像中的运动目标和凸起障碍物；5)利用卡尔曼滤波求出像素点最优运动矢量，将结果作为新的像素点坐标，继续计算和下一帧图像间的运动矢量；6)通过中央控制系统进行警报处理，提醒驾驶员注意车身周围环境，避免造成人为损失。2.根据权利要求1所述的一种基于车辆环视图的快速运动物体检测方法，其特征在于：步骤(1)中车体周围安装高清鱼眼相机，前后相机安装位置分别为车体前方牌照附近区域和后方牌照附近区域，相机与水平线夹角不超过60°；左右相机分别安装于车体左右后视镜正下方，相机与水平线夹角不超过45°。3.根据权利要求1所述的一种基于车辆环视图的快速运动物体检测方法，其特征在于：步骤(1)中，所述的采集四个方向实时场景视频流是指车...

【专利技术属性】
技术研发人员：潘钰华，
申请(专利权)人：江苏裕兰信息科技有限公司，
类型：发明
国别省市：江苏,32