一种基于车辆环视图的快速运动物体检测方法技术

技术编号:18445597 阅读:59 留言:0更新日期:2018-07-14 10:39
本发明专利技术的一种基于车辆环视图的快速运动物体检测方法,包括以下步骤:S1:利用安装在车体前后左右四个方位的相机采集得到车体四个方向的实时场景视频流;S2:通过图像拼接算法,利用四个方向的视频流拼接得到车辆环视图的实时视频流;S3:提取环视图视频流中当前帧图像和前一帧图像,设为当前帧和参考帧,并采用光流法计算出参考帧中像素点的运动矢量;S4:利用计算出的运动矢量构建出参考帧图像的重构图像;S5:对重构图像和参考帧图像进行帧间差分处理,得到运动目标的轮廓;S6:利用形态学处理检测出运动目标。具有能够对突然进入车辆附近的运动物体进行检测,并让驾驶员更加直观清晰的观察和掌握车身周围的环境的优点。

A fast moving object detection method based on vehicle ring view

A fast moving object detection method based on the vehicle ring view, including the following steps: S1: acquisition of the real-time scene video stream in four directions of the car body by using the camera installed in the front and back of the car body and so on four directions; S2: through the image stitching algorithm, the vehicle is captured by the four directions of video stream splicing. The real-time video stream of the graph; S3: extracting the current frame image and the previous frame in the loop view video stream, setting the current frame and reference frame, and using the optical flow method to calculate the motion vector of the pixels in the reference frame; S4: using the calculated motion vector to construct the reconfigurable image of the reference frame image; S5: the reconstructed image and the reference frame. The image is processed by frame difference processing to get the contour of the moving object; S6: the moving object is detected by morphological processing. It has the ability to detect the moving objects that suddenly enter the vehicle and let the driver more clearly observe and grasp the advantages of the environment around the body.

【技术实现步骤摘要】
一种基于车辆环视图的快速运动物体检测方法
本专利技术涉及目标检测领域技术,特别是涉及动态背景下的运动目标检测方法。
技术介绍
汽车车身周边环境是否存在异常物体或突发情况,是驾驶员在驾驶过程中必须关注的重要环节,对车辆安全驾驶起着不可忽视的作用。汽车工业和信息技术的更新换代,为安全驾驶提供了越来越有力的技术支持。对于汽车车身周边环境的检测,目前采用较多的是雷达侦测和摄像头监测,与雷达侦测相比,采用摄像头监测的方法具有更加直观清晰的视觉效果,而在车载摄像头拍摄的视频基础上开发的环境监测方法,包括运动物体检测和停车位自动识别等技术,已经大量运用于车辆制造行业。基于图像的运动目标检测是计算机图像处理技术中的关键应用技术,它是利用图像处理的手段,将视频序列中的前景目标从背景中分离出来,从而对序列中的运动目标进行检测,并在此基础上对检测到的有效目标进行进一步的分类和识别。随着科技的进步和计算机技术的发展,运动目标检测已经广泛应用于人工智能、视频监控、医学影像和军事制导等领域,具有广阔的发展前景和重要的使用价值。运动目标检测主要分为静态背景检测和动态背景检测:静态背景检测是指摄像头安装在某一固定位置且采集区域不发生变化,因此得到的图像中背景为静态背景,在此基础上对视野范围中的运动目标进行检测和识别,通常采用的方法主要分为三类:帧间差分法、背景相减法和光流法;动态背景检测是指摄像头在采集图像时因存在旋转、移动等状态变化,导致采集区域不断改变,得到的图像中背景时时变化,在此基础上对视野范围中的运动目标进行检测和识别。与静态背景检测相比,动态背景检测不仅受光照和噪音等影响,还因其背景不停改变,很大程度上会干扰图像中运动目标的分离和识别,导致检测精度降低,算法鲁棒性较差。因此,如何从动态背景中准确有效的将待识别的运动目标检测并分离出来,是本领域亟待解决的关键性问题。
技术实现思路
本专利技术的目的是提供一种基于车辆环视图的快速运动物体检测方法。其利用车载鱼眼相机采集得到车辆环视图像视频流,对连续两帧图像中的运动物体进行检测,并通过中央控制系统进行警报处理,提醒驾驶员注意车身周围环境,避免造成人为损失。为达到以上目的,本专利技术采用的技术方案为:一种基于车辆环视图的快速运动物体检测方法,其特征在于:包括以下步骤:S1:利用安装在车体前后左右四个方位的相机采集得到车体四个方向的实时场景视频流;S2:通过图像拼接算法,利用四个方向的视频流拼接得到车辆环视图的实时视频流;S3:提取环视图视频流中当前帧图像和前一帧图像,设为当前帧和参考帧,并采用光流法计算出参考帧中像素点的运动矢量;S4:利用计算出的运动矢量构建出参考帧图像的重构图像;S5:对重构图像和参考帧图像进行帧间差分处理,得到运动目标的轮廓;S6:利用形态学处理检测出运动目标。作为优选,上述步骤S3中的光流法为Horn-Schunck光流法,求得的为稠密光流,对每一个像素计算光流值;假设ui,j与vi,j分别表示图像像素点(i,j)处的水平方向光流值与垂直方向光流值,则迭代方程为:其中k为迭代次数,λ反映了对图像数据及平滑约束的可信度,当图像数据本身含有较大噪声时,此时需要加大λ的值,相反,当输入图像含有较少的噪声时,此时可减小λ的值;代表u邻域与v邻域的平均值,采用相应四邻域内的均值,计算公式如下:Ix,Iy分别是图像对x,y的偏导数,It是两帧图像间对时间的导数,其中:Ix=I(x,y,t)-I(x-1,y,t)Iy=I(x,y,t)-I(x,y-1,t)It=I(x,y,t)-I(x,y,t-1)考虑相邻像素及相邻两帧图像的影响,采用四次有限差分来得到:从而得到参考帧中像素点的运动矢量。进一步优选,上述步骤S4中构建参考帧图像的重构图,是将参考帧图像中的像素点,根据其位移矢量进行坐标变化,运动到新的位置,所有像素点完成位移后得到的图像即为重构图;设参考帧图像为I(i,j),像素点的位移矢量为(ui,j,vi,j),则重构帧图像I'(i,j)为:I'(i,j)=I(i+vi,j,j+ui,j)从而构建出重构图像。再进一步,上述步骤S5中帧间差分处理是计算参考帧的重构图像与当前帧图像中对应像素点的差值,随后对结果做二值处理,得到包含运动物体轮廓的二值图像;设重构图像为I'(i,j),当前帧图像为P(i,j),则帧间差分公式为:diff(i,j)=|I'(i,j)-P(i,j)|图像二值化公式为:其中h为二值化阈值,利用最大间类方差法(Otsu)得到;最大间类方差法(Otsu)属于自适应阈值分割方法,是基于整幅图像的统计特性实现阈值的自动选取;其采用某一假定的灰度值h将图像的灰度分成两组,当两组的间类方差最大时,此灰度h就是图像二值化的最佳阈值;设图像有L个灰度级,取值范围为0~L-1,在此范围内选取灰度值H,将图像分成两组G0和G1,G0包含的像素灰度值在0~H,G1的灰度值在H+1~L-1,N表示图像像素点总数,ni表示灰度值为L的像素点个数,pi为灰度值L出现的概率,则有如下公式:pi=ni/N设G0和G1两组像素的个数在整体图像中所占百分比为ω0和ω1,两组平均灰度值为μ0和μ1,总平均灰度为μ,则:μ=ω0·μ0+ω1·μ1间类方差公式为:g(H)=ω0·(μ0-μ)2+ω1·(μ1-μ)2=ω0·ω1·(μ0-μ1)2当g(H)取最大值gmax时,所对应的H值即为图像二值化的阈值h。更进一步,上述步骤S6中形态学处理是将上述二值图像进行腐蚀、膨胀、开运算、闭运算以及像素点填充的形态学处理,最终检测出运动目标,该形态学处理可以简化图像数据,保持它们基本的形状特征,并除去冗余的结构;设f(x,y)为二值化图像,b(x,y)为结构元素,则膨图像胀和腐蚀的可用如下公式表达:(f⊙b)(s,t)=min{f(s+x,t+y)+b(x,y)|(s+x,t+y)∈Df,(x,y)∈Db}先腐蚀后膨胀的过程称为开运算,其具有消除细小物体,在纤细处分离物体和平滑较大物体边界的作用,其表达式为:先膨胀后腐蚀的过程称为闭运算,其具有填充物体内细小空洞,连接邻近物体和平滑边界的作用,其表达式为:从而检测出运动目标。实际应用中,上述步骤S6之后还包括以下步骤:S7:当在车辆环视图中检测出存在运动目标后,根据运动目标存在的方位,中央控制系统将视角切换至相应区域,并发出蜂鸣警报,提醒驾驶员注意。具体的,上述步骤S1中车体周围安装高清鱼眼相机,前后相机安装位置分别为车体前方牌照附近区域和后方牌照附近区域,相机与水平线夹角不超过60°;左右相机分别安装于车体左右后视镜正下方,相机与水平线夹角不超过45°。上述步骤S1中采集四个方向实时场景视频流,是指车辆在启动时,鱼眼相机即开始采集图像,并以视频流的方式存储于车辆电子控制单元(ECU)缓存区中,采集频率为每秒30帧,覆盖时长为2秒。上述步骤S2中通过图像拼接算法和四个方向视频流得到车辆环视图的实时视频流,是指对每一时刻四个鱼眼相机同时采集到的图像进行拼接;通过计算四幅单视图像和环视图像中各个像素点在世界坐标中的位置,将单视图中像素点的值赋值于环视图中对应像素点,得到该时刻环视图像,环视图像设定显示车体前后左右5米范围;对ECU缓存区中四个方向视频流本文档来自技高网
...

【技术保护点】
1.一种基于车辆环视图的快速运动物体检测方法,其特征在于:包括以下步骤:S1:利用安装在车体前后左右四个方位的相机采集得到车体四个方向的实时场景视频流;S2:通过图像拼接算法,利用四个方向的视频流拼接得到车辆环视图的实时视频流;S3:提取环视图视频流中当前帧图像和前一帧图像,设为当前帧和参考帧,并采用光流法计算出参考帧中像素点的运动矢量;S4:利用计算出的运动矢量构建出参考帧图像的重构图像;S5:对重构图像和参考帧图像进行帧间差分处理,得到运动目标的轮廓;S6:利用形态学处理检测出运动目标。

【技术特征摘要】
1.一种基于车辆环视图的快速运动物体检测方法,其特征在于:包括以下步骤:S1:利用安装在车体前后左右四个方位的相机采集得到车体四个方向的实时场景视频流;S2:通过图像拼接算法,利用四个方向的视频流拼接得到车辆环视图的实时视频流;S3:提取环视图视频流中当前帧图像和前一帧图像,设为当前帧和参考帧,并采用光流法计算出参考帧中像素点的运动矢量;S4:利用计算出的运动矢量构建出参考帧图像的重构图像;S5:对重构图像和参考帧图像进行帧间差分处理,得到运动目标的轮廓;S6:利用形态学处理检测出运动目标。2.根据权利要求1所述的一种基于车辆环视图的快速运动物体检测方法,其特征在于:上述步骤S3中的光流法为Horn-Schunck光流法,求得的为稠密光流,对每一个像素计算光流值;假设ui,j与vi,j分别表示图像像素点(i,j)处的水平方向光流值与垂直方向光流值,则迭代方程为:其中k为迭代次数,λ反映了对图像数据及平滑约束的可信度,当图像数据本身含有较大噪声时,此时需要加大λ的值,相反,当输入图像含有较少的噪声时,此时可减小λ的值;代表u邻域与v邻域的平均值,采用相应四邻域内的均值,计算公式如下:Ix,Iy分别是图像对x,y的偏导数,It是两帧图像间对时间的导数,其中:Ix=I(x,y,t)-I(x-1,y,t)Iy=I(x,y,t)-I(x,y-1,t)It=I(x,y,t)-I(x,y,t-1)考虑相邻像素及相邻两帧图像的影响,采用四次有限差分来得到:从而得到参考帧中像素点的运动矢量。3.根据权利要求2所述的一种基于车辆环视图的快速运动物体检测方法,其特征在于:上述步骤S4中构建参考帧图像的重构图,是将参考帧图像中的像素点,根据其位移矢量进行坐标变化,运动到新的位置,所有像素点完成位移后得到的图像即为重构图;设参考帧图像为I(i,j),像素点的位移矢量为(ui,j,vi,j),则重构帧图像I'(i,j)为:I'(i,j)=I(i+vi,j,j+ui,j)从而构建出重构图像。4.根据权利要求3所述的一种基于车辆环视图的快速运动物体检测方法,其特征在于:上述步骤S5中帧间差分处理是计算参考帧的重构图像与当前帧图像中对应像素点的差值,随后对结果做二值处理,得到包含运动物体轮廓的二值图像;设重构图像为I'(i,j),当前帧图像为P(i,j),则帧间差分公式为:diff(i,j)=|I'(i,j)-P(i,j)|图像二值化公式为:其中h为二值化阈值,利用最大间类方差法(Otsu)得到;最大间类方差法(Otsu)属于自适应阈值分割方法,是基于整幅图像的统计特性实现阈值的自动选取;其采用某一假定的灰度值h将图像的灰度分成两组,当两组的间类方差最大时,此灰度h就是图像二值化的最佳阈值;设图像有L个灰度级,取值范围为0~L-1,...

【专利技术属性】
技术研发人员:潘钰华
申请(专利权)人:江苏裕兰信息科技有限公司
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1