一种基于视觉的智能车环境动态目标检测的方法技术

本发明专利技术公开了一种基于视觉的智能车环境动态目标检测的方法，包括：在智能车移动期间，设置在所述智能车上的双目立体相机通过采集当前的场景图像，得到当前的双目视频序列图像；从所述双目视频序列图像中选取第t时刻图像和t‑1时刻图像，并利用所述第t时刻图像和所述t‑1时刻图像，计算混合光流；根据所述第t时刻图像、所述t‑1时刻图像，计算所述双目立体相机运动背景光流；利用所述混合光流和所述运动背景光流，得到仅由目标运动产生的残差流；通过对所述残差流进行处理，得到独立的运动目标。

【技术实现步骤摘要】
一种基于视觉的智能车环境动态目标检测的方法
本专利技术涉及运动目标检测
，特别是涉及一种基于视觉的智能车环境动态目标检测的方法。
技术介绍
智能车行驶环境复杂，具有高动态性、高随机性等特点。对环境内动态目标的精确检测以及轨迹预测是智能车行为决策与控制的基础，是确保智能车安全行驶的关键，尤其是多车道行驶变道、从高速辅道汇入高速公路等情形时，场景内目标的运动信息对智能车决策显得尤为重要。当前，智能车对运动目标的感知主要有基于激光雷达的方法和基于视觉的方法。激光雷达能够获得场景目标距离本车的精确距离信息，但是受角分辨率限制，对远距离小目标的探测能力较弱；除此以外，其高昂的价格也成为增加智能车成本的因素之一。相反，视觉传感器具有成本低廉、体积小，重量轻、信息大、算法复用性好等优势而备受关注。现有技术的解决方案有如下三种：(1)背景补偿差分法背景补偿差分法的核心思想是将动态背景问题转化为静态背景问题，如此可直接利用相机静止条件下(静态背景)下各种运动目标检测方法。将动态背景问题转化为静态背景问题的关键为“背景补偿”。当相机运动时，相邻两帧图像的背景将发生运动，“背景补偿”的目的就是计算出背景的运动模型，借助该模型，将当前帧背景反推回运动前，以此得到估计的静态背景。计算背景运动参数首先要建立恰当的静止背景运动参数模型(全局运动)。根据全局运动参数模型的不同，可分为基于基础矩阵的方法、基于单应矩阵的方法、基于仿射变换的方法，以及基于混合几何模型的方法。不管是单应约束，基本矩阵约束还是仿射变换约束，都有其特定的适用范围。单应矩阵仅适合于平面场景、基本矩阵仅能将一幅图像的像点映射到另一图像的一条线上、仿射变换仅仅是两幅图像的近似约束。因此，背景补偿差分法检测运动目标时存在原理上不可克服的缺陷。(2)光流特征分类法光流特征分类法认为背景运动产生的光流与目标运动产生的光流之间存在差异，故而可以根据这两类光流的差异性，找出运动目标。比如，兰红等认为场景中绝大部分背景的运动状态是一致并且是主要的。他们据此设计了基于光流的动态目标检测方法。首先，利用LK光流法得到相邻两幅图像的特征点光流，并同时创建光流长度，角度的状态向量。通过建立整幅图像光流长度、角度的直方图，去除直方图中最密集区域对应的特征点，进而初步去除背景。然后利用中心迭代法去除不属于目标运动区域的噪声特征点；最后，通过前N帧图像目标特征点的最大交集得到属于目标的稳定特征点并在后续帧中进行跟踪。崔智高等认为运动目标内部和场景背景的光流值大小和方向趋于一致，仅在目标与背景的边界处存在较大的差异。利用该性质，他们首先对目标边界进行定位。然后通过点在多边形内部原理获得边界内部的稀疏像素点，最后以超像素为节点，利用混合高斯模型拟合的表观信息和超像素的时空邻域关系构建马尔可夫随机场模型的能量函数，并通过使目标函数能量最小化得到最终的运动目标检测结果。基于光流特征分类法的运动目标检测，其核心点是运动目标产生的光流在整体混合光流中存在可辨识。这在一些特定的场景下是可以实现的，比如智能车向前直行，背景的光流具有固定的特征，此时容易对背景光流特性进行建模；但是在车辆转弯时，背景光流和转弯大小、背景物结构都有很大关系，模型很难建立。因此光流特征分类法适应性有限。(3)背景光流补偿差分法该类方法一般分为三步。第一步：计算相机自运动参数。第二步：计算背景运动产生的光流场。第三步：从运动目标光流场中分割出运动目标。该方法目前存在的问题有：(1)在计算相机自运动参数时误差多大，导致后续残差流计算误差大，进而导致运动目标分割准确率不高；(2)由残差流进行运动目标分割时，采用固定阈值，对不同图像的适应性较差；(3)计算运动区域时，仅利用了三维信息中的XOZ平面的数据。由于未对地面数据进行剔除，会出现地面数据将两个隔得很开的目标粘连起来的情况，导致单个目标无法分割。
技术实现思路
根据本专利技术实施例提供的方案解决的技术问题是用双目相机实现智能汽车行驶环境任意动态障碍物检测。分项问题包括：(1)相机自运动参数计算时相邻两时刻四幅图像同名特征点的选择策略问题；(2)由残差场分割出运动区域阈值设置问题；(3)由运动区域提取单个运动目标问题。根据本专利技术实施例提供的一种基于视觉的智能车环境动态目标检测的方法，包括：在智能车移动期间，设置在所述智能车上的双目立体相机通过采集当前的场景图像，得到当前的双目视频序列图像；从所述双目视频序列图像中选取第t时刻图像和t-1时刻图像，并利用所述第t时刻图像和所述t-1时刻图像，计算混合光流；根据所述第t时刻图像、所述t-1时刻图像，计算所述双目立体相机运动背景光流；利用所述混合光流和所述运动背景光流，得到仅由目标运动产生的残差流；通过对所述残差流进行处理，得到独立的运动目标。优选地，所述混合光流是指由所述双目立体相机的左相机在相邻两时刻采集图像所计算的光流场。优选地，所述根据所述第t时刻图像、所述t-1时刻图像，计算所述双目立体相机运动背景光流包括：根据所述第t时刻图像、所述t-1时刻图像，计算出n个SIFT匹配点；利用基于视差的SIFT匹配点筛选策略，过滤掉对所述双目立体相机自运动参数计算误差较大的SIFT匹配点，得到m个有效SIFT匹配点；利用所述有效SIFT匹配点，计算所述双目立体相机的自运动参数；根据所述双目立体相机的自运动参数，计算所述双目立体相机运动背景光流；其中，n>m，且，n和m均为正整数。优选地，所述利用所述混合光流和所述运动背景光流，得到仅由目标运动产生的残差流包括：通过将所述混合光流与所述运动背景光流进行相减处理，得到仅由目标运动产生的残差流。优选地，所述通过对所述残差流进行处理，得到独立的运动目标包括：采用动态阈值分割法，从所述残差流中分割出运动区域；通过结合2D和3D信息的方法，从所述运动区域内分割出独立的运动目标。优选地，所述利用基于视差的SIFT匹配点筛选策略，过滤掉对所述双目立体相机自运动参数计算误差较大的SIFT匹配点，得到m个有效SIFT匹配点包括：分别计算第i个SIFT匹配点的视差di；根据所述第i个SIFT匹配点的视差di，计算第i个SIFT点的误差指标因子indei；当所述第i个SIFT点的误差指标因子indei小于1时，则将所述第第i个SIFT匹配点作为有效SIFT匹配点；当所述第i个SIFT点的误差指标因子indei不小于1时，则过滤掉所述第i个SIFT匹配点。优选地，所述根据所述第i个SIFT匹配点的视差di，计算第i个SIFT点的误差指标因子indei的公式为：优选地，所述通过结合2D和3D信息的方法，从所述运动区域内分割出独立的运动目标包括：利用3D信息对所述运动区域进行目标粗分割处理，得到粗分割目标；利用2D信息对所述粗分割目标进行二次分本文档来自技高网...

【技术保护点】
1.一种基于视觉的智能车环境动态目标检测的方法，其特征在于，包括：/n在智能车移动期间，设置在所述智能车上的双目立体相机通过采集当前的场景图像，得到当前的双目视频序列图像；/n从所述双目视频序列图像中选取第t时刻图像和t-1时刻图像，并利用所述第t时刻图像和所述t-1时刻图像，计算混合光流；/n根据所述第t时刻图像、所述t-1时刻图像，计算所述双目立体相机运动背景光流；/n利用所述混合光流和所述运动背景光流，得到仅由目标运动产生的残差流；/n通过对所述残差流进行处理，得到独立的运动目标。/n

【技术特征摘要】
1.一种基于视觉的智能车环境动态目标检测的方法，其特征在于，包括：
在智能车移动期间，设置在所述智能车上的双目立体相机通过采集当前的场景图像，得到当前的双目视频序列图像；
从所述双目视频序列图像中选取第t时刻图像和t-1时刻图像，并利用所述第t时刻图像和所述t-1时刻图像，计算混合光流；
根据所述第t时刻图像、所述t-1时刻图像，计算所述双目立体相机运动背景光流；
利用所述混合光流和所述运动背景光流，得到仅由目标运动产生的残差流；
通过对所述残差流进行处理，得到独立的运动目标。


2.根据权利要求1所述的基于视觉的智能车环境动态目标检测的方法，其特征在于，所述混合光流是指由所述双目立体相机的左相机在相邻两时刻采集图像所计算的光流场。


3.根据权利要求2所述的基于视觉的智能车环境动态目标检测的方法，其特征在于，所述根据所述第t时刻图像、所述t-1时刻图像，计算所述双目立体相机运动背景光流包括：
根据所述第t时刻图像、所述t-1时刻图像，计算出n个SIFT匹配点；
利用基于视差的SIFT匹配点筛选策略，过滤掉对所述双目立体相机自运动参数计算误差较大的SIFT匹配点，得到m个有效SIFT匹配点；
利用所述有效SIFT匹配点，计算所述双目立体相机的自运动参数；
根据所述双目立体相机的自运动参数，计算所述双目立体相机运动背景光流；
其中，n>m，且，n和m均为正整数。


4.根据权利要求3所述的基于视觉的智能车环境动态目标检测的方法，其特征在于，所述利用所述混合光流和所述运动背景光流，得到仅由目标运动产生的残差流包括：
通过将所述混合光流与所述运动背景光流进行相减处理，得到仅由目标运动产生的残差流。

【专利技术属性】
技术研发人员：袁建英，蒋涛，李平，漆军，周楠，谢昱锐，付克昌，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：四川;51