市区环境下基于视觉的车载行人检测与跟踪方法及系统技术方案

技术编号:12139012 阅读:68 留言:0更新日期:2015-10-01 17:37
本发明专利技术涉及一种市区环境下基于视觉的车载行人检测与跟踪方法及系统,本发明专利技术为了避免在整幅图像中匹配已建立的目标颜色概率分布图而导致在寻求最优匹配位置时出现较大的偏差,根据上一时刻图像中行人的质心位置,采用Kalman滤波预测下一时刻行人的质心位置,以该预测位置为中心建立搜索窗口,利用Meanshift算法匹配所建立的行人目标颜色概率分布图,从而确定行人质心的当前时刻的观测位置并更新行人目标颜色概率分布图和Kalman滤波的状态和协方差阵,当行人已经走出视野范围或者跟踪失效时针对待检测图像采用行人检测方法重新检测行人作为待跟踪目标,避免出现跟踪累积误差。因此,本发明专利技术可以广泛用于行人安全保护技术领域。

【技术实现步骤摘要】

本专利技术设及一种车载行人检测与跟踪方法及系统,特别是关于一种市区环境下基 于视觉的车载行人检测与跟踪方法及系统。
技术介绍
为了减少汽车与行人碰撞事故的发生,有效保护行人安全,国内、外在制定严格的 行人保护法规之外,在汽车被动安全与主动安全等方面也进行了相关的研究。行人主动防 碰撞系统是汽车主动安全系统中的重要组成部分,该系统能在发现车辆前方的行人处于危 险状态时能及时警告驾驶员避免与其发生碰撞,并在危急时刻时也能主动采取紧急制动或 者转向等措施W避免碰撞事故的发生。行人主动防碰撞系统其通常包括本专利技术系统和车辆 控制系统,本专利技术系统包括行人检测与行人跟踪两部分,普遍采用视觉传感器实现行人的 检测与跟踪。行人跟踪能够得到行人目标的运动轨迹从而为后续行人的运动分析和危险态 势估计提供可靠的技术支持,具有重要的研究意义。 目前常见的运动目标跟踪算法主要是针对相机固定的场景下开展的,手动标记出 需要跟踪的目标或者采用背景相减的办法来提取运动的目标,再实现该运动目标的跟踪, 不适用于车载运动状态的行人主动防撞系统。行人主动防碰撞系统中的行人跟踪主要应用 在城市道路交通环境下,由于背景复杂、车载相机运动W及行人目标多样性的特点,采用现 有的行人跟踪算法很难实现该种场景下稳定地跟踪,尤其是当目标背景发生动态变化或者 目标存在严重遮挡时,由于不能对目标运动趋势做出相应的预测,跟踪过程中目标很容易 丢失。典型的目标跟踪算法主要有Kalman和Meanshift等,Kalman滤波因其优越的跟踪 性能也常被单独用于行人目标跟踪上,能够较为准确地预测目标的速度和位置,从而准确 地估计目标运动状态,但无法胜任存在目标变形和遮挡等场合,而Meanshift算法通过不 断迭代计算Meanshift向量使其收敛于新的窗口位置,具有快速高效的优点,但在寻求最 优匹配位置时就会出现偏差,而且随着行人目标的运动误差会越来越大,因此有必要结合 该两种方法的优缺点,稳定跟踪所检测到的行人。
技术实现思路
针对上述问题,本专利技术的目的是提供一种市区环境下基于视觉的车载行人检测与 跟踪方法及系统,针对Meanshift跟踪算法存在的问题,引入Kalman预测行人目标的位置 和捜索范围,充分利用其颜色和运动信息W获得运动目标的精确位置估计来提高行人跟踪 的效果。 为实现上述目的,本专利技术采取W下技术方案;一种市区环境下基于视觉的车载行 人检测与跟踪方法,它包括W下步骤;1)实时获取车辆前方的彩色道路视频;2)针对获取 的彩色道路视频进行逐帖处理得到待检测图像;3)根据上一帖待检测图像的状态判断下 一帖待检测图像进行行人检测或跟踪,其中待检测图像的状态分为未跟踪状态和待跟踪状 态;若上一帖待检测图像的状态为未跟踪状态,则进入步骤4)进行行人检测;若上一帖待 检测图像的状态为待跟踪状态,则进入步骤5)进行行人跟踪;4)针对待检测图像进行行人 检测,若连续Z帖待检测图像成功检测到行人目标,其中,z〉2且为整数,则将最后一次成功 检测的具有行人目标的待检测图像的状态改为待跟踪状态,并将返回给步骤3),W便判断 下一帖待检测图像进入行人跟踪;否则,返回步骤3)针对下一帖待检测图像继续进入行人 检测;5)针对待检测图像进行行人跟踪,若连续Z帖待检测图像跟踪到行人,则返回步骤 3)继续针对下一帖待检测图像进行跟踪;若连续Z帖待检测图像跟踪失败,则行人已经走 出视野范围或者跟踪失效,结束跟踪,返回步骤3)针对下一帖待检测图像重新进行行人检 巧U ;所述步骤5)包括W下步骤;①针对包含行人目标的待检测图像,建立第k-1时刻的行 人目标颜色概率分布图Ip,其中k为任意时刻;②针对包含行人目标的待检测图像的质屯、 位置,采用Kalman算法预测第k时刻的质屯、位置;⑨采用Meanshift算法结合第k-1时刻 的行人目标颜色概率分布图Ip和第k时刻的质屯、位置进行行人跟踪;若跟踪成功,则将跟 踪过程中的数据用于更新①和②;若跟踪失败,则对失败次数进行累计;④当连续Z帖跟踪 行人目标失败时,则行人已经走出视野范围或者跟踪失效,结束跟踪,返回步骤3)针对下 一帖待检测图像重新进行行人检测;否则,返回步骤3)继续针对下一帖待检测图像进行跟 臣示。 所述步骤4)和步骤5)中Z为3。 所述步骤4)包括W下步骤:①将待检测图像转换为灰度图像,并进行中值滤波 处理,使其划分成若干子窗口,提取其梯度直方图特征并进行降维优化,得到优化后的子窗 口;②采用行人识别分类器针对优化后的子窗口逐一进行行人目标判别,若当前检测的子 窗口中不存在行人目标,则检测当前待检测道路图像中下一子窗口是否存在行人目标;若 当前检测的子窗口中存在行人目标,则将判断该子窗口图像为行人图像,并将相应的待检 测图像的状态改为待跟踪状态及标记相应的质屯、位置信息,并将行人目标检测成功的次数 进行记录;⑨当连续Z帖待检测图像成功检测到行人目标时,将将最后一次成功检测到的 行人目标的待检测图像及其行人目标质屯、位置发送给返回步骤3),W便判断下一帖待检测 图像进入图像跟踪。[000引市区环境下基于视觉的车载行人检测与跟踪系统,其特征在于:它包括前视相机 模块、视频处理模块、状态判断模块、行人检测模块和行人跟踪模块;所述前视相机模块用 于获取车辆前方的道路视频,并将道路视频发送给视频处理模块;所述视频处理模块将采 集的道路视频进行逐帖处理,得到若干帖连续图像,并逐一将每一帖图像作为待检测图像 发送给所述状态判断模块;所述状态判断模块根据上一帖待检测图像是否处于待跟踪状 态,判断下一帖待检测图像检测或跟踪,若上一帖待检测图像处于未跟踪状态,则进入所述 行人检测模块进行行人检测;若上一帖待检测图像处于待跟踪状态,则将上一帖待检测图 像的质屯、位置发送给所述行人跟踪模块进行行人跟踪;所述行人检测模块用于对待检测图 像进行行人检测,若连续Z帖待检测图像成功检测到行人目标,则将最后一次成功检测的 具有行人目标的待检测图像的状态改为待跟踪状态,并返回给所述状态判断模块,W便判 断下一帖待检测图像进入行人跟踪;否则,返回给所述状态判断模块针对下一帖待检测图 像继续进入行人检测;所述行人跟踪模块用于对待检测图像进行行人跟踪,若连续Z帖待 检测图像跟踪失败,则行人已经走出视野范围或者跟踪失效,结束跟踪,并返回所述状态判 断模块针对下一帖待检测图像重新进行行人检测;若连续Z帖待检测图像跟踪到行人,贝U 返回所述状态判断模块继续针对下一帖待检测图像进行跟踪;所述行人跟踪模块包括概率 分布图机构、质屯、位置预测机构、基于Meanshift的行人跟踪机构和行人跟踪累计机构;其 中,所述概率分布图机构接收包含行人目标的待检测图像,建立第k-1时刻的行人目标颜 色概率分布图Ip,并将其发送给所述基于Meanshift的行人跟踪机构;所述质屯、位置预测 机构接收包含行人目标的待检测图像的质屯、位置,并利用该信息采用Kalman算法预测第k 时刻的质屯、位置,并将其预测的质屯、位置发送给所述基于Meanshift的行人跟踪机构;所 述基于Meanshift的行人跟踪机构根据第k-1时刻的行人目标颜色概率分布图Ip和预测的 第k时刻的本文档来自技高网
...

【技术保护点】
一种市区环境下基于视觉的车载行人检测与跟踪方法,它包括以下步骤:1)实时获取车辆前方的彩色道路视频;2)针对获取的彩色道路视频进行逐帧处理得到待检测图像;3)根据上一帧待检测图像的状态判断下一帧待检测图像进行行人检测或跟踪,其中待检测图像的状态分为未跟踪状态和待跟踪状态;若上一帧待检测图像的状态为未跟踪状态,则进入步骤4)进行行人检测;若上一帧待检测图像的状态为待跟踪状态,则进入步骤5)进行行人跟踪;4)针对待检测图像进行行人检测,若连续z帧待检测图像成功检测到行人目标,其中,z>2且为整数,则将最后一次成功检测的具有行人目标的待检测图像的状态改为待跟踪状态,并将返回给步骤3),以便判断下一帧待检测图像进入行人跟踪;否则,返回步骤3)针对下一帧待检测图像继续进入行人检测;5)针对待检测图像进行行人跟踪,若连续z帧待检测图像跟踪到行人,则返回步骤3)继续针对下一帧待检测图像进行跟踪;若连续z帧待检测图像跟踪失败,则行人已经走出视野范围或者跟踪失效,结束跟踪,返回步骤3)针对下一帧待检测图像重新进行行人检测;所述步骤5)包括以下步骤:①针对包含行人目标的待检测图像,建立第k‑1时刻的行人目标颜色概率分布图IP,其中k为任意时刻;②针对包含行人目标的待检测图像的质心位置,采用Kalman算法预测第k时刻的质心位置;③采用Meanshift算法结合第k‑1时刻的行人目标颜色概率分布图IP和第k时刻的质心位置进行行人跟踪;若跟踪成功,则将跟踪过程中的数据用于更新①和②;若跟踪失败,则对失败次数进行累计;④当连续z帧跟踪行人目标失败时,则行人已经走出视野范围或者跟踪失效,结束跟踪,返回步骤3)针对下一帧待检测图像重新进行行人检测;否则,返回步骤3)继续针对下一帧待检测图像进行跟踪。...

【技术特征摘要】

【专利技术属性】
技术研发人员:郭烈张明恒李琳辉赵一兵林肖
申请(专利权)人:大连理工大学
类型:发明
国别省市:辽宁;21

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1