一种强视差下的移动相机运动目标检测方法技术

技术编号:13862744 阅读:91 留言:0更新日期:2016-10-19 11:58
本发明专利技术提出一种强视差下的移动相机运动目标检测方法。用旋转矩阵R和平移矩阵t描述两帧之间的相机运动,获得第二帧图像上的点与世界坐标系的关系,从而获得深度约束方程;将第二帧图像上所有匹配点的坐标和对应的深度信息带入深度约束方程,获得深度约束方程的Rt矩阵的最优解;利用深度约束方程计算的图像点坐标与对应的深度信息相乘;将该乘积和利用深度约束方程估计出来的结果分别作为两个三维坐标点,计算该两个三维坐标点之间的距离,并将距离归一化,若归一化距离大于设定的阈值,则判断该距离对应的点为运动目标,否则,该距离对应的点为背景。本发明专利技术能够解决在车载手持等移动平台下,三维场景会产生视差的问题,对运动目标进行实时高效的检测。

【技术实现步骤摘要】

本专利技术是属于数字图像处理与模式识别领域,尤其属于基于图像处理的目标识别、跟踪领域,具体涉及一种强视差下的移动相机运动目标检测方法
技术介绍
自动运动目标检测技术是目标搜索与跟踪系统中的关键技术,为后续航迹关联、目标识别、跟踪等技术提供了初步的信息。在传统的运动目标检测系统中,摄像机通常是静止的,在视频监控、交通检测等系统中有着广泛的应用,然而在车载、手持等移动平台下,由于相机的移动,三维场景会产生视差的问题,此时就需要对场景视差进行有效的估计。传统方法一般是利用运动平台下图像间的对极几何关系,如平面单应矩阵、基础矩阵以及三焦点张量等,以此来补偿或估计摄像机的运动。其中,单应矩阵利用同一平面上匹配点对之间的映射关系,特别适用于场景视差几乎可以忽略无人机航拍等情况;基础矩阵利用图像匹配点对间的射极几何关系来检测运动目标;三焦点张量利用的多视点图像由两视图增加到三视图,代表图像之间不以场景结构为转移的内在射影几何关系的数学量也由基本矩阵变成了三焦点张量,但计算更为复杂。但是以上传统方法需要几何信息已知的参照标定物,基于主动视觉的标定方法需要利用精准的云台等硬件平台随时提供摄像机的方位信息,对硬件要求极高,不适用于便携式摄像机场合;基于自标定的方法如基本矩阵、三视角张量,虽然对标定场景和标定仪器要求不高,但往往工作量大、鲁棒性差、精确度不高。
技术实现思路
本专利技术的目的在于提供一种强视差下的移动相机运动目标检测方法,该方法结合图像的灰度信息和深度信息,建立深度约束方程,通过判断图像上的点是否满足深度约束方程来进行运动目标检测,能够解决在车载手持等移动平台下,三维场景会产生视差的问题,对运动目标进行实时高效的检测。为了解决上述技术问题,本专利技术提出一种强视差下的移动相机运动目标检测方法,包括以下步骤:步骤一:将两帧图像进行匹配,提取两帧图像的深度信息;对相机进行标定,获取相机的内部参数;步骤二:以相机拍摄第一帧图像时的位置为世界坐标系,换算出第一帧图像上的点坐标对应的世界坐标系坐标;步骤三:用旋转矩阵R和平移矩阵t描述两帧之间的相机运动,获得第二帧图像上的点与世界坐标系的关系,从而获得深度约束方程;步骤四:将第二帧图像上所有匹配点的坐标和对应的深度信息带入深度约束方程,获得深度约束方程的Rt矩阵的最优解;步骤五:利用深度约束方程计算的图像点坐标与对应的深度信息相乘;将该乘积和利用深度约束方程估计出来的结果分别作为两个三维坐标点,计算该两个三维坐标点之间的距离,并将距离归一化,若归一化距离大于设定的阈值,则判断该距离对应的点为运动目标,否则,该距离对应的点为背景。进一步,步骤三中,所述深度约束方程如式(1)所示: X w f x Y w f x Z w f x X w s Y w s Z w s X w m Y w m Z w m f x s m 0 0 0 X w f y Y w f y Z w f y X w n Y w n Z w n 0 本文档来自技高网...

【技术保护点】
一种强视差下的移动相机运动目标检测方法,其特征在于,包括以下步骤:步骤一:将两帧图像进行匹配,提取两帧图像的深度信息;对相机进行标定,获取相机的内部参数;步骤二:以相机拍摄第一帧图像时的位置为世界坐标系,换算出第一帧图像上的点坐标对应的世界坐标系坐标;步骤三:用旋转矩阵R和平移矩阵t描述两帧之间的相机运动,获得第二帧图像上的点与世界坐标系的关系,从而获得深度约束方程;步骤四:将第二帧图像上所有匹配点的坐标和对应的深度信息带入深度约束方程,获得深度约束方程的Rt矩阵的最优解;步骤五:利用深度约束方程计算的图像点坐标与对应的深度信息相乘;将该乘积和利用深度约束方程估计出来的结果分别作为两个三维坐标点,计算该两个三维坐标点之间的距离,并将距离归一化,若归一化距离大于设定的阈值,则判断该距离对应的点为运动目标,否则,该距离对应的点为背景。

【技术特征摘要】
1.一种强视差下的移动相机运动目标检测方法,其特征在于,包括以下步骤:步骤一:将两帧图像进行匹配,提取两帧图像的深度信息;对相机进行标定,获取相机的内部参数;步骤二:以相机拍摄第一帧图像时的位置为世界坐标系,换算出第一帧图像上的点坐标对应的世界坐标系坐标;步骤三:用旋转矩阵R和平移矩阵t描述两帧之间的相机运动,获得第二帧图像上的点与世界坐标系的关系,从而获得深度约束方程;步骤四:将第二帧图像上所有匹配点的坐标和对应的深度信息带入深度约束方程,获得深度约束方程的Rt矩阵的最优解;步骤五:利用深度约束方程计算的图像点坐标与对应的深度信息相乘;将该乘积和利用深度约束方程估计出来的结果分别作为两个三维坐标点,计算该两个三维坐标点之间的距离,并将距离归一化,若归一化距离大于设定的阈值,则判断该距离对应的点为运动目标,否则,该距离对应的点为背景。2.如权利要求1所述强视差下的移动相机运动目标检测方法,其特征在于,步骤三中,所述深度约束方程如式(1)所示: X w f x Y w f x Z w f x X w s Y w s Z w s X w m Y w m Z w m f x s m 0 0 0 X w f y Y w f y Z w f y X w n Y w n Z w n 0 f y n 0 0 0 0 0 0 X w Y w Z w 0 0 1 r 1 r 2 r 3 r 4 r 5 r 6 r 7 r 8 r 9 ...

【专利技术属性】
技术研发人员:顾国华丁祺孔筱芳徐富元
申请(专利权)人:南京理工大学
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1