本发明专利技术基于视频中运动目标表象和运动信息的摄像机自标定方法，对包含运动目标的视频进行前景检测，提取运动目标区域；对每一个运动目标区域提取特征；对运动目标区域进行粗略分类；从海量运动目标区域的表象和运动信息中，提取相互垂直的三个消失点；结合摄像机高度信息完成监控场景摄像机的完全标定。本发明专利技术替代手工标定的工作量和误差。用于基于图像或视频的测量，通过图像中的点距离获得三维世界的真实点距离，通过图像中的线夹角获得三维世界的真实线夹角。用于监控场景中的物体分类识别，补偿二维图像特征固有的透视变形。用于监控场景中的基于三维模型的物体识别，获得三维姿态和轨迹，有效帮助系统理解场景中发生的行为。
【技术实现步骤摘要】
本专利技术属于模式识别领域，涉及图像处理和计算机视觉等技术，特别是涉及智能视觉监控。
技术介绍
随着技术的发展以及硬件设备价格的逐渐降低，大量的监控摄像头被安装到各种场合，特别是那些对安全要求敏感的场合，如机场、社区、银行、停车场、军事基地等。动态场景的视觉监控是近年来备受关注的前沿研究方向，它从摄像机捕捉的图像序列中检测、识别、跟踪目标并对其行为进行理解。尽管目前作为人类视觉延伸的监控摄像机在商业应用中已经普遍存在，但目前的监控系统一般只能录相用于事后取证，而不能实时的分析视频数据并实时报警。因此，开发出具有实际意义的自动性、智能性的视觉监控系统日益变得迫切和必要。这就要求不仅能用摄像机代替人眼，而且能用计算机协助人、代替人，以完成监视或控制任务。 任何智能视觉监控系统都需要用摄像机来采集视频作为系统的输入。摄像机的作用在于将真实的三维场景投影到二维图像平面，并持续采集形成视频。从三维世界到二维图像的变换是一个透视投影，透视变形不可避免。若要获得三维世界中的真实点和二维图像平面点之间的对应关系，则必须进行摄像机标定。 目前已经有很多算法对路面交通场景的摄像机标定进行了研究，但是往往都存在着一定的缺点。目前的主流方法需要对整个场景进行测量，并手动获得大量三维点和二维图像点之间的对应关系。手动测量工作量和难度都很大。而目前的自标定方法主要是采用行人检测并精确定位头顶、脚底位置方法来获得消失点。但是，监控场景往往视野较大，监控视频往往分辨率很低。这给精确的行人检测和头、脚定位带来了巨大的挑战。所以这类方法的准确性很差。
技术实现思路
鉴于现有技术摄像机标定往往需要手动测量和点对应，带来了巨大的工作量，并影响了监控算法在不同场景中的推广，而现有自标定方法准确性很差的问题，本专利技术的目的是如何能够准确、便捷、自动地实现监控场景摄像机标定。 为了实现上述目的，本专利技术提供基于运动目标表象和运动信息的监控场景摄像机自标定方法。该方法无需进行大规模的手动测量和对应点标记。仅仅通过测量摄像机高度，就可以实现摄像机的完全标定。该方法的具体步骤如下所示 步骤S1通过背景建模和前景提取方法，检测监控场景中的运动目标区域； 步骤S2对检测到的每个运动目标区域提取图像平面上运动目标区域的速度方向和运动目标区域的主轴方向； 步骤S3根据每个运动目标区域所提取的图像平面上运动目标区域的速度方向和运动目标区域的主轴方向，对运动目标区域进行粗分类； 步骤S4根据运动目标区域的梯度、形状表象特征和速度运动特征估计三个对应相互垂直方向的消失点； 步骤S5根据三个相互垂直的消失点和摄像机高度，估计出摄像机的内外参数。 根据本专利技术的实施例，所述提取消失点步骤如下 步骤S41如果运动目标区域被粗分类为车辆，则通过两步梯度方向直方图算子HOG提取运动目标区域的两个主方向，并通过速度方向区分这两个主方向为第一主方向和第二主方向； 步骤S42如果运动目标区域被粗分类为人，则提取运动目标区域的主轴方向作为该运动目标区域的主方向。 步骤S43对于被分类为车辆的运动目标区域的第一主方向，假设该方向与x轴夹角为θ1，则遍历所有与x轴夹角为θ1且与此运动目标区域相交的直线，求取每条直线和此运动目标区域的相关值，以相关值最大的那条直线为此运动目标区域提取的对应于第一主方向的直线； 步骤S44对于被分类为车辆的运动目标区域的第二主方向，假设该方向与x轴夹角为θ2，则遍历所有与x轴夹角为θ2且与此运动目标区域相交的直线，求取每条直线和此运动目标区域的相关值，以相关值最大的那条直线为此运动目标区域提取的对应于第二主方向的直线； 步骤S45对于被分类为人的运动目标区域，假设该运动目标区域的主轴方向和x轴的夹角为α，则遍历所有与x轴夹角为α的直线，以其中那条过此运动目标区域质心位置的直线为该运动目标区域提取的直线； 步骤S46通过一段时间积累，收集所有该时间段内的被分类为车的运动目标区域对应于第一主方向的直线，作为第一直线集；收集所有该时间段内的被分类为车的运动目标区域对应于第二主方向的直线，作为第二直线集；收集所有该时间段内的被分类为人的运动目标区域所提取的直线，作为第三直线集； 步骤S47针对这三个直线集，分别估计集合内所有直线的公共交点作为消失点的鲁棒估计，从而得到三个对应相互垂直方向的消失点。 根据本专利技术的实施例，所述粗分类，是提取运动目标区域的速度方向和主轴方向，以速度方向和主轴方向之间的差异来进行人和车辆的粗分类。 根据本专利技术的实施例，所述求取车辆区域的两个主方向，分别对应三维空间中车辆的对称轴方向和对称轴的垂直方向。 根据本专利技术的实施例，对于行人区域，以主轴方向对应三维世界的垂直于地平面方向。 根据本专利技术的实施例，还包括通过三个相互垂直的消失点求取摄像机内参数矩阵K和外参数旋转矩阵R。 根据本专利技术的实施例，所述估计摄像机参数，是通过任意选取图像平面上一点作为坐标原点，确定一组关于摄像机参数的约束关系为 式中任意选取的对应三维世界坐标原点的图像平面上一点坐标为T，K为摄像机内参数矩阵，R为摄像机的外参数旋转矩阵，T为摄像机的外参数平移矩阵，λ4为缩放因子。 根据本专利技术的实施例，所述估计摄像机参数，是由摄像机高度平面上任意一点在图像上的投影在两个水平消失点连线上，得到一组摄像机参数的约束关系为 (u-u1)(v1-v2)-(v-v1)(u1-u2)＝0 式中T为任意一个摄像机高度平面上的点在图像上投影的齐次坐标，T为由第一直线集估计的消失点的齐次坐标，T为由第二直线集估计的消失点的齐次坐标。 根据本专利技术的实施例，所述估计摄像机参数，是通过摄像机光心位置在三维坐标系的摄像机高度平面上，得到一组摄像机参数的约束关系为 式中T为光心位置在三维坐标系下的坐标，R为摄像机的外参数旋转矩阵，T为摄像机的外参数平移矩阵。 根据本专利技术的实施例，所述运动目标区域的速度方向是通过计算单位时间内运动目标区域质心位置的偏移。 摄像机标定是智能视觉监控中的关键技术，是很多智能视觉监控系统中不可或缺的关键环节。摄像机自标定可大大提高智能视觉监控算法的可扩展性，替代手工标定的工作量和误差。用于监控场景中的物体分类识别，补偿二维图像特征固有的透视变形。用于监控场景中的基于三维模型的物体识别，获得三维姿态和轨迹，有效帮助系统理解场景中发生的行为。 本专利技术摄像机自标定的方法不需要对大场景进行大规模的手工测量，可大大提高智能视觉监控算法的可扩展性，替代手工标定的工作量和误差。基于视频，仅仅需要知道摄像机高度，无需测量其他点、线距离，即可实现摄像机的完全标定。该方法准确、便捷，且具有一定的鲁棒性。监控场景的自标定可以应用在如下方面 (1)用于基于图像或视频的测量，通过图像或视频中的点距离、线夹角估计三维世界中真实的点距离、线夹角。 (2)用于智能监控中的目标分类，首先补偿二维图像特征的透视变形，提高分类准确率。 (3)用于智能监控系统中的基于三维模型的物体识别，提供三维世界和二维图像之间的对应关系，有效帮助系统理解场景中发生的行为。 附图说明 图1示出本专利技术基于在线学习方法的运动目标分类的流程框图。 本文档来自技高网...
【技术保护点】
一种基于运动目标表象和运动信息的摄像机自标定方法，其特征在于：其包括如下步骤： 步骤Ｓ１：通过背景建模和前景提取方法，检测监控场景中的运动目标区域； 步骤Ｓ２：对检测到的每个运动目标区域提取图像平面上运动目标区域的速度方向和运动目标区域的主轴方向； 步骤Ｓ３：根据每个运动目标区域所提取的图像平面上运动目标区域的速度方向和运动目标区域的主轴方向，对运动目标区域进行粗分类； 步骤Ｓ４：根据运动目标区域的梯度、形状表象特征和速度运动特征估计三个对应相互垂直方向的消失点； 步骤Ｓ５：根据三个相互垂直的消失点和摄像机高度，估计出摄像机的内外参数。
【技术特征摘要】
【专利技术属性】
技术研发人员：谭铁牛，黄凯奇，张兆翔，李敏，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：11[中国|北京]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。