一种全景视频中目标物体的自动跟踪方法技术

一种全景视频中目标物体的自动跟踪方法，步骤为：（１）获取目标物体在全景视频中的位置；（２）检查该目标在立方体全景中的运动是否出现穿越面的现象，如果是则进入步骤（３），否则进入步骤（４）；（３）对目标物体原所在面的图像进行一种扩展；（４）沿对极线方向进行搜索匹配，获取目标物体物的运动向量；（５）根据步骤（４）的结果进行判断，如果没有目标匹配，则结束跟踪；否则转入步骤（２）。本发明专利技术可用于实现全景视频中目标物体的自动跟踪，能有效减少跟踪过程中的搜索范围，并保证目标物体跟踪的快速和稳定性。

【技术实现步骤摘要】

本专利技术涉及全景视频技术和目标跟踪领域，更具体的讲，涉及一种对全景视频中 目标跟踪的方法。
技术介绍
全景图像是由在某一点拍摄的多幅不同方向的实景图像拼接而成的。其具体的生 成过程是将相互重叠图像映射到简单的几何体表面上，如球面、立方体表面或圆柱面，然 后对投影图像进行无缝拼接，就可以得到全景图像。根据所映射的几何体，全景图像可以分 为柱面全景图像、球面全景图像和立方体全景图像。全景视频是由具有一些有时间关联的 全景图像序列组成，从视频中可以获取真实的全景景象，并且可以通过时间来定位视频帧。拍摄静止场景的立方体全景视频的全局运动通常以水平运动为主，覆盖了 360度 场景范围，对于连续多帧的全景图像而言，目标物体会从立方体全景的一个面移动到相邻 面。由于其具有动态背景，不适合使用背景差的方法进行动态物体的检测和跟踪，因此需要 设计一种快速高效的立方体全景视频中的目标跟踪方法。专利号为us 6-924-832B1的美 国专利技术专利”METHOD，APPARATUS AND COMPUTER PROGRAM PRODUCT FOR TRACKING OBJECT IN A WARPED VIDEO IMAGE”提出了一种在全景视频中跟踪物体的方法，其根据用户观看的 角度由全景视频图像映射成用户视图，并将其作为目标跟踪的输入图像。跟踪过程中建立 目标物体的模型，并根据前后帧建立跟踪目标出现在不同区域的概率，以较大概率的位置 作为目标的新位置。该专利技术的前提是用户不会出现漏检，其所关注的方向一定包含需要跟 踪的物体，并且没有利用全景视频中目标物体的运动趋势和对应关系，因而对于全景视频 的跟踪效率不高。申请号为200410016455. 9，公开号CN1658670A的中国专利技术专利“具有多 摄像机的智能跟踪监控系统”，采用了一个全景摄像机和一个或一个以上的跟踪摄像机，在 全景摄像机发现移动目标时，通过跟踪摄像机分别跟踪多个移动目标，获取高清晰图像。该 方法中的相机位置是静止的，获取的视频具有静态背景，所以使用背景差的方法很容易实 现前景物体的跟踪，主要适用于多目标的视频监控，对于具有动态背景的全景视频，利用背 景差检测和跟踪移动目标是不合适的。对于拍摄静止场景的立方体全景视频而言，全景摄像机的全局运动通常以平移为 主，前后帧图像之间相机的旋转量很小，对于连续多帧的全景图像而言，拍摄到的静止场景 会沿着特定的方向进行运动，而且会从立方体的一个面移动到相邻面上。
技术实现思路
本专利技术要解决的技术问题是克服现有技术的不足，提供一种全景视频中目标物 体的自动跟踪方法，该方法可以有效的减少跟踪过程中的搜索范围，并保证目标物体跟踪 的快速和稳定性。为了取得上述技术效果，本专利技术所采用的技术方案是由安装在车辆上的全景摄 像机沿道路所拍摄的全景视频图像作为数据输入，获取目标物体的位置后对其进行自动跟踪，具体包含的步骤如下(1)获取目标物体在全景视频图像中的位置。(2)检查该目标在立方体全景中的运动是否出现穿越面的现象，如果是则进入步 骤(3)，否则进入步骤⑷；(3)利用目标物体运动向量方向的邻接图像对原所在面的图像进行一种扩展；(4)沿对极线方向进行搜索匹配，更新目标物体物的运动向量；(5)根据步骤(4)的结果进行判断，如果没有目标匹配，则结束跟踪；否则转入步 骤(2)。本专利技术的原理是对于拍摄静止场景的立方体全景视频来说，摄像机的全局运动 通常以水平运动为主，对于连续多帧的全景图像而言，拍摄到的静止场景会沿着特定的方 向进行运动，而且会从立方体的一个面移动到相邻面上，所以可以根据相邻帧间全景图像 中的目标物体运动趋势和对应关系，构造搜索线对目标进行跟踪，获取相应的运动向量。本专利技术与现有技术相比的优点在于对于拍摄静止场景的立方体全景视频而言， 本专利技术结合全景摄像机全局运动以水平运动为主，旋转量很少的特点，充分利用了相邻视 频帧间目标物体的运动趋势和对应关系，对目标物体进行自动跟踪，有效的减少跟踪过程 中的搜索范围，降低了搜索时间，并保证目标物体跟踪的快速和稳定性。附图说明图1为立方体全景视频中相邻帧间像素的对应关系，其中a为立方体的侧面，b为 立方体的前面，c为立方体的背面；图2为本专利技术在全景视频中目标物体的自动跟踪方法流程；图3为本专利技术中对相关图像扩展示意图；其中a是立方体全景上下面三角形划分 示意图，b是立方体全景上面扩展示意图，c为立方体左面扩展示意图，d为立方体右面扩展 示意图；图4为立方体全景视频中像素运动趋势示意图；图5为使用本专利技术提出方法进行扩展后的图像，a为扩展立方体上面后生成的图 像，b为立方体全景左面扩展后的图像，c为立方体全景右面扩展后生成的图像。图6为对一辆汽车目标的跟踪效果，a f分别为该视频第15、30、35、40、40和60 帧跟踪结果。具体实施方法对于连续多帧的全景图像而言，拍摄到的静止场景会沿着特定的方向进行运动， 而且会从立方体的一个面移动到相邻面上，所以进行目标物体跟踪时，应考虑目标在立方 体相邻面上的运动，并利用像素的运动趋势进行跟踪，如图1所示。图1(a)表示立方体侧 面的当前帧和前一帧的像素对应关系，当前帧的S1部分像素和前一帧的S2部分像素是相 同的，这两部分像素仅仅是在位置上有水平方向上的相对移动。图1(b)和图1(c)分别表 示了立方体前面和背面的当前帧与前一帧的像素对应关系，当前帧的T1部分像素和前一 帧的T2部分像素是类似的。本专利技术提出的全景视频中目标物体的自动跟踪方法流程如图 2所示，其步骤如下(1)获取目标物体在全景视频图像中的位置。在全景视频中获取目标物体的位置，可以通过手动选择目标的图像区域进行标定；也可以通过利用输入的全景视频进行自动的 检测和选择；还可以设定一个兴趣区域，当有运动物体进入兴趣区域后触发一个警报，并启 动跟踪过程。目标区域利用包围盒进行表示，目标位置表示为该包围盒的中心点。设检测 目标包围盒为box = ()，其中xmin和xmax分别为包围盒在图像X轴上 的最小和最大坐标值；同样，ymin和y_为该目标在图像Y轴上的最小和最大坐标值。(2)检查该目标是否出现穿越面的现象，如果是则进入步骤(3)，否则进入步骤 (4)。由于全景视频覆盖360度场景，所以目标在视频的相邻帧间可能发生从立方体全景中 的一个面移动至其它面的情况，即穿越面的现象。当物体运动至立方体两个面的交界处时， 目标将由两个面上的相关像素构成；当运动至立方体的顶角处时，目标则会包括三个面的 图像像素。(3)利用目标物体运动向量方向的邻接图像对原所在面的图像进行扩展。根据目 标物体当前所在面进行全景视频图像的扩展，如图3所示。在图3(a)中，将立方体全景的 上面沿对角线划分为四个三角形，包括由ABQ组成的301、ADQ组成的302、BCQ组成的303 和⑶Q组成的304。其中，直线AM和直线AD重合，同理直线BC和直线BN重合，直线DC同 立方体全景中后面的边界重合。立方体下面的三角形划分及对应的几何关系相似。当目标物体运动至立方体全景的上面时，在图3(b)中，利用公式(1)对原所在面 进行扩展，将三角形301的像素扩展至矩形ABFE上。其中的I(x，y)点为扩展后图像的坐 标，设该点与本文档来自技高网...

【技术保护点】
一种全景视频中目标物体的自动跟踪方法，其特征在于：对连续采集的全景视频进行目标物体的检测，并在后续帧中对检测结果进行自动跟踪，具体包含步骤如下：（１）获取目标物体在全景视频图像中的位置；（２）检查该目标在立方体全景中的运动是否出现穿越面的现象，如果是则进入步骤（３），否则进入步骤（４）；（３）利用目标物体运动向量方向的邻接图像对原所在面的图像进行扩展；（４）沿对极线方向进行搜索匹配，更新目标物体物的运动向量；（５）根据步骤（４）的结果进行判断，如果没有目标匹配，则结束跟踪；否则转入步骤（２）。

【技术特征摘要】

【专利技术属性】
技术研发人员：周忠，牛犇，陈珂，吴威，杨抒，张军，
申请(专利权)人：北京航空航天大学，深圳市亮信科技有限公司，
类型：发明
国别省市：11[中国|北京]