一种同时适应于静止相机和运动相机的前景目标提取方法技术

本发明专利技术公开了一种同时适应于静止相机和运动相机的前景目标提取方法，包括如下步骤：构建视频序列时域交叠的多组近邻帧窗口，求解近邻帧窗口的几何运动模型；结合所述运动模型，计算视频序列长时运动轨迹的平均投影误差；将投影误差升序得到排序后的误差曲线，求解曲线拐点得到长时运动轨迹的前/背景标记信息；结合长时运动轨迹的前/背景标记信息，构建数据项和权重项；结合光流和颜色信息，构建时域平滑项和空域平滑项；结合数据项、权重项、时域平滑项和空域平滑项，构建马尔可夫随机场模型的能量函数，求解能量函数得到前景目标提取结果。本发明专利技术将不同类型视频序列统一在一个方法框架中，可以广泛应用于电影片段、监控平台和移动载体等多种视频序列的前景目标提取。

【技术实现步骤摘要】
一种同时适应于静止相机和运动相机的前景目标提取方法
本专利技术属于图像处理、计算机视觉和模式识别等
，具体涉及一种同时适应于静止相机和运动相机的前景目标提取方法。
技术介绍
前景目标提取是智能视频监控的一个重要而基础的内容，是后续目标跟踪、目标分类以及行为理解的基础，前景目标提取结果的好坏直接影响到这些后续应用的质量。根据摄像机是否运动，前景目标提取可分为静止相机捕获视频序列和运动相机捕获视频序列两类。在静止相机的前景目标提取中，摄像机与监控场景保持相对静止，在此类摄像机静止——目标运动的情形下，前景目标的提取较为容易，常用的方法包括帧间差分法、背景建模法等，特别是背景建模法可以适应场景的微弱变化和噪声扰动，在很多商业系统中得到了广泛应用中，如混合高斯模型(GaussianMixtureModels)、码本背景模型(CodeBookModels)、视觉背景提取模型(VisualBackgroundExtractorModels)等。而在实际应用中，运动相机的前景目标提取更加普遍，例如，在互联网视频网站上，绝大部分电影片段通过手持式相机获取，其捕获的视频序列中往往包含着复杂的背景变化；在车载平台、机器人等移动载体上，摄像机需要在运动过程中完成对目标的采集工作；在PTZ相机视觉系统中，PTZ摄像机一般按照预先设定的路线监控大场景，摄像机运动同样会导致复杂的背景运动。上述摄像机运动——目标运动的情况增加了前景目标提取的难度，而前述静止相机的提取算法也将不再适用。针对运动相机的前景目标提取，许多研究人员展开了深入的研究，并提出了部分解决方法。中国专利CN102156995A公开了一种运动相机下基于低秩约束的前景目标提取方法，该方法通过低秩约束将视频序列提取的长时运动轨迹分类为背景轨迹和运动目标轨迹，并利用分类后的轨迹构造背景和运动目标的表观模型，从而获得前景目标的提取结果。Elqursh等人在文献“Onlinemovingcamerabackgroundsubtraction”中提出了一种基于轨迹聚类分析和颜色模型迭代学习的前景目标提取方法，该方法首先通过距离度量产生运动轨迹的相似性矩阵，并在谱空间进行聚类，然后利用聚类的紧凑程度、谱空间的离散度以及背景和前景的位置关系，对上一步的聚类结果进行前背景标记，然后根据像素点之间的颜色属性对每个像素进行标记，从而获得最终的前景目标提取结果。上述两种现有技术均有效利用了视频序列中的运动线索，在运动相机捕获视频序列中可以获得较好的前景提取结果，但是，所有包括这两篇文献在内的现有技术均无法适应于静止相机的前景目标提取，而实际应用中，运动相机捕获的视频序列中常常包含静态背景的情况，如PTZ摄像机不断改变参数对场景进行巡回监视时，PTZ摄像机为运动相机，而其参数固定不变监视某一特定场景时，又等价于静止相机。因此，寻找一种同时适应于静止相机和运动相机的前景目标提取方法是一个亟需解决的技术问题。
技术实现思路
本专利技术的目的在于解决现有技术中存在的技术问题，提出一种同时适应于静止相机和运动相机的前景目标提取方法。为了实现上述目的，本专利技术采用的技术方案包括以下步骤：S1构建视频序列时域交叠的多组近邻帧窗口，求解近邻帧窗口的几何运动模型；S2结合运动模型，计算视频序列长时运动轨迹的平均投影误差；S3将投影误差升序得到排序后的误差曲线，求解曲线拐点得到长时运动轨迹的前/背景标记信息；S4结合长时运动轨迹的前/背景标记信息，构建数据项和权重项；S5结合光流和颜色信息，构建时域平滑项和空域平滑项；S6结合数据项、权重项、时域平滑项和空域平滑项，构建马尔可夫随机场模型的能量函数，求解能量函数得到前景目标提取结果。所述步骤S1具体包括如下步骤：S11提取视频序列的长时运动轨迹其中n为长时运动轨迹的数目，ti和Ti为运动轨迹Λi的初始帧和结束帧序号，为运动轨迹Λi在第l(ti≤l≤Ti)帧图像上的齐次坐标；S12构建视频序列时域交叠的多个近邻帧窗口，其中近邻帧为间隔为t的任意两帧图像；S13采用模型估计算法求解每个近邻帧窗口的几何单应模型。所述步骤S12中参数t＝6，步骤S13的模型估计算法为采用RANSAC算法。所述步骤S2具体包括如下步骤：S21获得长时运动轨迹在其跟踪周期内通过的几何单应模型集合；S22计算长时运动轨迹通过单应模型集合的平均投影误差，其中运动轨迹平均投影误差εi的计算公式为：所述步骤S3具体包括如下步骤：S31将所有长时运动轨迹的平均投影误差升序得到排序后的投影误差曲线，其中横坐标为轨迹序号，纵坐标为平均投影误差；S32求取投影误差曲线的两个拐点τL和τH；S33将长时运动轨迹的平均投影误差与拐点进行比较，得到每条运动轨迹的前/背景标号，计算公式为：所述步骤S4具体包括如下步骤：S41将视频序列过分割得到超像素集合S42结合运动轨迹的前/背景标记信息，计算视频序列每个超像素的数据项惩罚函数其中Nic代表超像素ri内部分类标签为c的运动轨迹点数目，c的取值为0或1，0表示背景，1表示前景；S43构建超像素标记的数据项的权重系数λi。所述步骤S43具体包括如下步骤：a)在视频序列运动轨迹点的基础上构建Delaunay三角网，如果三角形的三个顶点同时为背景点或前景点，则认为该三角形内部为标签一致性区域；b)统计视频序列每个超像素与标签一致性区域的面积重合比例，并确定重合比例的最大值；c)将重合比例最大值与给定阈值th进行比较，若大于该阈值，则权重系数λi＝1，否则λi＝0。所述步骤S5具体包括如下步骤：S51利用光流信息，计算视频序列每个超像素的时域平滑项惩罚函数其中ζ(i)为超像素ri的时域近邻超像素集合，r′i为超像素ri经过帧间光流补偿在下一帧图像的映射区域，A′i和Ak分别为超像素r′i和rk的面积，A′ik为区域r′i和超像素rk的重合区域面积；S52利用颜色信息，计算视频序列每个超像素的空域平滑项惩罚函数其中ψ(i)为超像素ri的空域近邻超像素集合，ci和cj为超像素ri和rj的质心坐标，bij∈[0,1]代表空域近邻超像素ri和rj颜色信息的相似性度量。所述步骤S6包括如下步骤：S61结合数据项惩罚函数fc(ri)、权重系数λi、时域平滑项惩罚函数h(ri,rk)和空域平滑项惩罚函数g(ri,rj)，构建马尔可夫随机场模型的能量函数S62求解能量函数获得超像素集合对应的分类标签集L＝{l1,l2,...,lm}，其中，m为超像素数目，li的取值为0或1，0代表背景，1代表前景。所述步骤S62通过图割算法求解L＝{l1,l2,...,lm}的取值。与现有技术相比，本专利技术具有以下有益效果：本专利技术首次将视频序列建模为时域交叠的多组近邻帧窗口，每组近邻帧窗口满足几何单应模型，而对于静止相机捕获的视频序列，所述单应模型将退化为单位阵，因此所述多组近邻帧单应模型可以将静止相机和运动相机捕获视频序列有效统一；另外，本专利技术以超像素为基本单元，以运动轨迹通过所述模型后的前/背景标记结果为基础，结合空域颜色信息和时域光流信息，构建马尔可夫随机场模型的能量函数，从而获得更为准确稠密的前景目标提取结果。附图说明图1是本专利技术的流程图；图2是本专利技术运动轨迹的投影误差曲线及其拐点示意图本文档来自技高网...

【技术保护点】
一种同时适应于静止相机和运动相机的前景目标提取方法，其特征在于，包括如下步骤：S1构建视频序列时域交叠的多组近邻帧窗口，求解近邻帧窗口的几何运动模型；S2结合运动模型，计算视频序列长时运动轨迹的平均投影误差；S3将投影误差升序得到排序后的误差曲线，求解曲线拐点得到长时运动轨迹的前/背景标记信息；S4结合长时运动轨迹的前/背景标记信息，构建数据项和权重项；S5结合光流和颜色信息，构建时域平滑项和空域平滑项；S6结合数据项、权重项、时域平滑项和空域平滑项，构建马尔可夫随机场模型的能量函数，求解能量函数得到前景目标提取结果。

【技术特征摘要】
1.一种同时适应于静止相机和运动相机的前景目标提取方法，其特征在于，包括如下步骤：S1构建视频序列时域交叠的多组近邻帧窗口，求解近邻帧窗口的几何运动模型；S2结合运动模型，计算视频序列长时运动轨迹的平均投影误差；S3将投影误差升序得到排序后的误差曲线，求解曲线拐点得到长时运动轨迹的前/背景标记信息；S4结合长时运动轨迹的前/背景标记信息，构建数据项和权重项；S5结合光流和颜色信息，构建时域平滑项和空域平滑项；其具体方法如下：S51利用光流信息，计算视频序列每个超像素的时域平滑项惩罚函数其中ζ(i)为超像素ri的时域近邻超像素集合，r′i为超像素ri经过帧间光流补偿在下一帧图像的映射区域，A′i和Ak分别为超像素ri'和rk的面积，A′ik为区域ri'和超像素rk的重合区域面积；S52利用颜色信息，计算视频序列每个超像素的空域平滑项惩罚函数其中ψ(i)为超像素ri的空域近邻超像素集合，ci和cj为超像素ri和rj的质心坐标，bij∈[0,1]代表空域近邻超像素ri和rj颜色信息的相似性度量；S6结合数据项、权重项、时域平滑项和空域平滑项，构建马尔可夫随机场模型的能量函数，求解能量函数得到前景目标提取结果。2.如权利要求1所述的一种同时适应于静止相机和运动相机的前景目标提取方法，其特征在于，所述步骤S1具体包括如下步骤：S11提取视频序列的长时运动轨迹Λ＝{Λi,i＝1,...,n},其中n为长时运动轨迹的数目，ti和Ti为运动轨迹Λi的初始帧和结束帧序号，为运动轨迹Λi在第l(ti≤l≤Ti)帧图像上的齐次坐标；S12构建视频序列时域交叠的多个近邻帧窗口，其中近邻帧为间隔为t的任意两帧图像；S13采用模型估计算法求解每个近邻帧窗口的几何单应模型。3.如权利要求2所述的一种同时适应于静止相机和运动相机的前景目标提取方法，其特征在于，所述步骤S12中参数t＝6，步骤S13的模型估计算法为采用RANSAC算法。4.如权利要求1所述的一种同时适应于静止相机和运动相机的前景目标提取方法，其特征在于，所述步骤S2具体包括如下步骤：S21获得长时运动轨迹在其跟踪周期内通过的几何单应模型集合；S22计算长时运动轨迹通过单应模型集合的平均投影误差，其中运动轨迹平均投影误差εi的计算公式为：

【专利技术属性】
技术研发人员：崔智高，李艾华，王涛，
申请(专利权)人：中国人民解放军第二炮兵工程大学，
类型：发明
国别省市：陕西;61