本发明专利技术公开了一种基于反馈的前景轨迹判断方法和装置。所述方法包括：从每一图像帧中提取第一预定数量的特征点，并通过图像帧间的匹配生成特征点轨迹；从所述特征点轨迹筛选出被连续跟踪上的图像帧数目大于或等于第二预定数目并且被判为前景轨迹次数小于第三预定数目的特征点轨迹集合；针对特征点轨迹集合，从第一帧开始，计算当前帧与相邻帧之间的单应矩阵，并利用所述单应矩阵对所述特征点轨迹集合中的每一特征点在相邻帧中的坐标进行重投影；经过第二预定数目次数的重投影后，根据所述重投影结果确定所述特征点轨迹是否为确定的前景轨迹。本发明专利技术能够判定出属于前景物体和将受视差干扰的特征点轨迹，将其当作前景轨迹判定出来。
【技术实现步骤摘要】
本专利技术涉及数字图像处理和智能交通
，尤其涉及一种用于消除视频抖动的前景轨迹判定方法和装置。
技术介绍
近些年，伴随汽车工业的蓬勃发展，交通安防监控设备的应用越来越普及，由其带来的监控视频效果也愈发引起重视。车载或手持等移动监控设备拍摄时难免抖动，抖动的监控视频严重影响了观看效果，对判断车辆的行驶行为造成干扰。因此，消除视频抖动在视频监控、智能交通等领域成为迫切需要解决的问题。交通视频通常包含快速移动的交通工具和相对固定的道路、天空、绿化带等背景物体这两部分。为与背景物体对应，我们把快速移动的物体称为前景物体。对于移动设备拍摄的视频，背景物体和前景物体都在运动。前景的运动量包含前景本身和摄影器材的运动，而背景的运动量只是摄影器材本身的运动，其中的抖动部分是需要抑制和消除的。由此可见，从抖动的视频中分离并判断出前景物体和背景物体是消除交通视频抖动的重要一环。针对移动设备拍摄的视频，现有的去抖方法很多，总体上可以分为两大类：借助于特征匹配等图像配准技术的2D方法和基于SFM方法(参见文献【1】R.I.Hartley and A.Zisserman，Multiple View Geometry in Computer Vision.Cambridge Univ.Press，2000.2341-2353)恢复相机3D运动和特征点3维轨迹信息的3D方法。对于只包含平面运动的场景，2D方法处理速度快，平滑效果好。但是该方法无法处理非平面内的运动，对视差较为敏感，比如明显的景深变化，2D方法彻底失效。3D方法虽然从根本上解决了视差的影响，但是在遇到明显的平面运动时，会引起过处理，且SFM方法复杂，耗时严重。近年来，研究者们纷纷致力于将二者的优势结合起来，尽量避免二者的劣势，这其中关键就在于如何检测出避免前景物体或者视差带来的恶劣影响。文献【2】(LIU，F.，GLEICHER，M.，WANG，J.，JIN，H.，AND AGARWALA，A.，“Subspace video stabilization”.ACM Trans.Graph.30，2011)针对近乎静止背景的视频，提出不恢复3D场景信息，而是利用子空间特性(参考文献【3】M.Irani，“Multi-frame correspondence estimation using subspace constraints，”International Journal of Computer Vision，vol.48，no.3，pp.173-194，2002)将轨迹矩阵限制在二维，大大降低了计算量。由于该子空间特性只针对静止场景有效，所以根据降维前、后的误差可以有效检测出运动物体的特征点轨迹。用这种方法区分出属于前景物体的特征点轨迹并剔除之，改善了近似静止拍摄的视频的去抖效果。但是该方法无法处理背景快速移动的视频。为此，文献【4】(A.Goldstein and R.Fattal，“Video Stabilization Using Epipolar Geometry，”ACM Trans.Graphics，vol.31，pp.1-10，2012)提出使用“外极约束”来剔除属于前景运动物体的特征点轨迹，极大地提高了算法对背景快速运动和包含大的前景运动物体的视频的鲁棒性。另外，受视差干扰的特征点轨迹也会因为不满足外极约束被检测出来。所以，该方法能有效判定出一条轨迹是否受属于前景运动物体和视差。然而，该算法假设每一帧中背景轨迹都占据大多数，以保证前景轨迹判定过程中计算出的基础矩阵是精确的。这个假设存在明显的局限性，即使将每一帧图像分块并限制基础矩阵计算过程中每个块中进入RANSAC过程的特征点数量，在大的前景物体(比如车辆)非常靠近相机时候，仍不能保证上述假设成立。因此，该前景判定方法仍存在一定弊端。以上两个方法都是主动检测出前景物体轨迹，而文献【5】(Joshi，N.，Kienzle，W.，Toelle，M.，Uyttendaele，M.，Cohen，M.2015.Real-Time Hyperlapse Creation via Optimal Frame Selection.ACM Trans.Graph.34，4，Article 63(August 2015)，9pages)提出了一种新的方法来自动避免前景点的恶劣影响。它提出，使用RANSAC算法(参考文献【6】Liu，S.，Yuan，L.，Tan，P.，Sun，J.2013.Bundled camera paths for video stabilization.ACM Trans.Graph.32，4(July)，78：1-78：10)计算连续多帧之间的帧间单应矩阵从而筛选出这些连续帧之间最大的一组内点，保证这一组帧间单应矩阵能将这组内点由最初的位置映射到各个相邻帧中的正确位置，而所筛选出的那组内点就被认为是背景特征点。这样就自动剔除了前景点，即外点的影响。该方法在遭遇大的前景物体遮挡时，仍能达到很好的去抖效果。但是该方法并不是主动判定出一个特征点或者一条特征点轨迹是否属于背景或者前景，而只是为了计算出一组合理的帧间单应矩阵，并且，由于帧间单应矩阵模型本身的缺陷，所以该方法再面对大视差时会如同其他2D算法一样失效。所以该方法不能直接用于经常包含快速景深变化的交通视频的去抖。
技术实现思路
有鉴于此，本专利技术提出了一种基于反馈的前景轨迹判定方法，可以有效地判定出属于前景物体的特征点轨迹。特别地，受视差干扰的特征点轨迹也将会由于与背景轨迹之间的不一致性而被当作前景轨迹判定出来。即，属于前景物体的特征点轨迹和受视差干扰的特征点轨迹都将会被识别出来，从而与真正代表相机本身运动趋势的背景轨迹区别开来。而且，通过反馈，得以将之前的判定结果予以有效利用，保证了该判定方法在前景物体越来越大的时候，仍能正确地运行，对大的前景物体的鲁棒性得以保证。根据本专利技术一方面，提供了一种基于反馈的前景轨迹判断方法，包括：从每一图像帧中提取第一预定数量的特征点，并通过图像帧间的匹配生成特征点轨迹；从所述特征点轨迹筛选出被连续跟踪上的图像帧数目大于或等于第二预定数目并且被判为前景轨迹次数小于第三预定数目的特征点轨迹集合；针对特征点轨迹集合，计算当前帧与相邻帧之间的单应矩阵，并利用所述单应矩阵对所述特征点轨迹集合中的每一特征点轨迹在相邻帧中的坐标进行重投影；根据所述重投影结果确定所述特征点轨迹是否为确定的前景轨迹，并从重投影过程中剔除确定的前景轨迹。根据本专利技术另一方面，提供了一种基于反馈的前景轨迹判断装置，包括：轨迹提取模块，用于从每一图像帧中提取第一预定数量的特征点，并通过图像帧间的匹配生成特征点轨迹；轨迹筛选模块，用于从所述特征点轨迹筛选出被连续跟踪上的图像帧数目大于或等于第二预定数目并且被判为前景轨迹次数小于第三预定数目的特征点轨迹集合；重投影模块，用于针对特征点轨迹集合，计算当前帧与相邻帧之间的单应矩阵，并利用所述单应矩阵对所述特征点轨迹集合中的每一特征点轨迹在相邻帧中的坐标进行重投影；反馈并前景轨迹判断模块，用于根据所述重投影结果确定所述特征点轨迹是否为确定的前景轨迹，并从重投影过程中剔除确定的前景轨迹。本专利技术提出本文档来自技高网...
【技术保护点】
一种基于反馈的前景轨迹判断方法，其特征在于，包括：从每一图像帧中提取第一预定数量的特征点，并通过图像帧间的匹配生成特征点轨迹；从所述特征点轨迹筛选出被连续跟踪上的图像帧数目大于或等于第二预定数目并且被判为前景轨迹次数小于第三预定数目的特征点轨迹集合；针对特征点轨迹集合，计算当前帧与相邻帧之间的单应矩阵，并利用所述单应矩阵对所述特征点轨迹集合中的每一特征点轨迹在相邻帧中的坐标进行重投影；根据所述重投影结果确定所述特征点轨迹是否为确定的前景轨迹，并从重投影过程中剔除确定的前景轨迹。
【技术特征摘要】
1.一种基于反馈的前景轨迹判断方法，其特征在于，包括：从每一图像帧中提取第一预定数量的特征点，并通过图像帧间的匹配生成特征点轨迹；从所述特征点轨迹筛选出被连续跟踪上的图像帧数目大于或等于第二预定数目并且被判为前景轨迹次数小于第三预定数目的特征点轨迹集合；针对特征点轨迹集合，计算当前帧与相邻帧之间的单应矩阵，并利用所述单应矩阵对所述特征点轨迹集合中的每一特征点轨迹在相邻帧中的坐标进行重投影；根据所述重投影结果确定所述特征点轨迹是否为确定的前景轨迹，并从重投影过程中剔除确定的前景轨迹。2.如权利要求1所述的方法，其特征在于，在上述前景轨迹判断方法的整个过程中，利用轨迹矩阵记录每一特征点轨迹的信息。3.如权利要求2所述的方法，其特征在于，所述轨迹矩阵记录的信息包括：特征点描述符、该特征点轨迹一共被跟踪的帧数count、该特征点轨迹上一次被跟踪上的帧号last_number、该特征点轨迹被连续跟踪上的帧数continuity、该特征点轨迹是否为前景轨迹foreground和该特征点轨迹在最近连续预定个图像帧中的坐标向量trj_cor。4.如权利要求1-3任一项所述的方法，其特征在于，所述第二预定数目为高斯低通滤波窗口大小。5.如权利要求1-3任一项所述的方法，其特征在于，所述根据所述重投影结果确定所述特征点轨迹是否为确定的前景轨迹包括：对于每一特征点轨迹，在经过(第二预定数目-1)/2次重投影后，当利用所述单应矩阵计算得到的重投影误差大于预定阈值时，将所述特征点轨迹判定为确定的前景轨迹，否则为潜在背景轨迹。6.如权利要求2-3任一项所述的方法，其特征在于，所述方法还包括：更新轨迹矩阵中的信息。7.如权利要求2-3任一项所述的方法，其特征在于，所述轨迹矩阵保存所有出现过的特征点的描述符，每一图像帧中提取出的特征点的描述符都与所述轨迹矩阵所保存的特征点的描述符...
【专利技术属性】
技术研发人员：凌强，邓思斌，刘刚，李峰，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。