动态视频编辑中的背景特征点识别方法及装置制造方法及图纸

本发明专利技术公开一种动态视频编辑中的背景特征点识别方法及装置，能够在高度动态的情景中，准确识别出视频中的背景特征点。所述方法包括：S1、将视频划分为多个重叠的时间窗口，对每个时间窗口内的特征点进行基于运动特征的分类；S2、通过将每个时间窗口内的特征点类视为一个图节点，在相邻时间窗口中具有的相同特征点的数量不小于第一数值的图节点之间加入边构建加权有向图，并通过动态规划算法在图模型找到一条边权重之和最小的全局最优路径，其中，所述加权有向图的边的权重取决于运动轨迹矩阵的秩和相同特征点的数目；S3、根据颜色和空间特征，对非背景点再分类，将与已有背景点运动一致的点添加至背景点集中。

【技术实现步骤摘要】

本专利技术涉及动态视频编辑领域，具体涉及一种动态视频编辑中的背景特征点识别方法及装置。
技术介绍
通过视频序列估算相机的移动路径，是许多视频编辑和视频增强应用中的基本任务。例如，手提式摄像机拍摄出的视频经常会有不稳定、不定向的相机移动，让视频的观看体验很差，视频稳像(videostabilization)旨在解决这一问题。为了估算原相机路径而提取稀疏特征点，是当前视频稳像方法中重要的第一步，也是视频快速编辑传播中的重要步骤。例如，若想在移动相机拍摄出的视频背景中插入新物体，一旦估算出可靠的相机路径，用户就可以简单地将物体置于第一帧，然后自动传播到余下的视频序列中。在之前的研究中，相机路径常常通过提取稀疏特征点来估算，并用来计算相邻帧间的转换关系，例如单应矩阵(homography)。之前的研究有一个普遍的假设，即提取出的特征点主要都位于视频中的静态背景区域中，它们在帧间的位移仅仅源于相机移动。为了提高鲁棒性，RANSAC方法经常用于过滤掉一些异常的特征点，然而这种简单的筛选方法不足以处理包含大量移动物体的动态视频。在这类视频中，背景被严重遮挡，因此特征点反而主要位于移动的物体中。此外，如果物体和相机都剧烈运动，视频中的背景部分将不断改变，这使得背景追踪不可能长时间的实现。由于没有更鲁棒的特征筛选方法，当前的视频编辑应用都不能在此类场景中正确估算出相机路径。
技术实现思路
针对现有技术存在的不足和缺陷，本专利技术提供一种动态视频编辑中的背景特征点识别方法及装置。一方面，本专利技术实施例提出一种动态视频编辑中的背景特征点识别方法，包括：S1、将视频划分为多个重叠的时间窗口，对每个时间窗口内的特征点进行基于运动特征的分类；S2、通过将每个时间窗口内的特征点类视为一个图节点，在相邻时间窗口中具有的相同特征点的数量不小于第一数值的图节点之间加入边构建加权有向图，并通过动态规划算法在图模型找到一条边权重之和最小的全局最优路径，其中，所述加权有向图的边的权重取决于运动轨迹矩阵的秩和相同特征点的数目；S3、根据颜色和空间特征，对非背景点再分类，将与已有背景点运动一致的点添加至背景点集中。另一方面，本专利技术实施例提出一种动态视频编辑中的背景特征点识别装置，包括：分类单元，用于将视频划分为多个重叠的时间窗口，对每个时间窗口内的特征点进行基于运动特征的分类；寻找单元，用于通过将每个时间窗口内的特征点类视为一个图节点，在相邻时间窗口中具有的相同特征点的数量不小于第一数值的图节点之间加入边构建加权有向图，并通过动态规划算法在图模型找到一条边权重之和最小的全局最优路径，其中，所述加权有向图的边的权重取决于运动轨迹矩阵的秩和相同特征点的数目；添加单元，用于根据颜色和空间特征，对非背景点再分类，将与已有背景点运动一致的点添加至背景点集中。传统的背景提取和运动分析方法提出了许多理想化的假设，如相机静止，长时间大量特征点可被追踪，移动物体很少且很小等。与传统方法不同的是，本专利技术基于真实场景提出了两点平凡假设：一、背景在视频中始终有部分可见；二、在短时间内，一些背景特征点可以被提取并追踪。本专利技术基于计算机视觉领域的一个著名理论，即不同移动状态的特征点可以视作位于不同的线性子空间，主要分为两个阶段：局部运动分析和全局最优化，最后还会有背景标注的细化。根据前述假设，在利用已有的视频特征点提取与跟踪方法得到的特征点序列上，本专利技术经过三个阶段完成特征点中属于背景特征点的识别过程：在局部运动分析阶段，将长动态视频划分为相互重叠的多个时间窗口，在每个窗口内进行局部运动分析，对局部窗口中包含的特征点进行分类：在全局最优化阶段，每一个划分的窗口中的特征点子类别被视作一个图节点，然后通过时空图优化得到包含有贯穿整段视频的背景特征点序列，该序列具有所包含的特征点内在运动复杂度最低的特点；在背景标注的细化阶段，对剩余特征点再分类，将与已有背景点运动一致的点添加至背景点集中，以解决因背景特征点可能存在不同的运动，导致被分开到不同类别中，将只有部分背景特征点被正确标注的问题。作为一种先进的特征筛选工具，本专利技术可以直接更鲁棒地估算相机路径，并大大提高现有视频编辑方法在复杂场景中的性能，可以应用于许多重要任务中，例如视频去抖动(stabilization)、背景重构(backgroundreconstruction)和视频物体合成(videoobjectcomposition)。附图说明图1为本专利技术动态视频编辑中的背景特征点识别方法一实施例的流程示意图；图2为本专利技术动态视频编辑中的背景特征点识别方法另一实施例的部分流程示意图；图3为本专利技术动态视频编辑中的背景特征点识别装置一实施例的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参看图1，本实施例公开一种动态视频编辑中的背景特征点识别方法，包括：S1、将视频划分为多个重叠的时间窗口，对每个时间窗口内的特征点进行基于运动特征的分类；本方法专利技术关注于找到特征点中的背景部分，任何可靠的特征点检测和跟踪算法都可以用于初始化，比如可以选用较为成熟的KLT方法作为特征点提取与跟踪的基本方法。从而得到了每个特征点在每一帧对应的二维坐标。对于长动态视频，特征点经常消失，并且不断有新的特征点出现。在没有出现的帧的对应位置，可以设定特殊值，如-1，来表示其无效性。在特征点追踪之后，视频被切分为K个重叠的时间窗口(如图2所示)，每个时长W帧，重叠帧数为W/2。对于帧率为30的视频，W固定取值可以为40。对于在第k个窗口中出现时长超过0.5W帧的特征点，将其添加到特征点集中，特征点集中的点将参与之后的运动分析。由于过短的特征点可靠性不足，这样就能将它们排除掉。如图2所示，在时间窗口切分后，需要对每个时间窗口内的特征点进行分类，得到特征点类。对于将特征点基于运动特征进行分类，可以采用现有的方法，此处不再赘述。S2、通过将每个时间窗口内的特征点类视为一个图节点，在相邻时间窗口中具有的相同特征点的数量不小于第一数值的图节点之间加入边构建加权有向图，并通过动态规划算法在图模型找到一条边权重之和最小的全局最优路径，其中，所述加权有向图的边的权重取决于运动轨迹矩阵的秩和相同特征点的数目；对于第k个窗口，局部运动分析得到了个特征点类。运动的摄像机拍摄出的动态视频中，背景点轨迹矩阵的秩将小于其他的前景特征点，基于两点原因：(1)背景运动可近似为单应变换，它比典型的前景物体运动简单；(2)背景运动仅仅由摄像机运动造成，而前景运动包含相机运动和物体运动两部分。本方法通过检测每个图节点的运动轨迹矩阵的秩，来分析局部运动的复杂性。为了识别其中的背景部分，如图2所示，在得到特征点类后，本方法对整个视频构建了一个加权有向图。将每个窗口中的特征点定义为节点，每个节点代表一个特征点类。若相邻窗口的两个类中具有的相同特征点的数量不小于第一数值，则在两个对应节点间添加箭头。从第k个时间窗口的图节点i指向第k+本文档来自技高网...

【技术保护点】
一种动态视频编辑中的背景特征点识别方法，其特征在于，包括：S1、将视频划分为多个重叠的时间窗口，对每个时间窗口内的特征点进行基于运动特征的分类；S2、通过将每个时间窗口内的特征点类视为一个图节点，在相邻时间窗口中具有的相同特征点的数量不小于第一数值的图节点之间加入边构建加权有向图，并通过动态规划算法在图模型找到一条边权重之和最小的全局最优路径，其中，所述加权有向图的边的权重取决于运动轨迹矩阵的秩和相同特征点的数目；S3、根据颜色和空间特征，对非背景点再分类，将与已有背景点运动一致的点添加至背景点集中。

【技术特征摘要】
1.一种动态视频编辑中的背景特征点识别方法，其特征在于，包括：S1、将视频划分为多个重叠的时间窗口，对每个时间窗口内的特征点进行基于运动特征的分类；S2、通过将每个时间窗口内的特征点类视为一个图节点，在相邻时间窗口中具有的相同特征点的数量不小于第一数值的图节点之间加入边构建加权有向图，并通过动态规划算法在图模型找到一条边权重之和最小的全局最优路径，其中，所述加权有向图的边的权重取决于运动轨迹矩阵的秩和相同特征点的数目；S3、根据颜色和空间特征，对非背景点再分类，将与已有背景点运动一致的点添加至背景点集中。2.根据权利要求1所述的方法，其特征在于，在所述对每个时间窗口内的特征点进行基于运动特征的分类之前，还包括：采用KLT方法提取所述视频中的特征点；对于每一个时间窗口，将该时间窗口中出现时长超过0.5W帧的特征点添加到该时间窗口的特征点集中，其中，每个时间窗口时长W帧，重叠帧数为W/2。3.根据权利要求2所述的方法，其特征在于，所述第一数值为10个。4.根据权利要求2所述的方法，其特征在于，从第k个时间窗口的图节点i指向第k+1个时间窗口的图节点j的边的权重的计算公式为wk,k+1i,j=e-αSk,k+1i,jrk,k+1i,j,]]>其中，α为常数，为图节点i和图节点j中相同特征点的数量，为图节点i和图节点j中相同特征点构成的运动轨迹矩阵的秩。5.根据权利要求1所述的方法，其特征在于，所述根据颜色和空间特征，对非背景点再分类，包括：对于每个时间窗口，排除该时间窗口中存在于所述全局最优路径中的特征点，并根据颜色特征和空间特征采用manifoldmeanshiftcluster方法将剩余特征点再分类，其中，所述颜色特征使用该时间窗口被排除的特征点周围邻域的平均Luv颜色值，所述空间特征，使用该时间窗口从初始帧到终止帧里该被排除的特征点在所有帧上归一化后的空间位置求平均得到。6.根据权利要求1所述的方法，其特征在于，所述将与已有背景点运动一致的点添加至背景点集中，包括：对于每个时间窗口，根据该时间窗口被排除的特征点集估算出单应矩阵，再根据所述...

【专利技术属性】
技术研发人员：胡事民，张方略，吴现，王珏，张浩天，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11