一种基于视频帧间单应性变换的视频稳定方法及系统技术方案

本发明专利技术公开一种基于视频帧间单应性变换的视频稳定方法及系统，属于视频监督技术领域，通过前景掩膜模块对视频内的前景与背景进行有效区分；将前景部分利用掩膜进行覆盖后，通过可信浅层特征提取模块，获取背景区域的有效浅层语义特征；针对背景区域的有效浅层特征，通过局部特征与全局特征关联的运动估计模块，估计连续相邻帧之间的单应性关系；通过视频稳定平滑模块，利用相邻帧之间的运动关系获取的变换帧与参考帧之间单应性使用STN变换实现对整段视频的稳定。本发明专利技术通过提出的前景掩膜与可信浅层特征的有效结合，避免了由大视差引起的伪影或失真现象，以可信浅层特征为基础，建立局部和全局特征关系获得准确的相机运动，最终实现视频稳定。最终实现视频稳定。最终实现视频稳定。

【技术实现步骤摘要】
一种基于视频帧间单应性变换的视频稳定方法及系统


[0001]本专利技术涉及视频监督
，尤其涉及一种基于视频帧间单应性变换的无监督深度视频稳定方法及系统。

技术介绍

[0002]由于专业的视频稳定设备的造价高昂、结构复杂，因此人们开始了对视频稳定算法的开发。传统的视频稳定方法根据是否需要三维重建划分为2D方法和3D方法，两者的主要区别在于特征轨迹平滑和稳定帧生成的方法。
[0003]2D方法通常使用特征匹配技术，利用帧间变换矩阵对视频帧进行稳定，它只估计连续帧之间的线性变换。这类方法具有鲁棒性强、实现速度更快的优点，然而，由于2D方法的线性运动模型太弱，无法从根本上处理场景中由场景深度变化所引起的视差问题。
[0004]3D方法可以解决视差带来的问题，该方法一般利用SFM技术，记录特征轨迹，重建三维位置，最终产生强稳定的结果。例如liu等人利用三维摄像机轨迹和由SFM重建的稀疏三维点云来引导翘曲，通过对摄像机轨迹的平滑实现视频的稳定。虽然得到的稳定效果要优于2D方法，但该方法比较脆弱、鲁棒性差。并且3D方法稳定视频需要昂贵的三维重建成本和大量的时间，因此虽然3D稳定的效果更好，但适用范围却不如2D方法广泛。
[0005]在深度神经网络流行的背景下，出现了基于深度学习的视频稳定方法，大多数方法是构建一种有监督的学习框架，通过对视频历史帧或相邻帧变换的学习，对不稳定帧进行一种预测，从而实现对视频的稳定。例如，Xu等人提出的基于深度学习的视频稳定方法，是利用了视频的历史帧，通过两个相机同时拍摄的内容(稳定和不稳定)进行有监督的学习；Zhao等人又提出了基于深度学习的像素级视频稳定结构PWStableNet来面对具有较大视差的视频。该方法将不稳定帧和其相邻帧的序列作为输入，建立了多级级联编解码器结构，使后一阶段能够从前一阶段的特征映射中学习残差，从而实现稳定。除此之外，一些研究者将其他的技术引入到视频稳定的过程中。例如，Yu等人在稳定的过程中引入了光流图来表示帧间变化，使用不同的光流对视频内的前景与背景进行区分，Karpenko等人还使用陀螺仪进行三维旋转估计来获取更加精确的相机数据。然而，这些方法在最终生成输出帧上仍具有一定的挑战性，在将多个帧的信息进行融合时会不可避免的产生可见的失真和严重的伪影现象。
[0006]因此，设计一种视频稳定方法及系统，有效避免伪影或失真现象的产生，是本领域技术人员亟需解决的问题。

技术实现思路

[0007]有鉴于此，本专利技术提供了一种基于视频帧间单应性变换的视频稳定方法及系统，在融合相邻帧信息的同时，可以有效地避免伪影或失真现象的产生，以连续的视频帧和其前景掩膜作为输入，最终实现视频稳定。
[0008]为了实现上述目的，本专利技术采用如下技术方案：
[0009]一方面，本专利技术公开一种基于视频帧间单应性变换的视频稳定方法，其包括以下步骤：
[0010]S1：划分视频的背景区域和前景区域，覆盖所述前景区域，生成视频帧I
k
的前景掩膜M
k
；
[0011]S2：基于浅层网络提取所述视频帧I
k
的低级特征F
k
，同时通过卷积网络获得所述视频帧I
k
的置信图A
k
；将所述前景掩膜M
k
、所述低级特征F
k
和所述置信图A
k
融合，得到所述视频帧I
k
的背景区域可信低级特征G
k
；
[0012]S3：令k＝k+1，重复S1
‑
S2，得到视频帧I
k+1
的背景区域可信低级特征G
k+1
；
[0013]S4：构建运动估计神经网络，并根据所述视频帧I
k
的背景区域可信低级特征G
k
和视频帧I
k+1
的背景区域可信低级特征G
k+1
获得相邻视频帧之间的单应性关系矩阵H
k+1,k
；
[0014]S5：根据所述相邻视频帧之间的单应性关系矩阵H
k+1,k
对视频的整体运动路径进行平滑处理，实现视频稳定。
[0015]优选的，所述S1包括：
[0016]S11：基于语义分割模型对视频中不同的物体进行区分，确定候选对象，除候选对象外的区域判定为背景区域；所述候选对象为可移动的物体；
[0017]S12：根据所述候选对象的位置信息进行筛选，对于同一候选对象，若其在前一帧和后一帧的位置变化小于设定的阈值下限，则所述候选对象所在的区域被判定为背景区域，若其位置变化大于设定的阈值上限，则被判定为前景区域。
[0018]S13：被判定为背景区域的像素点用1表示，被判定为前景的候选对象所在区域用0表示，覆盖前景区域，最终生成前景掩膜M
k
。
[0019]优选的，所述视频帧I
k
的背景区域可信低级特征G
k
的计算公式为：
[0020]G
k
＝M
k
·
F
k
·
A
k
，1≤k≤T；
[0021]式中，T表示视频的总帧数。
[0022]优选的，所述S4包括：
[0023]S41：构建特征图B＝[G
k
，G
k+1
]，所述特征图B经历一个卷积层，提取高级语义特征Z，背景区域可信低级特征G
k
和G
k+1
的大小为H
×
W
×
C；
[0024]S42：将所述高级语义特征Z重塑为一个序列{z
i
∈R
C
|i＝1,...,N}，N＝H
×
W；
[0025]S43：特征z
i
通过不同的1
×
1卷积函数转换为不同格式的特征，根据不同格式的特征计算相邻帧之间特征的相关性，计算方式如下：
[0026]k
i
＝W
k
z
i
；q
i
＝W
q
z
i
；v
i
＝W
v
z
i
；
[0027][0028]其中，W
k
、W
q
、W
v
分别代表三种不同的1
×
1卷积函数；k
i
、q
i
、v
i
分别代表z
i
转换为的三种不同格式的特征；β
i，j
表示第i个位置与第j个位置之间的相关性；i和j分别代表第k帧特征和第k+1帧特征中的点；
[0029]S44：根据得到的相邻帧之间特征的相关性β
...

【技术保护点】

【技术特征摘要】
1.一种基于视频帧间单应性变换的视频稳定方法，其特征在于，包括以下步骤：S1：划分视频的背景区域和前景区域，覆盖所述前景区域，生成视频帧I
k
的前景掩膜M
k
；S2：基于浅层网络提取所述视频帧I
k
的低级特征F
k
，同时通过卷积网络获得所述视频帧I
k
的置信图A
k
；将所述前景掩膜M
k
、所述低级特征F
k
和所述置信图A
k
融合，得到所述视频帧I
k
的背景区域可信低级特征G
k
；S3：令k＝k+1，重复S1
‑
S2，得到视频帧I
k+1
的背景区域可信低级特征G
k+1
；S4：构建运动估计神经网络，并根据所述视频帧I
k
的背景区域可信低级特征G
k
和视频帧I
k+1
的背景区域可信低级特征G
k+1
获得相邻视频帧之间的单应性关系矩阵H
k+1，k
；S5：根据所述相邻视频帧之间的单应性关系矩阵H
k+1，k
对视频的整体运动路径进行平滑处理，实现视频稳定。2.根据权利要求1所述的一种基于视频帧间单应性变换的视频稳定方法，其特征在于，所述S1包括：S11：基于语义分割模型对视频中不同的物体进行区分，确定候选对象，除候选对象外的区域判定为背景区域；所述候选对象为可移动的物体；S12：根据所述候选对象的位置信息进行筛选，对于同一候选对象，若其在前一帧和后一帧的位置变化小于设定的阈值下限，则所述候选对象所在的区域被判定为背景区域，若其位置变化大于设定的阈值上限，则被判定为前景区域；S13：被判定为背景区域的像素点用1表示，被判定为前景的候选对象所在区域用0表示，覆盖前景区域，最终生成前景掩膜M
k
。3.根据权利要求1所述的一种基于视频帧间单应性变换的视频稳定方法，其特征在于，所述视频帧I
k
的背景区域可信低级特征G
k
的计算公式为：G
k
＝M
k
·
F
k
·
A
k
，1≤k≤T；式中，T表示视频的总帧数。4.根据权利要求1所述的一种基于视频帧间单应性变换的视频稳定方法，其特征在于，所述S4包括：S41：构建特征图B＝[G
k
，G
k+1
]，所述特征图B经历一个卷积层，提取高级语义特征Z，背景区域可信低级特征G
k
和G
k+1
的大小为H
×
W
×
C；S42：将所述高级语义特征Z重塑为一个序列{z
i
∈R
C
|i＝1，...，N}，N＝H
×
W；S43：特征z
i
通过不同的1
×
1卷积函数转换为不同格式的特征，根据不同格式的特征计算相邻帧之间特征的相关性，计算方式如下：k
i
＝W
k
z
i
；q
i
＝W
q
z
i
；v
i
...

【专利技术属性】
技术研发人员：阎维青，孙祎秋，任金来，王璇，刘昊，宋永超，刘兆伟，徐金东，
申请(专利权)人：烟台大学，
类型：发明
国别省市：