【技术实现步骤摘要】
本专利技术属于视频处理领域，具体涉及一种基于分解运动补偿的数字视频稳像方法。
技术介绍
1、现如今，视频已经成为了人们传播信息的主要媒介之一，人们可以随意的在任何场景下拍摄视频，这不可避免就会因拍摄者在拍摄过程中无法一直保持稳定而导致所拍视频的抖动。抖动的视频不仅会影响观看者的体验还会增加对视频进行处理的难度。因此，一个高效的视频稳像技术很有必要。在过去的二十年里，传统的视频稳像技术被提出以解决视频的抖动问题，但大多数方法只能处理部分类型的视频无法做到自适应处理，并且大多数方法在消除抖动的同时会带来画面失真、过度裁剪原画面以及处理速度过于缓慢的问题。
2、现有的视频稳像算法大致可分为：传统方法和基于深度学习的方法。传统的视频稳像算法主要由三步组成：运动估计、运动补偿以及图像翘曲。第一步是估计全局运动矢量，建立运动模型，这一阶段通常会采用光流法或者特征点匹配的方法来进行运动估计。第二步是根据所估计的运动模型，通过对该运动模型施加多种约束限制以去除不期望的抖动，但是由于对运动模型施加的过多的约束，在一定程度上会影响视频原始正常的运动，从而导致视频内容的缺失以及视频的失真。第三步是图像翘曲，通过将优化过的运动模型应用到视频的每一帧当中，从而获得最终稳定的视频。近年来，随着深度学习的发展，越来越多的基于卷积神经网络的数字视频稳像方法被提出，这些方法不是显式地计算相机路径，而是模拟了一种超视觉学习方法。基于深度学习的视频稳像方法虽然具有很高的稳定性和适应性，但也存在一些缺点。首先，该方法需要大量的训练数据，并使用强大的算力进行
技术实现思路
1、本专利技术所要解决的技术问题在于：针对现有技术中的问题，提供了一种基于分解运动补偿的数字视频稳像方法，在保证处理速度的同时，解决了以往方法不能自适应视频类型进行处理以及由于对运动模型的过度约束导致的视频内容缺失，即视频裁剪率过高和图像失真模糊问题。
2、为解决以上技术问题，本专利技术提供如下技术方案：一种基于分解运动补偿的数字视频稳像方法，包括以下步骤：
3、s1、对抖动视频的参考帧和当前帧进行运动估计，得到抖动视频的抖动运动路径；
4、s2、对抖动运动路径中每条路径提取平移和旋转分量，评估平移和旋转分量中低频分量能量百分比，得到抖动视频的稳定性，然后利用深度估计方法判断抖动视频的深度，根据抖动视频的稳定性和深度将抖动视频将视频进行类别划分，得到各个类别的视频；
5、s3、利用网格流预测自适应路径优化、相似时空路径优化、平均滤波优化以及l1最优相机路径优化法对抖动的运动路径进行平滑优化，分别得到对应的路径优化信息；
6、s4、将对应的路径优化信息分别存储到四个翘曲变换的矩阵当中；
7、s5、根据步骤s2得到的各个类别的视频，在四个翘曲变换的矩阵中分别引入对应的权重系数然后进行融合，分别得到最终的变换矩阵；
8、s6、将各个最终的变换矩阵通过翘曲操作应用到抖动视频序列中的每一帧当中，生成稳定的视频。
9、进一步地，前述的步骤s1中，对抖动视频的参考帧和当前帧进行运动估计是采用基于网格的快速超鲁棒特征匹配方法，包括如下子步骤：
10、s101、将抖动视频拆分为连续的帧序列；
11、s102、将帧序列中没一帧拆分为网格区域，将运动平滑度封装为区域内预设数量特征匹配的统计似然；
12、s103、根据匹配的特征点对，获取相邻帧之间的运动信息；
13、s104、累加相邻帧之间的运动信息，得到抖动视频的抖动运动路径。
14、进一步地，前述的步骤s2中以平移和旋转中最小的度量作为最终度量评估低频分量能量百分比；各个类别的视频包括：剧烈抖动的非深度视频、剧烈抖动的深度视频、普通抖动的非深度视频、普通抖动的深度视频；
15、进一步地，前述的步骤s3包括以下子步骤：
16、s301、利用网格流预测自适应路径优化具体为：在视频帧上划分2d网格，然后获取连续帧之间的图象角，并在每个运动位置生成一个运动向量，将运动向量转移到它们对应的相邻网格顶点上，所述网格顶点代表邻域处的运动向量；然后利用下采样滤波器平滑每个网格顶点上的运动向量时间变化，得到网格流预测自适应路径优化后的平滑路径；s302、相似时空路径优化具体为：将视频帧划分为网格单元，将同一网格单元上的局部同形域随时间的串联定义为一束路径，利用多个相机路径来模拟相机路径，并利用双边滤波，将各个相机路径作为整体进行平滑，获得相似时空路径优化后的平滑路径；
17、s303、对步骤s1得到的抖动视频的抖动运动路径提取在x轴、y轴和角度上的运动信息，然后利用移动平均滤波器，设置预设固定值的领域窗格，对抖动运动路径行平滑，将路径上的值替换成领域窗格内的平均值，得到平均滤波后的平滑路径；
18、s304、将相机路径划分为三部分进行优化，包括一条恒定路径，代表一个静态相机、一条恒定速度的路径，代表平移或移动摄影、以及一条恒定加速度的路径，代表静态和平移相机之间的进出变换；即将相机路径划分成常数段、线性段和抛物线段来进行优化；并分别用|d(p)|1，|d2(p)|1和|d3(p)|1表示，其中，d是微分符号，p(t)表示相机路径；将优化作为一个约束l1最小化问题，最终的优化相机路径，相机路径的优化公式定义为
19、
20、对|d(p)|1，|d2(p)|1和|d3(p)|1分别最小化获得最优的稳定相机路径。
21、进一步地，前述的步骤s4包括以下子步骤：
22、s401、根据网格流预测自适应路径优化后的平滑路径得出相邻帧之间的平滑变换矩阵d1；
23、s402、根据相似时空路径优化后的平滑路径得出相邻帧之间的平滑变换矩阵d2；
24、s403、根据平均滤波后的平滑路径的差异计算出相邻帧之间的变换矩阵d3；
25、s404、根据最小化获得最优的稳定相机路径得出相邻帧之间的平滑变换矩阵d4。
26、进一步地，前述的步骤s5包括以下子步骤：
27、s501、引入α，β，γ和λ四个权重系数，根据步骤s2获得的各个类别的视频包括：剧烈抖动的非深度视频、剧烈抖动的深度视频、普通抖动的非深度视频、普通抖动的视频，根据对四系数的权重进行调整，：四个权重系数的和为本文档来自技高网...
【技术保护点】
1.一种基于分解运动补偿的数字视频稳像方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于分解运动补偿的数字视频稳像方法，其特征在于，步骤S1中，对抖动视频的参考帧和当前帧进行运动估计是采用基于网格的快速超鲁棒特征匹配方法，包括如下子步骤：
3.根据权利要求1所述的一种基于分解运动补偿的数字视频稳像方法，其特征在于，步骤S2中，以平移和旋转中最小的度量作为最终度量评估低频分量能量百分比；所述各个类别的视频包括：剧烈抖动的非深度视频、剧烈抖动的深度视频、普通抖动的非深度视频、普通抖动的深度视频。
4.根据权利要求1所述的一种基于分解运动补偿的数字视频稳像方法，其特征在于，
5.根据权利要求1所述的一种基于分解运动补偿的数字视频稳像方法，其特征在于，步骤S4包括以下子步骤：
6.根据权利要求1所述的一种基于分解运动补偿的数字视频稳像方法，其特征在于，步骤S5包括以下子步骤：
7.根据权利要求4所述的一种基于分解运动补偿的数字视频稳像方法，其特征在于，步骤S301中，利用下采样滤波器平滑每个网格顶点上
8.根据权利要求4所述的一种基于分解运动补偿的数字视频稳像方法，其特征在于，步骤S302中，利用双边滤波，将各个相机路径作为整体进行平滑，优化公式如下：
9.根据权利要求4所述的一种基于分解运动补偿的数字视频稳像方法，其特征在于，
10.根据权利要求4所述的一种基于分解运动补偿的数字视频稳像方法，其特征在于，步骤S304中，基于原始相机路径O(t)已知，视频是一个图像序列I1,I2，…，It，其中每一帧对(It-1,It)与线性运动模型Lt(t)相关联，Lt(t)对特征点t从I1到It-1的运动进行建模，相机路径O(t)的计算公式为：
...【技术特征摘要】
1.一种基于分解运动补偿的数字视频稳像方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于分解运动补偿的数字视频稳像方法，其特征在于，步骤s1中，对抖动视频的参考帧和当前帧进行运动估计是采用基于网格的快速超鲁棒特征匹配方法，包括如下子步骤：
3.根据权利要求1所述的一种基于分解运动补偿的数字视频稳像方法，其特征在于，步骤s2中，以平移和旋转中最小的度量作为最终度量评估低频分量能量百分比；所述各个类别的视频包括：剧烈抖动的非深度视频、剧烈抖动的深度视频、普通抖动的非深度视频、普通抖动的深度视频。
4.根据权利要求1所述的一种基于分解运动补偿的数字视频稳像方法，其特征在于，
5.根据权利要求1所述的一种基于分解运动补偿的数字视频稳像方法，其特征在于，步骤s4包括以下子步骤：
6.根据权利要求1所述的一种基于分解运动补偿的数字...
【专利技术属性】
技术研发人员：黄倩，刘纪文，王一鸣，胡鹤轩，袁驰，姜传旭，
申请(专利权)人：河海大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。