【技术实现步骤摘要】
本专利技术属于计算机视觉，具体涉及一种实时全帧视频稳定方法、系统及设备。
技术介绍
1、目前，诸如数码相机、手机、以及各类移动智能设备等可拍摄设备接连出现，使得用户可以以低成本在各种场景进行拍摄。然而，这些手持设备由于缺少专业设备支持，容易受到各种不利因素影响，拍摄出来的视频往往存在抖动，这种抖动通常会导致视频模糊或失真，并大幅度降低视频质量，且对于普通人主观感受而言，这类视频的不稳定性容易被觉察。而基于物理和光学的稳定方法需要拍摄者在拍摄视频前准备相应的设备或者特殊硬件，成本较高且不易获取。此外，该方式无法对已经拍摄完毕的视频进行稳定，因此，视频稳定算法研究具有重要的现实意义和广阔的应用前景。目前大多数视频稳定方法依赖于时间全局运动信息来计算当前帧的翘曲，这类算法往往需要全局的视频信息来推断相机的运动趋势，然后再通过画面的扭曲来达到稳定的效果。
2、现有的视频稳定方法往往需要全局的视频信息来推断相机的运动趋势，或无法实现实时的视频稳定。且大多数稳定视频的方法是通过对图像进行单应性变换实现稳定，这导致其输出的视频图像边缘将产生缺失，无法实现全帧图像输出。
3、专利申请cn108564554a公开了一种基于运动轨迹优化的视频稳定方法，首先对输入的视频做全局相机运动轨迹的视频稳定，利用特征点匹配估计出原始相机运动轨迹，通过最优化运动轨迹的能量函数平滑相机运动轨迹。然后对稳定后的视频进行局部的稳定调整，将视频图像划分为一个个网格，分别估计每个网格内的相机运动并对相机运动进行平滑处理。最后对视频的全局运动进行再稳
技术实现思路
1、为了克服上述现有技术存在的缺陷，本专利技术的目的在于提供一种实时全帧视频稳定方法、系统及设备，针对视频稳定方法中普遍存在的实时性较差以及无法全帧输出的问题，通过网格运动估计、实时网格运动平滑以及视频修复算法，实现实时全帧视频稳定，并利用视频填充方法进行后处理，通过边缘填充实现全帧图像输出；具有图像输出稳定性高，实时性好的优点。
2、为了实现上述目的，本专利技术采用的技术方案如下：
3、一种实时全帧视频稳定方法，具体包括以下步骤：
4、步骤1，收集连续且带有抖动等不稳定因素的视频分成图像序列，对图像序列进行预处理；
5、步骤2，将预处理后的图像序列作为输入图像，通过rfnet关键点提取算法，提取输入图像序列的关键点；
6、步骤3，通过raft光流提取算法，提取输入图像序列的光流图；
7、步骤4，根据步骤2得到的关键点与步骤3提取的输入图像序列的光流图，将图像网格化后，通过训练motionpro网络，生成网格运动轨迹；
8、步骤5，根据步骤4获取的网格运动轨迹，设置滑动窗口，滑动窗口为2k+1帧大小，对前2k+1帧的网格运动轨迹平滑处理，同时前k次滑动窗口的平滑结果作为已平滑轨迹，将网格运动轨迹与已平滑轨迹作为输入，通过realtime smoother网络，生成滑动窗口中第k+1帧的稳定后网格运动轨迹；完成该流程后，滑动窗口向右移动一帧，舍弃滑动窗口内第一帧的内容，读取新一帧内容至窗口末尾，得到新窗口对应的平滑运动轨迹，同时更新已平滑轨迹结果，重复上述处理过程，直到对整个输入图像序列完成操作；
9、步骤6，根据步骤5平滑前后的运动轨迹差值，以网格为形变单位计算输出平稳图像所需的单应性变换矩阵，根据每个网格的单应性变换矩阵对输入图像进行单应性变换，输出稳定后图像序列即稳定的视频图像；同时，对一张空白图像作同样的单应性变换处理，生成对应的蒙版作为填充处理的输入；
10、步骤7，根据步骤6得到的稳定后图像与蒙版，通过e2fgvi视频填充算法对边缘缺失部分填充。
11、所述步骤1中的图像预处理为：
12、对输入图像进行缩放操作，将输入分辨率压缩设置为统一的输入分辨率h*w。
13、所述步骤2中的具体方法为：
14、步骤2.1，将图像输入rfdet检测器中，得到得分图s，方向图θ，尺度图
15、步骤2.2，分别对步骤2.1得到的得分图s、方向图θ和尺度图进行特征提取；
16、步骤2.3，将步骤2.2所得到的各个特征输入descriptor描述器网络，并提取固定长度的特征向量进行匹配，得到图像关键点。
17、所述步骤3具体流程包括：
18、步骤3.1，将图像输入feature/context网络模块中进行训练，提取图像的纹理内容与局部像素特征；
19、步骤3.2，将步骤2.1提取图像的纹理内容与局部像素特征输入关联层，通过取所有成对特征向量的内积构建一个4维的w×h×w×h关联体；将关联在4维维度上进行池化下采样生成维度为的多维相关性权重(其中t为池化次数)；
20、步骤3.3，将需要生成的光流初始化为0，基于gru的更新算子，将步骤3.2关联层得到的多维相关性权重作为gru算子的权重参数，将光流作为输入循环迭代传入gru算子中，其输出结果为更新后的光流，通过该方法循环迭代不断更新该光流，得到最终结果。
21、所述步骤4的具体步骤为：
22、步骤4.1，将步骤2得到的关键点与步骤3得到的光流图结合，根据关键点坐标提取光流图中对应点的光流，得到关键点坐标与对应关键点的光流；
23、步骤4.2，将步骤4.2得到的关键点位置与光流信息输入网络motionpro中，得到网格顶点运动；
24、4.2.a，将图像进行网格化，计算每一个关键点与每一个网格顶点之间的欧式距离，得到关键点与网格顶点之间的距离信息，将关键点与网格的距离信息传入distanceencoder子模块，输出距离特征与网格顶点权重；
25、4.2.b，将图像关键点位置与光流信息传入motion encoder子模块，输出光流特征；
26、4.2.c，将4.2.a获得的距离特征与4.2.b的光流特征相结合，传入dm(distance-motion)子模块，得到网格顶点运动特征；
27、4.2.d，将网格顶点运动特征与网格顶点权重相乘，得到网格顶点运动；
28、步骤4.3，对于步骤4.2得到的网格顶点运动，根据每个顶点运动与相近关键点运动之间差、单个网格中4个顶点整体运动的一致性、网格在运动后的形状一致性三个方面，计算损失值，反向传播更新motionpro网络，直到损失收敛，使网络能生成正确表达网格像素在该帧的运动方向与速度，并多次迭代得到网格运动轨迹；其损失函数如下式(1)所示：
29、lmr＝lvm+λslsp, (1)
30、其中，lsp为形状保护损失，其计算公式如下式(2)所示：
31、
32、lvm损失则本文档来自技高网...
【技术保护点】
1.一种实时全帧视频稳定方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的一种实时全帧视频稳定方法，其特征在于，所述步骤1中的图像预处理为：
3.根据权利要求1所述的一种实时全帧视频稳定方法，其特征在于，所述步骤2中的具体方法为：
4.根据权利要求1所述的一种实时全帧视频稳定方法，其特征在于，所述步骤3具体流程包括：
5.根据权利要求1所述的一种实时全帧视频稳定方法，其特征在于，所述步骤4的具体步骤为：
6.根据权利要求1所述的一种实时全帧视频稳定方法，其特征在于，所述步骤5的具体步骤为：
7.根据权利要求1所述的一种实时全帧视频稳定方法，其特征在于，所述步骤6的具体步骤为：
8.根据权利要求1所述的一种实时全帧视频稳定方法，其特征在于，所述步骤7的具体步骤为：
9.根据权利要求1至8任一项所述的实时全帧视频稳定方法的系统，其特征在于，包括：
10.根据权利要求1至8任一项所述的实时全帧视频稳定方法的设备，其特征在于，包括：
【技术特征摘要】
1.一种实时全帧视频稳定方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的一种实时全帧视频稳定方法，其特征在于，所述步骤1中的图像预处理为：
3.根据权利要求1所述的一种实时全帧视频稳定方法，其特征在于，所述步骤2中的具体方法为：
4.根据权利要求1所述的一种实时全帧视频稳定方法，其特征在于，所述步骤3具体流程包括：
5.根据权利要求1所述的一种实时全帧视频稳定方法，其特征在于，所述步骤4的具体步骤为：
【专利技术属性】
技术研发人员：刘如意，郑乐豪，苗启广，张霁赫，刘向增，宋建锋，赵佩佩，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。