基于时域去噪掩码的视频时序一致性增强方法技术

本发明专利技术公开了一种基于时域去噪掩码的视频时序一致性增强方法，属于视频处理领域。为解决现有图像处理方法不能在时序一致性和感知一致性之间达到很好的平衡，且其对应的输出效果很大程度上依赖于视频的预处理算法的问题，本申请方法包括：首先，对源视频进行采样，并进行预处理；其次，提取源视频的帧序列中的时序特征，并提取经预处理后视频的帧序列中的感知特征；然后，根据所述时序特征及所述感知特征构建时序去噪掩码网络，并通过所述构建的时序去噪网络重构源视频帧，并训练时序去噪掩码网络；最后，通过所述训练好的时序去噪掩码网络将输入的视频输出为时序稳定的视频。本发明专利技术能够减少图像处理算法的依赖性，进而能够增强视频时序一致性。

【技术实现步骤摘要】
基于时域去噪掩码的视频时序一致性增强方法
本专利技术属于视频处理领域，具体涉及一种基于时域去噪掩码的视频时序一致性增强方法。
技术介绍
由于现有基于图像的处理算法的可扩展性存在缺陷，基于时间一致性的视频处理技术的发展受到越来越多的关注。通常，将这些基于图像的算法独立地应用于每个视频帧通常会由于这些算法的全局不稳定性而导致闪烁。增强视频时序稳定性就是去消除这些不稳定的区域使得输出视频更加稳定连续。这不仅有重要的学术意义，而且有广泛的应用价值，视频稳定性的增强可以将多种图像算法直接拓展到视频域中。基于图像的处理算法导致该类算法迁移至视频问题时缺少了时间维度上的全局信息，帧与帧之间的独立操作可能会导致感知内容的不一致性，不同种类的处理算法导致的闪烁形式和程度是不同的，因此难以设计出一种可以将所有图像处理方法拓展至视频域的算法。现有方法的解决思路通常是对预处理后的帧进行再修改，进而消视频帧中的不稳定区域。主要有两类方法：1)视频时序一致性的梯度域优化算法：梯度域优化算法主要通过计算源视频帧与预处理视频帧的梯度值，通过优化两者之间的数值距本文档来自技高网...

【技术保护点】
1.基于时域去噪掩码的视频时序一致性增强方法，其特征在于,包括如下步骤：/n步骤1、对源视频进行采样，并进行预处理；/n步骤2、提取源视频的帧序列中的时序特征，并提取经预处理后视频的帧序列中的感知特征；/n步骤3、根据所述时序特征及所述感知特征构建时序去噪掩码网络，并通过所述构建的时序去噪网络重构源视频帧，并训练时序去噪掩码网络；/n步骤4、通过所述训练好的时序去噪掩码网络将输入的视频输出为时序稳定的视频。/n

【技术特征摘要】
1.基于时域去噪掩码的视频时序一致性增强方法，其特征在于,包括如下步骤：
步骤1、对源视频进行采样，并进行预处理；
步骤2、提取源视频的帧序列中的时序特征，并提取经预处理后视频的帧序列中的感知特征；
步骤3、根据所述时序特征及所述感知特征构建时序去噪掩码网络，并通过所述构建的时序去噪网络重构源视频帧，并训练时序去噪掩码网络；
步骤4、通过所述训练好的时序去噪掩码网络将输入的视频输出为时序稳定的视频。


2.根据权利要求1所述的基于时域去噪掩码的视频时序一致性增强方法，其特征在于,步骤1中，所述预处理具体包括如下步骤：
步骤101、使用基于图像的算法对源视频的帧序列进行逐帧的处理；
步骤102、使用光流预测网络计算源视频中每一帧的光流图。


3.根据权利要求1所述的基于时域去噪掩码的视频时序一致性增强方法，其特征在于,步骤2中，首先构建特征提取网络，通过所述特征提取网络进行时序特征及感知特征的提取；
所述特征提取网络为残差网络。


4.根据权利要求1所述的基于时域去噪掩码的视频时序一致性增强方法，其特征在于,步骤3中，所述构建的时序去噪掩码网络为三元时序去噪掩码网络；
利用所述三元时序去噪掩码网络生成对偶光流图、运动遮罩图及残差精炼图。


5.根据权利要求4所述的基于时域去噪掩码的视频时序一致性增强方法，其特征在于,所述三元时序去噪掩码网络的构建方法包括如下步骤：
步骤301、根据对偶光流约束以及感知特征运用卷积网络构建对偶光流图Mf；
步骤302、根据相邻连续帧间特征运用卷积网络构建运动遮罩图Mm；
步骤303、根据时序一致性约束以及感知特征运用卷积网络构建残差精炼图Mr。


6.根据权利要求5所述的基于时域去噪掩码的视频时序一致性增强方法，其特征在于,步骤301中，所述对偶光流约束包括第一光流约束及第二光流约束；
所述第一光流约束为：最小化源视频的光流图于软光流图Mf的曼哈顿距离；
所述第二光流约束为：先根据前向光流对最终输出帧进行...

【专利技术属性】
技术研发人员：徐行，周逸峰，沈复民，申恒涛，
申请(专利权)人：成都考拉悠然科技有限公司，
类型：发明
国别省市：四川;51