一种实现视频错误隐藏的方法、系统、终端及介质技术方案

本发明专利技术提供一种实现视频错误隐藏的方法、系统、终端及介质，其中将原始视频经编解码压缩后形成测试集和训练集；对测试集和训练集进行抽帧处理，在进行掩码块操作，得到网络训练集；构建网络模型，对网络模型进行训练，得到视频错误隐藏模型；将视频帧测试集输入视频错误隐藏模型，输出重建帧；模型的生成器采用Video Swin Transformer网络对输入的视频帧测试集进行视频帧多层特征提取，之后将不同层次的特征进行融合用于视频丢失或受损区域的重建，输出重建帧。本发明专利技术解决了不能对VVC标准压缩视频的丢失或受损区域进行有效恢复的问题，同时克服了传统卷积神经网络不能兼顾并行执行和长程时间依赖性建模能力的弊端。长程时间依赖性建模能力的弊端。长程时间依赖性建模能力的弊端。

【技术实现步骤摘要】
T,WU Ping
‑
hao,KUO C J.Low
‑
Complexity Video Error Concealment for Mobile Applications Using OBMA[J].IEEE Trans on Consumer Electronics,2008,54(2):753
‑
761.提出了利用线性平移模型来隐藏损失的宏块，在匹配过程中使用一层外边界中所有相邻的宏块，并选取失真最小的宏块作为最佳候选宏块。Q.Peng,T.Yang,C.Zhu,Block
‑
based temporal error concealment for video packet using motion vector extrapolation.IEEE International Conference on Communications,Circuits and Systems and West Sino Expositions,10
–
14,2002.提出将前一帧块的运动矢量投影到当前帧块中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实现视频错误隐藏的方法，其特征在于，包括：将原始视频经编解码压缩后形成测试集和训练集，所述测试集为有损视频，所述训练集为无损视频；对所述测试集和所述训练集进行抽帧处理，得到视频帧测试集和视频帧训练集，将掩码块加在所述视频帧训练集上，得到网络训练集；构建网络模型，用所述网络训练集对所述网络模型进行训练，得到视频错误隐藏模型；将所述视频帧测试集输入所述视频错误隐藏模型，输出重建帧，完成视频错误隐藏；其中，所述视频错误隐藏模型以生成对抗网络为基本框架，包括生成器和鉴别器，所述生成器采用Video Swin Transformer网络对输入的所述视频帧测试集进行视频帧多层特征提取，之后将不同层次的特征进行融合用于视频丢失或受损区域的重建，输出重建帧；所述鉴别器基于所述生成器输出的重建帧计算对抗性损失，来约束所述视频错误隐藏模型进行训练以优化模型性能。2.根据权利要求1所述的实现视频错误隐藏的方法，其特征在于，所述生成器，被设置为：首先使用Video Swin Transformer网络组成的编码器对输入的所述视频帧测试集的受损视频帧进行多层特征提取并保存特征输出；然后通过解码器来进行帧重建，并以跳链接的方式将每个解码层的输出与相同尺寸的编码器输出特征相结合作为下一个解码层的输入，从而充分利用不同层次的特征信息来对视频帧的丢失或受损区域进行恢复。3.根据权利要求2所述的实现视频错误隐藏的方法，其特征在于，所述编码器编码层，包含n个阶段，实现n个层次的特征提取与下采样，并保存每一层的特征输出；n为大于等于2的自然数；所述解码层由卷积层与上采样模块构成，实现视频帧的像素重建。4.根据权利要求3所述的实现视频错误隐藏的方法，其特征在于，所述编码层，由四个阶段构成，每个阶段分别包含2、2、6、2个Video Swin Transformer Block，前三个阶段还包含一个Patch Merging结构。5.根据权利要求3所述的实现视频错误隐藏的方法，其特征在于，所述解码器由四个网络层组成，其中：前三层由二维卷积和双线性上采样模块构成，这三层的输出与对应尺寸的编码层输出在通道维度上进行拼接作为下一个网络层的输入；最后一...

【专利技术属性】
技术研发人员：马然，张冰，曹宇，安平，
申请(专利权)人：上海大学，
类型：发明
国别省市：