一种跨帧信息融合的屏幕内容视频质量增强网络制造技术

本发明专利技术公开了一种跨帧信息融合的屏幕内容视频质量增强网络，包括特征提取模块、跨帧信息交叉融合模块、差分模块和重建模块，以及两个3

【技术实现步骤摘要】
一种跨帧信息融合的屏幕内容视频质量增强网络


[0001]本专利技术属于图像处理
，特别涉及一种跨帧信息融合的屏幕内容视频质量增强网络。

技术介绍

[0002]近年来，随着各种在线学习平台以及游戏直播行业的兴起，屏幕内容视频这一特殊类型的视频逐渐受到人们的关注。由于视频在传输过程中必须使用压缩软件进行压缩，而压缩过后的视频会产生压缩伪影，因此各种压缩视频的质量增强方案得到了工业界和学术界的广泛研究。
[0003]然而目前并没有一个具体的方案针对压缩后的屏幕内容视频进行质量增强，因此本方案提出了一个基于跨帧信息融合的压缩屏幕内容视频质量增强网络，抛弃传统的基于光流和基于可变形卷积的帧间运动补偿方案，我们采用跨帧信息交叉融合模块来充分地利用帧间信息来提高压缩帧的质量。
[0004]公开号为CN107481209A的专利申请公开了一种基于卷积神经网络的图像或视频质量增强方法。首先设计了两个用于视频(或图像)质量增强的卷积神经网络，两个网络具有不同的计算复杂度；然后选择若干个训练图像或视频对两个卷积神经网络中的参数进行训练；根据实际本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨帧信息融合的屏幕内容视频质量增强网络，其特征在于，包括特征提取模块、跨帧信息交叉融合模块、差分模块和重建模块，以及两个3
×
3的卷积模块；屏幕内容视频质量增强网络的输入包括目标帧前向参考帧和后向参考帧特征提取模块用于对输入帧进行特征提取，得到特征信息F
t
‑1，F
t
‑1，F
t
‑1；跨帧交叉信息融合模块用于对特征信息F
t
‑1，F
t
‑1，F
t
‑1进行融合；将目标帧输入3
×
3的卷积模块，得到特征图将特征信息F
t
‑1，F
t
‑1，F
t
‑1输入另一个3
×
3的卷积模块，得到特征图F
U
；对F
U
和执行元素减法操作，将得到的高频特征F
U
‑
P
输入差分模块；差分模块用于对高频特征F
U
‑
P
信息进行恢复；将差分模块恢复特征F
dif
与特征图F
U
使用元素加法操作来融合，并将融合特征和跨帧交叉信息融合模块的输出特征同时输入重建模块；重建模块用于对两个输入特征进行重建；然后将重建帧与目标帧相加后得到增强后的目标帧2.根据权利要求1所述的一种跨帧信息融合的屏幕内容视频质量增强网络，其特征在于，所述特征提取模块使用基于跳跃连接的UNet网络，特征提取网络的输出特征表示为：其中，F
t
‑1，F
t
，F
t+1
表示前向参考帧、目标帧和后向参考帧输入到特征提取网络U(
·
)得到的特征映射。3.根据权利要求1所述的一种跨帧信息融合的屏幕内容视频质量增强网络，其特征在于，所述跨帧信息交叉融合模块...

【专利技术属性】
技术研发人员：叶茂，黄家旺，崔金钟，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：