一种基于全知网络的压缩视频质量增强方法技术

本发明专利技术公开一种基于全知网络的压缩视频质量增强方法，属于图像处理技术领域。本申请包括：首先通过使用时空特征融合模块聚合2R+1视频帧的时空信息来初始化当前帧的特征。然后，使用类似网格状结构的网络来实现特征的双向传播，并最大程度的利用整个视频的时空信息。在类似网格状结构的网络中对特征反复迭代求精，并生成多个不同的隐藏特征。最后，融合所有隐藏特征，并将它放入到质量增强网络络中进一步学习帧内全频域信息，产生增强残差。最终增强帧由压缩帧加上增强残差组成。本发明专利技术提出了一种完全利用整个视频时空信息和全频域信息进行压缩视频多帧质量增强的方法，本发明专利技术使得视频主客观质量明显提高，同时带来了码率的降低。降低。降低。

【技术实现步骤摘要】
一种基于全知网络的压缩视频质量增强方法


[0001]本专利技术属于图像处理
，具体涉及一种基于全知网络的压缩视频质量增强方法。

技术介绍

[0002]ITU
‑
T和ISO/IEC的视频编码联合协作组(Joint Collaborative Team on Video Coding,JCT
‑
VC)自2013年4月正式颁布了高效视频编码(High Efficiency Video Coding,HEVC)标准以来，就得到了广泛的关注。HEVC压缩视频通常由5个步骤组成：a)将输入帧分割成小块；b)进行帧内和帧间预测；c)对预测块应用离散余弦变换(DCT)；d)用量化参数去除每个变换块的DCT系数，并对量化后的值进行舍入；e)使用熵编码生成压缩视频的比特流。由于变换和量化过程忽略了块与块之间的相关性，压缩视频将呈现块效应。同时量化的原理是将含有大量的数据集合映射到含有少量的数据集合中，简单的来说就是把数据量大的参数进行整出和取舍，使之可以用更小的内存来存储这些信息，由于这个过程是不可逆的，所以量化会导致信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全知网络的压缩视频质量增强方法，其特征在于，包括下列步骤：步骤1，设置及训练全知网络；所述全知网络包括时空特征融合模块和全频自适应增强块，其中，时空特征融合模块用于聚合多个帧的时空信息，全频自适应增强块用于学习帧内的全频信息，所述全知网络包括多条支路，用于对指定长度的压缩视频序列进行质量增强处理，每条支路依次输入一帧视频帧，每条支路依次包括：一个时空特征融合模块，多层特征提取网络和一层质量增强网络，每条支路的输入视频帧与质量增强网络输出的增强视频帧相加得到最终的增强视频帧；每条支路的第一个空特征融合模块用于学习当前支路的输入视频帧的前后R帧相邻帧以及自身的时空信息并生成当前支路的初始特征，R为正整数；特征提取网络包括一个时空特征融合模块和一个全频自适应增强块，时空特征融合模块的输出与特征提取网络的输入沿通道维度拼接，再输入全频自适应增强块，全频自适应增强块的输出与其输入沿通道维度拼接得到特征提取网络的输出；所有支路的所有特征提取网络组成全特征增强网络，各条支路的初始特征在所述全特征增强网络中传播，先进行反向传播，再前向传播，如此迭代多轮后，得到每条支路的特征图并输入质量增强网络；质量增强网络包括两个卷积层和位于两个卷积层中间的多个全频自适应增强块；通过采集的训练数据对全知网络进行端到端的训练，得到训练好的全知网络；步骤2，对将待增强的压缩视频序列输入训练好的全知网络，基于其输出得到对应的增强视频帧序列。2.如权利要求1所述的方法，其特征在于，每条支路包括4层特征提取网络。3.如权利要求1所述的方法，其特征在于，每条支路的质量增强网络包括5个全频自适应增强块。4.如权利要求1所述的方法，其...

【专利技术属性】
技术研发人员：叶茂，彭柳寒，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：