一种基于两阶段多帧协同的压缩视频质量增强方法技术

本发明专利技术公开了一种基于两阶段多帧协同的压缩视频质量增强方法，包括以下步骤：S1、将数据重新整理结合成IPPPI形式作为输入；S2、对I帧进行运动补偿；把补偿后的I帧和P帧拼接在一起输入到质量增强网络中进行增强，得到增强后的三个P帧；S3、对I帧进行运动补偿；把补偿后的I帧和增强后的P帧拼接在一起输入质量增强网络中进行增强。本发明专利技术的压缩视频质量增强方法，充分考虑帧与帧之间的联系和帧之间的质量波动，对低质量帧进行两阶段增强，从而达到充分利用相邻高质量帧的目的，并且使得低质量帧获得更好的增强效果。同时，压缩视频以GOP而不是单帧的形式输入到质量增强网络中，对相邻低质量帧进行协同增强，从而使得整体达到更优的效果。效果。效果。

【技术实现步骤摘要】
一种基于两阶段多帧协同的压缩视频质量增强方法


[0001]本专利技术属于图像处理
，特别涉及一种基于两阶段多帧协同的压缩视频质量增强方法。

技术介绍

[0002]视频编码质量增强方法自视频压缩国际标准被提出以来，就得到了工业界和学术界的广泛研究。在深度学习网络被提出以前，增强压缩视频质量的方法主要是以数学推导为基础的对单帧图像进行的空域法和频域法。在深度学习网络成功的应用到图像增强领域过后，各种新的网络被提出来用于增强压缩视频的质量，并且得到了比传统方法更好的结果和更强的泛化性。
[0003]现在最常用的H.265/HEVC标准，都采用基于块的混合编码框架，其核心过程包括预测编码、变换编码、量化和熵编码以及基于块的预测，变换和量化操作忽略了块与块之间的相关性，将导致编码重建图像呈现块效应，即人眼可以感知到块边界的明显不连续性；同时，量化是基于变换域中的块扩展，这个量化过程是不可逆的。当步长较大且比特率较低时，这些效果尤其明显。另外，运动补偿中的高精度插值可以很容易地产生振铃效应，由于帧间编码过程中误差的积累，上述效应也会影响后续帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于两阶段多帧协同的压缩视频质量增强方法，其特征在于，包括以下步骤：S1、以低延时模式GOP＝4对视频数据进行编码压缩，并将数据重新划分处理成IPPPI形式作为输入，其中包括两个高质量的I帧和三个低质量的P帧；S2、用运动补偿网络预测I帧与当前P帧之间的运动光流，用预测得到的运动光流对I帧进行运动补偿；再把补偿后的I帧和当前P帧拼接联合后输入到质量增强网络中进行增强，得到增强后的三个P帧；S3、用运动补偿网络预测I帧和步骤S2增强后的P帧之间的运动光流，用预测得到的运动光流对I帧进行运动补偿；再把补偿后的I帧和增强后的P帧拼接在一起输入质量增强网络中进行增强，得到最终结果。2.根据权利要求1所述的一种基于两阶段多帧协同的压缩视频质量增强方法，其特征在于，所述运动补偿的具体实现方法为：用flow
I
→
P
表示I帧与低质量P帧之间的运动光流，然后通过warp操作得到I帧相对于低质量P帧运动补偿后的帧：F
′
I
＝warp{F
I
，flow
I
→
P
}其中，F
′
I
为补偿后的高质量I帧，F
I
为初始I帧。3.根据权利要求2所述的一种压缩视频质量二次增强神经网络方法，其特征在于，所述步骤S2和S3中运动补偿网络的loss函数分别表示为和步骤S2中loss函数是计算低质量P帧F
P
和S2中运动补偿后的高质量I帧之间的L2
‑
loss；步骤S3中的运动补偿网络的loss函数则用没有进行编码压缩的低质量原始帧和S3中运动补偿后的高质量I帧之间的L2
‑
loss，损失函数表达式如下：loss，损失函数表达式如下：其中，为第一阶段高质量补偿帧，为第二阶段高质量补偿帧，为L2
‑
loss计算公式。4.根据权利要求...

【专利技术属性】
技术研发人员：叶茂，陈圣杰，朱策，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：