本发明专利技术公开了一种结合非局部先验与注意力机制的压缩视频后处理方法。本发明专利技术将输入的经HEVC有损压缩后的视频帧序列的连续三帧作为一组，利用以多幅非局部低秩正则化MNLR作为先验项的贝叶斯最大后验概率估计方法，来抑制中间帧的压缩效应，得到初步处理后的视频帧序列；构建了一种基于通道注意力机制的卷积神经网络，用来对初步处理后的视频帧序列进行高频补偿和修正。本发明专利技术所述的方法能获得很好的主客观效果，是一种有效的压缩视频后处理方法。是一种有效的压缩视频后处理方法。是一种有效的压缩视频后处理方法。
【技术实现步骤摘要】
结合非局部先验与注意力机制的压缩视频后处理方法
[0001]本专利技术涉及压缩视频后处理技术，具体涉及一种结合非局部先验与注意力机制的压缩视频后处理方法，属于数字图像领域。
技术介绍
[0002]HEVC是目前国际上现今性能较为优越的视频编码标准，包括有损压缩和无损压缩两种编码方式，其中，有损压缩相比无损压缩具有更好的压缩效率，能够节省更多的视频传输与存储的开销。然而有损编码不可避免地会使压缩视频帧失真，出现压缩效应(块效应、振铃现象)。压缩效应的存在严重影响了解码视频帧的质量。虽然HEVC编码标准在制定时已经在解码端设计了环路滤波器来解决压缩失真问题，但是在解码视频中仍然存在一些压缩效应。特别是在低码率段压缩效应更为严重。因此十分有必要研究针对压缩视频质量提升的方法。
技术实现思路
[0003]本专利技术的目的在于为进一步提升HEVC解码后视频的质量，减少压缩效应对视觉效果的影响，而提供一种结合非局部先验与注意力机制的压缩视频后处理方法。方法首先将视频帧内和帧间的互补信息充分利用到视频帧质量提升的过程中，除视频自身内部信息外，提出的方法还利用外部数据库中的高频信息，为视频帧补充高频信息，使处理后的视频细节更加丰富，边缘更加清晰，得到复原质量更好的视频帧。
[0004]本专利技术提出的一种结合非局部先验与注意力机制的压缩视频后处理方法，具体可以分为以下几个步骤：
[0005](1)输入经HEVC有损压缩后的视频帧序列，将连续三帧作为一组，利用以多幅非局部低秩正则化(Multi Non-Local Regularization,MNLR)作为先验项的贝叶斯最大后验概率估计方法，来抑制中间帧的压缩效应，得到初步处理后的视频帧序列；
[0006](2)构建一种基于通道注意力机制的卷积神经网络，利用(1)中以MNLR作为先验项的贝叶斯最大后验概率估计方法处理的数据集和原始的未经压缩的数据集作为样本对来训练网络；
[0007](3)将(1)得到的视频帧序列输入(2)中训练出的网络来进行高频修正和补偿。
附图说明
[0008]图1是结合非局部先验与注意力机制的压缩视频后处理方法结构示意图
[0009]图2是通道注意残差模块结构示意图
[0010]图3是本专利技术与四种方法对经过HEVC编码标准压缩后量化参数QP＝38的压缩视频“RaceHorses”进行后处理的对比图
[0011]图4是本专利技术与四种方法对经过HEVC编码标准压缩后量化参数QP＝38的压缩视频“BasketballPass”进行后处理的对比图
[0012]图5是本专利技术与四种方法对经过HEVC编码标准压缩后量化参数QP＝38的压缩视频“BQMall”进行后处理的对比图
具体实施方式
[0013]下面结合附图对本专利技术作进一步说明：
[0014]结合非局部先验与注意力机制的压缩视频后处理方法，具体可以分为以下几个步骤：
[0015](1)输入经HEVC有损压缩后的视频帧序列，将连续三帧作为一组，利用以多幅非局部低秩正则化MNLR作为先验项的贝叶斯最大后验概率估计方法，来抑制中间帧的压缩效应，得到初步处理后的视频帧序列；
[0016](2)构建一种基于通道注意力机制的卷积神经网络，利用(1)中以MNLR作为先验项的贝叶斯最大后验概率估计方法处理的数据集和原始的未经压缩的数据集作为样本对来训练网络；
[0017](3)将(1)得到的视频帧序列输入(2)中训练出的网络来进行高频修正和补偿。
[0018]具体地，所述步骤(1)中，利用多幅非局部低秩正则化MNLR作为贝叶斯最大后验概率估计的先验项，其原理如图1所示，用公式表示为：
[0019][0020]式中，F＝{f1,f2,...,f
n
}表示压缩后视频帧Y＝{y1,y2,...,y
n
}表示原始的视频帧，n表示待重建的视频帧数。β和μ均为正则化参数。
[0021]假设P
k,r
为待估计视频帧f
k
中以像素r为中心、尺寸为n
×
n的图像块，S
k,r
F表示从f
k
，f
k-1
和f
k+1
中进行相似块搜索时提取的P
k,r
的相似块构成的矩阵，Z
k,r
代表低秩矩阵。由于求解是一个NP-hard问题，可以用下式等效：
[0022][0023]式中，δ为一个较小的常数，E为单位矩阵。
[0024]最终的求解公式可以用公式表示为：
[0025][0026]我们使用Split-Bregman迭代方法来分解这个公式得：
[0027][0028][0029]两个公式的解分别为：
[0030][0031][0032]式中，(t)
+
＝max(t,0)，代表的第l个奇异值，对S
k,r
F
n
进行奇异值分解即可得到U∑V
T
。
[0033]所述步骤(2)中，基于通道注意力机制的卷积神经网络结构主要包括通道注意残差模块和全局残差。网络结构如图1所示，在输入之后和输出之前有一个长跳连接，实现全局残差学习，第1、2层为2个卷积层，并用PReLU函数激活，第3到42层为8个通道注意残差模块，每个模块包含5层，网络倒数第1层为卷积层，也用PReLU函数激活，最后1层为卷积层。
[0034]通道注意力机制主要包括维度紧缩、参数变换和权重分配三个阶段，其内部结构如图2所示。
[0035]首先通过全局平均池化操作，对空间维度进行紧缩，假设输入为I＝[i1,i2,...,i
c
,...,i
C
]，其大小为H
×
W，数量为C，则可得到C个参数，该过程用公式表示为：
[0036][0037]式中，GP(
·
)代表全局平均池化，i
c
(m,n)是(m,n)位置的第c个特征i
c
。z＝[z1,z2,...,z
c
,...,z
C
]是能够描述输入的参数。
[0038]之后对这些参数进行进一步地变换，使参数能够尽可能地表示输入之间的关系。在参数变换部分，采用的变换方式用公式表示如下：
[0039]k＝O
f
(O
U
ρ(O
D
z))
ꢀꢀ
(9)
[0040]式中，O
D
代表卷积核尺寸为1
×
1的卷积层，其作用是自适应地调整z的值，并将1
×1×
C的系数衰减到1
×1×
C/b，b是大于1且能整除C的正整数，ρ代表激励函数PReLU，O
U
代表自适应扩增，1
×1×
C/b的参数经过自适本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.结合非局部先验与注意力机制的压缩视频后处理方法，其特征在于包括以下步骤：步骤一：输入经HEVC有损压缩后的视频帧序列，将连续三帧作为一组，利用以多幅非局部低秩正则化MNLR作为先验项的贝叶斯最大后验概率估计方法，来抑制中间帧的压缩效应，得到初步处理后的视频帧序列；步骤二：构建一种基于通道注意力机制的卷积神经网络，利用步骤一中以MNLR作为先验项的贝叶斯最大后验概率估计方法处理的数据集和原始的未经压缩的数据集作为样本对来训练网络；步骤三：将步骤一得到的视频帧序...
【专利技术属性】
技术研发人员：何小海，王文君，任超，雷佳佳，吴晓红，熊淑华，滕奇志，
申请(专利权)人：四川大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。