量化参数自适应的卷积神经网络环路滤波器及其构建方法技术

本发明专利技术属于卷积神经网络环路滤波器技术领域，具体为一种本发明专利技术属于神经网络环路滤波器技术领域，具体为一种对量化参数自适应的卷积神经网络环路滤波器及其构建方法。本发明专利技术通过将QP(量化参数)引入到神经网络中，以提升神经网络性能对不同量化参数的泛化能力。具体采用两种新型的策略，一种是从频率域角度设计的FQAM，另一种则是从空间域设计的SQAM；结合这两种策略，卷积神经网络滤波可以在频域和空域上都实现对QP信息的吸收和利用，从而使得其对失真图像中的不同的量化噪声都具有很强的滤波能力。波能力。波能力。

【技术实现步骤摘要】
量化参数自适应的卷积神经网络环路滤波器及其构建方法


[0001]本专利技术属于神经网络环路滤波器
，具体为一种对量化参数自适应的卷积神经网络环路滤波器及其构建方法。

技术介绍

[0002]基于神经网络的环路滤波器在近些年取得了极大的成功。其可以有效地去除比如块效应，振铃，吉布斯效应等图像/视频编解码过程中常见的人工印记。但是，其相比于传统的后处理模块往往拥有显著更高的复杂度。神经网络滤波器的泛化能力也一直存在优化空间，在单一数据集上训练的模型可能难以用于其他数据集。对于编码器而言，使用不同的量化参数意味着在重建的图像/视频上会出现不同的量化噪声。而对每一个量化噪声都训练一个模型在真实部署和调用模型会占用大量的训练资源和存储资源，从而导致了这种方法的不切实际。就这个问题，本专利技术设计了一种新的神经网络滤波器，依赖于所设计的FQAM和SQAM机制，其可以在不同量化参数上都具有显著优秀的滤波能力。

技术实现思路

[0003]本专利技术的目的在于提出一种滤波能力强的对量化参数自适应的卷积神经网络环路滤波器及其构建方法。
[0004]本专利技术提供的对量化参数自适应的卷积神经网络环路滤波器，通过将量化参数QP引入到卷积神经网络中，以提升卷积神经网络对不同的QP的泛化能力，具体的引入方式为：
[0005](1)FQAM(Frequency QP Adaptive Mechanism)，即频域QP自适应机制。将卷积神经网络的每一层特征看成是提取的特定的频率信息，每一层特征通过乘以一个和QP相关的系数，以实现对该层特征的衰减或是增强；当QP变化的时候，每一层的特征也会随着QP的变化而衰减或是增强，从而实现对QP信息完整地吸收；
[0006](2)SQAM(Spatial QP Adaptive Mechanism)，即空域QP自适应机制。使用卷积和QP信息产生在空域上的注意力。注意力可以对不同区域产生不同的权重，通过此权重作用在原始的特征上，实现对原始特征自适应的衰减或者增强。这种增强不但依赖于卷积，也依赖于QP信息。使得模型提升在空域上的QP自适应能力；
[0007](3)在FQAM和SQAM的基础之上，构建卷积神经网络环路滤波器，如图1所示；其可以对不同量化噪声的图像都有效地去除量化噪声。具体而言，该结构包含两个输入的张量和一个输出的张量。输入的张量分别为输入图片和量化参数QP，图片的尺寸和色彩空间格式并不限定。对于输出的张量而言，其表示了滤波器增强后得到的图片，其尺寸大小保持和输入图片一致。模型的中间由卷积网络、FQAM、SQAM构成。具体而言，图片输入后会引出一条直连边接到输出上，此外，其也会经过首个Octave卷积网络得到分离的两路特征信息，分别记为高频和低频的信息，接着经过若干个(比如，网络的数量设置为24个)残差网络结构，每一个残差网络结构依次包含Octave卷积网络、FQAM、Octave卷积网络、FSQAM得到输出，残差网络的内部亦包含一个直连边来帮助训练过程中的梯度反向传播。结构输入的另一个张量QP
就是用于这里的FQAM和FSQAM的QP信息指导，以帮助模型适应对不同QP信息的变化。由于Octave卷积的影响，卷积特征不断地在高频和低频之间相互流动，使得信息得到了充分的学习和利用。在结束了堆叠的残差网络得到输出后，最终包含一个Octave卷积网络使得张量变换回到原始的图像尺寸上，这个张量接着回加回到输入的图片上得到最终增强的图片。
[0008]本专利技术提供的对量化参数自适应的卷积神经网络环路滤波器构建方法，通过将量化参数QP引入到卷积神经网络中，以提升卷积神经网络对不同的QP的泛化能力，具体步骤如下。
[0009](一)构建FQAM(频域QP自适应机制)
[0010]从频域的角度出发，构建模卷积神经网络模型，并将量化参数QP融入其中；首先考虑一个简单的滤波模型：
[0011][0012]其中，w是滤波器参数，y是滤波器的输入，即失真图像，为滤波器的输出，即重建图像。自然地，我们使用傅里叶变换得到其在频域上的等式，即时域卷积等于频域乘法：
[0013][0014]F(.)表示傅里叶变换；假设这个滤波器具有较好的滤波性能，则重建图像近似等于原始图像，即在频域上：
[0015][0016]为了应对变化的QP，需要将其推广到一般的情况，即希望修改后的滤波器可以在较广泛的量化噪声输入的情况都具备较好的性能。把这里修改后的滤波器参数记为w
′
，量化噪声改变情况记为ε。此时的重建图像发生了变换，由原先的变为了
[0017][0018]也对等式(4)进行傅里叶变换，得到其频域形式的公式:
[0019][0020]我们希望可以求得这样的w
′
，使得w
′
所重建出来的与原始输入x之间的损失最低。为了方便求解，这里使用均方误差。原始输入x和重建之间的均方误差可以写为：
[0021][0022]由帕斯瓦尔定理，时域上的失真和频域上的失真是相同的,于是，公式(6)的L也可以写为频域形式，可以得到如下的展开式：
[0023][0024]对式(7)求关于F(w
′
)的偏导，可以求得，使得导数为零的F(w
′
)可以表示成如下的式子：
[0025][0026]其中，第一项表示公式(1)的在频域形式的原始滤波器，第二项是根据对噪声进行修改得到的，称之为噪声影响因子。可以通过这里的噪声影响因子去改变原始滤波器。需要对这个式子进行简化：
[0027][0028]考虑某一个特定的频域，滤波器的强度和原始信号的强度事实上是可以认为不变的。所以此式可以被近似为k
i
F(n
i
)，而我们知道F(n
i
)是正比于Qstep2的，所以可以使用可训练的参数θ
i
来表示这里的倍数关系，把Qstep2引入到模型中：
[0029][0030]考虑到这样做的复杂度过于高，本专利技术采用一种简化的策略，直接近似认为卷积层即表示了对频域的选择，从而可以把计算从特征的平方阶次降低到特征阶次。此时滤波器操作的时域形式可以写为：
[0031][0032]于是，推导出了FQAM的算法，其中，w为原始的滤波参数，分母上的1+θQstep2表示衰减系数，随着QP的变化，Qstep也会变化，将变化的Qstep作为输入，来影响模型的滤波性能。其直观工作图可参考图2。
[0033](二)构建SQAM(空域QP自适应机制)
[0034]FQAM只能在通道级别进行和QP相关的衰减和增强。本专利技术提出空域上的SQAM作为一个补充，以提升FQAM在空域上的能力。实现不同的区域对QP的响应也产生区别。
[0035]SQAM的推导过程：
[0036]首先将输入图像y
′
的空域特征提取出来，这里可以采用MaxPool和AvgPool操作[1]，即最大值池化和均值池化操作：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种量化参数自适应的卷积神经网络环路滤波器构建方法，其特征在于，通过将量化参数QP引入到卷积神经网络中，以提升卷积神经网络对不同的QP的泛化能力，具体步骤为：(一)构建FQAM；从频域的角度出发，构建模卷积神经网络模型，并将量化参数QP融入其中；首先考虑一个简单的滤波模型：其中，w是滤波器参数，y是滤波器的输入，即失真图像，为滤波器的输出，即重建图像；使用傅里叶变换得到其在频域上的等式，即时域卷积等于频域乘法：F(.)表示傅里叶变换；假设这个滤波器具有较好的滤波性能，则重建图像近似等于原始图像，即在频域上有：为了应对变化的QP，将其推广到一般的情况，即希望修改后的滤波器在较广泛的量化噪声输入的情况都具备较好的性能；把这里修改后的滤波器参数记为w
′
，量化噪声改变情况记为ε；此时的重建图像发生了变换，由原先的变为了变为了也对等式(4)进行傅里叶变换，得到其频域形式的公式：希望求得这样的w
′
，使得w
′
所重建出来的与原始输入x之间的损失最低；为了方便求解，这里使用均方误差，原始输入x和重建之间的均方误差写为：由帕斯瓦尔定理，时域上的失真和频域上的失真是相同的，于是，公式(6)的L也可以写为频域形式，得到如下的展开式：对式(7)求关于F(w
′
)的偏导，可以求得使得导数为零的F(w
′
)，表示成如下的式子：其中，第一项表示公式(1)的在频域形式的原始滤波器，第二项是根据对噪声进行修改得到的，称之为噪声影响因子；通过这里的噪声影响因子去改变原始滤波器，对这个式子进行简化：考虑某一个特定的频域，滤波器的强度和原始信号的强度事实上是不变的，所以此式可以被近似为k
i
F(n
i
)，而已知F(n
i
)是正比于Qstep2的，所以使用可训练的参数θ
i
来表示这
里的倍数关系，把Qstep2引入到模型中：考虑到这样做的复杂度过于高，采用简化的策略，直接近似认为卷积层即表示对频域的选择，从而把计算从特征的平方阶次降低到特征阶次；此时滤波器操作的时域形式写为：于是，推导出FQAM的算法，其中，w为原始的滤波参数，分母上的1+θQstep2表示衰减系数，随着QP的变化，Qstep也会变化，将变化的Qstep作为输入，来影响模型的滤波性能；(二)构建SQAM采用空域上的SQAM作为一个补充，以提升FQAM在空域上的能力，实现不同的区域对QP的响应也产生区别；SQAM的构建过程为：首先将输入图像y
′
的空域特征提取出来，这里采用MaxPool和AvgPool操作，即最大值池化和均值池化操作：s(y
′
)＝{MaxPool(y
′
)；AvgPo...

【专利技术属性】
技术研发人员：范益波，刘超，
申请(专利权)人：复旦大学，
类型：发明
国别省市：