一种基于可变形卷积的宽QP范围环路滤波方法技术

本发明专利技术涉及一种基于可变形卷积的宽QP范围环路滤波方法，属于视频编码领域。本方法利用可变形卷积灵活的感受野与形变建模能力，自动学习视频特征，并通过密集残差连接，进行特征强化，以达到增强压缩视频质量的目的；同时提出一种QP注意力模块，提高该方法的泛化能力，使该方法能够同时提升不同QP下的压缩视频质量。本发明专利技术方法能够显著提升压缩视频的主客观质量。观质量。观质量。

【技术实现步骤摘要】
一种基于可变形卷积的宽QP范围环路滤波方法


[0001]本专利技术涉及视频编解码领域，尤其涉及一种基于可变形卷积的宽QP范围环路滤波方法。

技术介绍

[0002]现有的视频编码标准，如H.264、HEVC、AV1等均使用基于块的编码结构，而编码块间缺乏相关性，导致压缩后的视频中产生明显的块效应，极大地影响了视频的观看体验。因此视频编码过程中通常使用环路滤波模块，以降低视频中的块效应等压缩伪影，提升视频编码性能。
[0003]传统环路滤波器受限于计算复杂度问题，对视频质量的改善效果有限。尽管当前的深度学习方法显著提升了视频编码中环路滤波器的性能潜力，现有的基于深度学习的网络模型仅对单一量化参数(Quantization Parameter，QP)有效，若测试视频的量化参数与假设的取值不匹配，则会导致模型的处理性能大大降低。现有环路滤波方法对不同QP压缩的视频的处理中，需要针对某一特定量化参数(或者某一个小量化参数范围)分别训练出一个模型，进行滤波，这造成了额外的存储负担，影响方法模型的实际部署。因此，如何设计出单一模型能够同时处理宽QP范围压缩后的视频，并获得较好的视频主客观质量，是一个亟待解决的问题。

技术实现思路

[0004]本专利技术的目的在于提高HEVC的环路滤波器性能，提出一种基于可变形卷积的宽QP范围环路滤波方法。
[0005]本专利技术解决其技术问题所采用的技术方案是：
[0006]一种基于可变形卷积的宽QP范围环路滤波方法，包括：
[0007]步骤1：制作数据集。收集大量视频、图片，并将其转换为HEVC编码所需的YUV420格式，利用HEVC标准测试平台HM
‑
16.9，以全I帧配置模式对其进行编码，编码过程中关闭平台中的环路滤波模块，获得4种量化等级下(QP＝22，27，32，37)的未滤波重建视频作为训练集。
[0008]步骤2：构建网络模型。该网络模型主要由3个模块组成：基于可变形卷积的轻量型特征生成模块、QP注意力模块、和基于通道注意力机制的特征增强模块。
[0009]步骤3：特征提取模块处理。将压缩后的视频图像输入基于可变形卷积的轻量型特征生成模块，该模块由一个U型网络组成。基于可变形卷积的轻量型特征提取模块的主要组成部分是一个U型网络，其主要由压缩模块与扩展模块组成。压缩模块包含3个卷积块，每个卷积块包含两个卷积层，层间由激活函数PReLU连接。为了压缩所得特征，第2个卷积的步长为2，在维持特征图数目不变的同时将特征图尺寸缩小为1/2，最终得到尺寸为原来1/8的特征图。降采样后的特征图输入特征扩展模块。该路径同样由3个卷积块组成，每个卷积块开始之前通过反卷积将特征图的尺寸放大2倍，然后使用跳跃连接和左侧对称的压缩模块的
特征图进行合并，经过3个特征扩展模块，最后输出与输入大小一致的特征图。经过U型网络压缩与激发后的特征图，输入后续的可变形卷积层，学习二维坐标偏移进一步提取特征中的形变信息。
[0010]步骤4：QP注意力模块处理。该模块主要由生成器与控制器组成，生成器与控制器的实质是两个多层感知器(Multi
‑
Layer Perceptron，MLP)。生成器、控制器的层数分别与U型网络中压缩、扩展模块中的卷积块个数相同，在本章实验中设置为3。生成器的输入为当前编码的量化参数QP，经由3个节点数均为64的线性层，生成64个QP特征f
QP
。控制器以生成器的输出作为输入，根据相应的QP特征f
QP
，控制输出的特征图。该控制器可以根据输入的QP特征学习一组特征图的仿射变换映射函数M，即每个线性层均可根据QP特征学习到一组与QP有关的调制参数对(γ,β)，并根据(γ,β)自适应调整输出特征图。
[0011]步骤5：特征增强模块处理。该模块主要由3个密集块(Dense Block)和一个压缩激励通道注意力模块(Squeeze and Excitation，SE)组成的残差块。该模块采用了密集连接，大大扩充了网络的容量，前向的卷积层的输出特征图为后向反卷积层输入，通过跨层特征共享，以获得更好的特征表达，同时缓解了网络训练过程中的梯度消失现象，提升了网络的可训练性。而SE模块首先对输入特征使用最大池化以压缩特征，随后经两层卷积进行特征激发，最后利用Sigmoid激活门机制，获取通道相关的权重，通过该权重控制RDB的每个输出特征通道的重要性，增强特征的指向性。
[0012]步骤6：特征融合处理。将上述三个模块提取出的特征与原始输入的压缩视频图像进行融合，得到最终融合增强的视频图像。
[0013]与现有技术相比，本专利技术具有如下有益效果：
[0014]1.本专利技术提出了一种基于可变形卷积的宽QP范围环路滤波方法，采用的基于可变形卷积的环路滤波模型，能够有效地增强压缩视频的主客观质量，并显著提升视频编码器的编码效率。
[0015]2.本专利技术采用的QP注意力模型能够有效地提高网络模型的泛化能力，使得整个网络能以单一模型，同时处理多个QP压缩后的视频。
[0016]以下结合附图及实施例对本专利技术作进一步详细说明，但本专利技术的一种基于可变形卷积的宽QP范围环路滤波方法不局限于实施例。
附图说明
[0017]图1为本专利技术方法的流程示意图。
具体实施方式
[0018]参见图1所示，本专利技术为了解决现有HEVC环路滤波性能有限的问题，提供一种基于可变形卷积的宽QP范围环路滤波方法，具体步骤如下：
[0019]步骤1：制作数据集。收集大量视频、图片，并将其转换为HEVC编码所需的YUV420格式，利用HEVC标准测试平台HM
‑
16.9，以全I帧配置模式对其进行编码，编码过程中关闭平台中的环路滤波模块，获得4种量化等级下(QP＝22，27，32，37)的未滤波重建视频作为训练集。
[0020]步骤2：构建网络模型。该网络模型主要由3个模块组成：基于可变形卷积的轻量型
特征生成模块、QP注意力模块、和基于通道注意力机制的特征增强模块。
[0021]步骤3：特征提取模块处理。将压缩后的视频图像输入基于可变形卷积的轻量型特征生成模块，该模块由一个U型网络组成。基于可变形卷积的轻量型特征提取模块的主要组成部分是一个U型网络，其主要由压缩模块与扩展模块组成。压缩模块包含3个卷积块，每个卷积块包含两个卷积层，层间由激活函数PReLU连接。为了压缩所得特征，第2个卷积的步长为2，在维持特征图数目不变的同时将特征图尺寸缩小为1/2，最终得到尺寸为原来1/8的特征图。降采样后的特征图输入特征扩展模块。该路径同样由3个卷积块组成，每个卷积块开始之前通过反卷积将特征图的尺寸放大2倍，然后使用跳跃连接和左侧对称的压缩模块的特征图进行合并，经过3个特征扩展模块，最后输出与输入大小一致的特征图。经过U型网络压缩与激发后的特征图，输入后续的可变形卷积层，学习二维坐标偏移进一步提取特征中的形变信息。
[0022]步骤4：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可变形卷积的宽QP范围环路滤波方法，其特征在于，包括：步骤1：制作数据集；步骤2：构建网络模型；包括3个模块：基于可变形卷积的轻量型特征生成模块、QP注意力模块和基于通道注意力机制的特征增强模块；步骤3：特征提取模块处理；将经过压缩后的视频图像输入基于可变形卷积的轻量型特征生成模块；所述基于可变形卷积的轻量型特征生成模块由一个U型网络组成，由压缩模块与特征扩展模块组成；压缩模块包含3个卷积块，在维持特征图数目不变的同时将特征图尺寸缩小为1/2，最终得到尺寸为原来1/8的特征图；降采样后的特征图输入特征扩展模块，该路径同样由3个卷积块组成，每个卷积块开始之前通过反卷积将特征图的尺寸放大2倍，然后3个特征扩展模块，最后输出与输入大小一致的特征图；步...

【专利技术属性】
技术研发人员：陈婧，王飞锋，曾焕强，朱建清，蔡灿辉，
申请(专利权)人：华侨大学，
类型：发明
国别省市：