基于卷积神经网络的环路滤波方法和装置制造方法及图纸

本发明专利技术公开了一种基于卷积神经网络的环路滤波方法和装置。该方法的步骤包括：建立并训练用于重建视频质量恢复的卷积神经网络，包括第一网络、第二网络和第三网络；利用索贝尔算子和二阶拉普拉斯算子求出输入的重建图像的一阶梯度和二阶梯度；利用第一网络和第三网络对输入的重建图像的一阶梯度和二阶梯度进行恢复，并将恢复的梯度与输入的重建图像的特征图进行整合，得到整合后的特征图；将整合后的特征图经过第二网络，得到恢复后的重建图像。相对于传统的环路滤波技术，本发明专利技术通过卷积网络提取视频特征，提高了对压缩视频的恢复能力。本发明专利技术在GPU的加速下能够与传统滤波技术的计算复杂度相当，且能够更加有效提升视频编码器压缩视频质量。编码器压缩视频质量。编码器压缩视频质量。

【技术实现步骤摘要】
基于卷积神经网络的环路滤波方法和装置


[0001]本专利技术涉及视频编解码领域，针对Versatile Video Coding(VVC)视频编码标准中的环路滤波模块提出一种基于卷积神经网络的环路滤波方法和装置，本专利技术能够更加有效地提升视频编码器压缩视频质量。

技术介绍

[0002]VVC是新一代的视频编码标准，具有压缩效率高，计算复杂度大的特性。由于新一代标准依然沿用了基于块的混合编码框架，所以仍然会出现诸如方块效应，振铃效应等压缩失真。而环路滤波在视频编解码器中扮演着十分重要的角色，它不仅能够提升当前帧的质量，同时也为后续编码提供一个高质量的参考帧。在VVC中，总共有3种环路滤波方法，依次为去方块滤波、样点自适应补偿以及自适应滤波。
[0003]方块效应产生的原因主要有两个，一是由于对变换后的残差系数进行的基于块的整数变换后，以大的量化步长对变换系数进行量化会使得解码后的重建图像的方块边缘出现不连续；二是在运动补偿中插值运算引起的误差使得编解码器反变换后的重建图像会出现方块效应。为此VVC在继承了HEVC中的去方块滤波，并在此基础上进行了一些改进。去方块效应的主要思想就是在保持图像总能量不变的条件下，把这些台阶状的阶跃灰度变化重新复原成台阶很小或者近似连续的灰度变化，同时还必须尽量减少对真实图像边缘的损伤。
[0004]位于去方块滤波之后的自适应补偿技术是HEVC采用的一种新技术，VVC也采纳了这一技术。不同于去方块滤波只对边界像素进行，样点自适应补偿原则上是针对块中所有的像素点。样点自适应补偿对图像块内像素的特征进行分类，属于同一类的像素点将获得相同的补偿值，补偿的方向是让像素向原始像素值靠拢，从而达到降低图像失真的目的。
[0005]相比HEVC，VVC采用了一种新技术——自适应滤波。自适应滤波将每个4x4的小块分为25种(根据方向性和梯度值)，同一种类的小块使用同一种滤波器进行滤波，所以编码器总共只需要传输25组滤波器的滤波系数。VVC提供了两种菱形滤波器，其中5x5的菱形滤波器用于色度分量，7x7的菱形滤波器用于亮度分量。具体过程如下：对于亮度分量需要为每个4x4的子块分类，共25个类别。类别C由块的方向D和活动性A决定：
[0006]C＝5D+A
[0007]为了计算D和A，需要计算子块的水平、垂直、两个对角线方向的梯度，梯度计算使用1维拉普拉斯方法实现。为了减少计算复杂度在计算梯度前进行下采样。得到滤波器之后，需要在滤波操作前对滤波器系数和相应门限值进行几何变换，包括旋转、对角和垂直翻转。变换类型由上面计算的块的梯度决定。对滤波器进行几何变换效果等价于对滤波区域进行相应几何变换，这么做的目的是使不同块方向对齐。最后则采用选中的滤波器对相应块进行滤波。
[0008]VVC内置的环路滤波虽然能够有效提升重建视频质量，但由于传统方法的局限性，其提升的质量有限。所以，本专利技术通过利用卷积神经网络来进一步提升重建视频的质量。

技术实现思路

[0009]本专利技术针对传统环路滤波器的不足，利用卷积神经网络来进行滤波，本方法能够有效利用图像中的先验知识，从而更加有效的提升重建视频质量。
[0010]本专利技术采用的技术方案如下：
[0011]一种基于卷积神经网络的环路滤波方法，包括以下步骤：
[0012]建立并训练用于重建视频质量恢复的卷积神经网络，所述卷积神经网络包括：第一网络，用于恢复图像的一阶梯度；第二网络，用于恢复重建图像；第三网络，用于恢复图像的二阶梯度；
[0013]利用索贝尔算子和二阶拉普拉斯算子求出输入的重建图像的一阶梯度和二阶梯度；
[0014]利用所述卷积神经网络的第一网络和第三网络对输入的重建图像的一阶梯度和二阶梯度进行恢复，并将恢复的梯度与输入的重建图像的特征图进行整合，得到整合后的特征图；
[0015]将整合后的特征图经过所述卷积神经网络的第二网络，得到恢复后的重建图像。
[0016]进一步地，所述的将整合后的特征图经过所述卷积神经网络的第二网络，得到恢复后的重建图像，包括：
[0017]将整合后的特征图经过第二网络的多个残差网络块进行特征提取，将得到的残差特征通过卷积得到残差图像，残差图像和输入的重建图像进行逐元素相加，得到恢复后的重建图像。
[0018]进一步地，对所述卷积神经网络做以下改进：
[0019]将所有的卷积由普通卷积更换为深度分离卷积；
[0020]所有的卷积层尽可能使得通道数最少；
[0021]对第一网络、第二网络、第三网络的残差网络块进行参数共享。
[0022]进一步地，编码端基于所述卷积神经网络对输入图像进行滤波，在滤波后的图像帧中设置是否使用卷积神经网络进行滤波的标识位，并写入码流中；解码端读取码流中的标识位，在解码当前图像帧时根据标识位确定是否基于所述卷积神经网络进行滤波。
[0023]进一步地，在编码端，将滤波后的图像帧与滤波前的图像帧的峰值信噪比进行比较，如果滤波后的图像帧的峰值信噪比更大，则将所述标识位置为1，并写入到码流中，否则将所述标识位置为0；在解码端，若标识位为0，则当前帧解码时不基于所述卷积神经网络进行滤波，若标识位为1，则当前帧解码时基于所述卷积神经网络进行滤波。
[0024]一种视频编码装置，其包括：
[0025]环路滤波模块，用于采用上述方法对输入图像进行滤波；
[0026]标识位设置模块，用于在滤波后的图像帧中设置是否使用卷积神经网络进行滤波的标识位，并写入码流中。
[0027]进一步地，所述标识位设置模块将滤波后的图像帧与滤波前的图像帧的峰值信噪比进行比较，如果滤波后的图像帧的峰值信噪比更大，则将所述标识位置为1，并写入到码流中，否则将所述标识位置为0。
[0028]一种视频解码装置，其包括：
[0029]标识位读取模块，用于读取所述视频编码装置输出的码流中的标识位；
[0030]环路滤波模块，用于在解码当前图像帧时根据所述标识位确定是否基于卷积神经网络进行滤波。
[0031]进一步地，该视频解码装置中，若标识位为0，则当前帧解码时不基于所述卷积神经网络进行滤波，若标识位为1，则当前帧解码时基于所述卷积神经网络进行滤波。
[0032]本专利技术的有益效果如下：
[0033]相对于传统的环路滤波技术，本专利技术通过卷积网络提取视频特征，提高了对压缩视频的恢复能力。本专利技术在GPU的加速下能够与传统滤波技术的计算复杂度相当，且能够更加有效提升视频编码器压缩视频质量。
附图说明
[0034]图1是基于卷积网络的环路滤波器的网络结构图。
[0035]图2是索贝尔算子与拉普拉斯算子示意图。
[0036]图3是Residual Block网络结构图。
具体实施方式
[0037]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本专利技术做进一步详细说明。
[0038]本专利技术主本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的环路滤波方法，其特征在于，包括以下步骤：建立并训练用于重建视频质量恢复的卷积神经网络，所述卷积神经网络包括：第一网络，用于恢复图像的一阶梯度；第二网络，用于恢复重建图像；第三网络，用于恢复图像的二阶梯度；利用索贝尔算子和二阶拉普拉斯算子求出输入的重建图像的一阶梯度和二阶梯度；利用所述卷积神经网络的第一网络和第三网络对输入的重建图像的一阶梯度和二阶梯度进行恢复，并将恢复的梯度与输入的重建图像的特征图进行整合，得到整合后的特征图；将整合后的特征图经过所述卷积神经网络的第二网络，得到恢复后的重建图像。2.根据权利要求1所述的方法，其特征在于，所述的将整合后的特征图经过所述卷积神经网络的第二网络，得到恢复后的重建图像，包括：将整合后的特征图经过第二网络的多个残差网络块进行特征提取，将得到的残差特征通过卷积得到残差图像，残差图像和输入的重建图像进行逐元素相加，得到恢复后的重建图像。3.根据权利要求1所述的方法，其特征在于，所述整合后的特征图为：其中，I
′
表示整合后的特征图；表示卷积核大小为k
×
k，输入通道数为i，输出通道数为o的卷积层；D
′
I
表示经网络恢复后的重建图像的一阶梯度再经1x1的卷积得到的特征图，L
′
I
表示经网络恢复后的重建图像的二阶梯度再经1x1的卷积得到的特征图。4.根据权利要求1所述的方法，其特征在于，对所述卷积神经网络做以下改进：将所有的卷积由普通卷积更换为深度分离卷积；所有的卷积层尽可能使得通道数最少；对第一网络、第二网络、第三网络的残差...

【专利技术属性】
技术研发人员：孙俊，黄志杰，郭晓鹏，
申请(专利权)人：北京大学，
类型：发明
国别省市：