环路滤波方法和装置制造方法及图纸

本申请提供了环路滤波方法及装置。涉及基于人工智能(AI)的视频或图像压缩技术领域领域，具体涉及基于神经网络的视频压缩技术领域。该方法包括：获取第一像素矩阵，第一像素矩阵中的对应位置的像素点的值对应于第一图像块中的对应位置的像素的亮度值；获取第二像素矩阵，第二像素矩阵中的对应位置的像素点对应于第一图像块中的对应位置的像素的亮度值对应的量化步长值；通过滤波网络对输入像素矩阵进行滤波处理得到输出像素矩阵，滤波网络为经训练得到的具有滤波功能的神经网络，输出像素矩阵包括第三像素矩阵，输入像素矩阵至少与第一像素矩阵和所述第二像素矩阵相关。本申请能够针对各种质量的重构图像提升滤波效果。够针对各种质量的重构图像提升滤波效果。够针对各种质量的重构图像提升滤波效果。

【技术实现步骤摘要】
环路滤波方法和装置
[0001]本申请要求于2020年6月10日提交中国专利局、申请号为202010525274.8、申请名 称为“环路滤波方法和装置”的中国专利申请的优先权，其全部内容通过引用结合在本申 请中。


[0002]本专利技术实施例涉及基于人工智能(AI)的视频或图像压缩
，尤其涉及一种环 路滤波方法及装置。

技术介绍

[0003]视频编码(视频编码和解码)广泛用于数字视频应用，例如广播数字电视、互联网和 移动网络上的视频传输、视频聊天和视频会议等实时会话应用、DVD和蓝光光盘、视频内 容采集和编辑系统以及可携式摄像机的安全应用。
[0004]即使在影片较短的情况下也需要对大量的视频数据进行描述，当数据要在带宽容量受 限的网络中发送或以其它方式传输时，这样可能会造成困难。因此，视频数据通常要先压 缩然后在现代电信网络中传输。由于内存资源可能有限，当在存储设备上存储视频时，视 频的大小也可能成为问题。视频压缩设备通常在信源侧使用软件和/或硬件，以在传输或存 储之前对视频数据进行编码，从而减少用来表示数字视频图像所需的数据量。然后，压缩 的数据在目的地侧由视频解压缩设备接收。在有限的网络资源以及对更高视频质量的需求 不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术能够提高压缩率而几乎 不影响图像质量。
[0005]近年来，将深度学习应用于在图像和视频编解码领域逐渐成为一种趋势。采用混合架 构的视频编码器和视频解码器中，可以通过环路滤波模块去除重建图像中的块效应、振铃 效应等编码失真。相关技术中借由神经网络实现环路滤波模块的滤波功能，进而对输入至 神经网络的重建图像或重建图像块信息进行滤波处理，得到滤波后的重建图像或重建图像 块。但是该方法对不同质量的输入图像或图像块无法均达到良好的滤波效果。

技术实现思路

[0006]本申请提供一种环路滤波方法及装置，能够针对各种质量的重构图像提升滤波效果。
[0007]上述和其它目标通过独立权利要求的主题实现。其它实现方式在从属权利要求、具体 实施方式和附图中显而易见。
[0008]具体实施例在所附独立权利要求中概述，其它实施例在从属权利要求中概述。
[0009]第一方面，本申请涉及环路滤波方法。所述方法由编码器或解码器中的环路滤波器执 行。所述方法包括：
[0010]获取第一像素矩阵，所述第一像素矩阵中的对应位置的元素对应于(例如表示)第一 图像块中的对应位置的像素的亮度值，所述第一图像块为重建图像块或者重建图像中
的图 像块；获取第二像素矩阵，所述第二像素矩阵中的对应位置的元素对应于(例如表示)所 述第一图像块中的对应位置的像素的亮度值所对应的量化步长值，所述第二像素矩阵的尺 寸和所述第一像素矩阵的尺寸相等；通过滤波网络对输入像素矩阵进行滤波处理得到输出 像素矩阵，所述滤波网络为经训练得到的具有滤波功能的神经网络，所述输出像素矩阵包 括第三像素矩阵，所述第三像素矩阵中的对应位置的元素对应于第二图像块中的对应位置 的像素的亮度值或者像素的亮度残差值，所述第二图像块为所述第一图像块经滤波后得到 的图像块，其中所述输入像素矩阵至少与所述第一像素矩阵和所述第二像素矩阵相关。
[0011]某个图像块(例如第一图像块)可以理解为像素矩阵X，该像素矩阵X中的对应位置 的元素可以理解为该图像块中的对应位置的像素点(或者像素值，例如像素值包括像素的 亮度值或像素的色度值)。示例性的，该图像块的尺寸为64
×
64，表示该图像块的像素点 分布为64行
×
64列，x(i,j)表示该图像块中的第i行、第j列的像素点(或者像素值)。与 之对应，输入像素矩阵A包括64行和64列，共有64
×
64个元素，A(i,j)表示该像素矩阵 A中的第i行、第j列的元素。A(i,j)和x(i,j)对应(例如A(i,j)表示像素点x(i,j)的值)，输 入像素矩阵A中的对应位置的元素对应于(例如表示)该图像块中的对应位置的像素点的 亮度值，即表示元素A(i,j)的取值是像素点x(i,j)的亮度值。可选的，在另一种示例下，输 入像素矩阵A中的对应位置的元素也可以对应于(例如表示)该图像块中的对应位置的像 素的其他值，即元素A(i,j)的取值可以是像素点x(i,j)的其他值，例如像素点x(i,j)的亮度值 对应的量化步长值，又例如像素点x(i,j)的色度值，又例如像素点x(i,j)的色度值对应的量 化步长值，又例如像素点x(i,j)的亮度残差值，又例如像素点x(i,j)的色度残差值等，对此 本申请不做具体限定。应当理解的是，当输入像素矩阵A中的对应位置的元素表示该图像 块中的对应位置的像素的亮度值，输入像素矩阵A就是前述第一像素矩阵的示例；或者， 当输入像素矩阵A中的对应位置的元素表示该图像块中的对应位置的像素的亮度值对应 的量化步长值，输入像素矩阵A就是前述第二像素矩阵的示例；应当理解的是，当输入像 素矩阵A中的对应位置的元素表示该图像块中的对应位置的像素的色度值，输入像素矩 阵A就是第五像素矩阵的示例；或者，当输入像素矩阵A中的对应位置的元素表示该图 像块中的对应位置的像素的色度值对应的量化步长值，输入像素矩阵A就是第六像素矩 阵的示例。
[0012]同理，滤波网络输出的输出像素矩阵B和经过滤波后的图像块(例如第二图像块)对 应，即输出像素矩阵中的元素B(i,j)和经过滤波后的图像块中的像素y(i,j)对应，在一种示 例下，元素B(i,j)的值可以表示像素y(i,j)的亮度值。可选的，在另一种示例下，像素矩阵 B中的对应位置的元素也可以对应于(例如表示)该经过滤波后的图像块中的对应位置的 像素的其他值，即元素B(i,j)的取值可以是像素点y(i,j)的其他值，例如像素点y(i,j)的亮度 残差值，又例如像素点y(i,j)的色度值，又例如像素点y(i,j)的色度残差值等，对此本申请 不做具体限定。应当理解的是，当输出像素矩阵B中的对应位置的元素表示经过滤波后的 图像块中的对应位置的像素的亮度值，输出像素矩阵B是第三像素矩阵的示例；或者，当 输出像素矩阵B中的对应位置的元素表示经过滤波后的图像块中的对应位置的像素的亮 度残差值，输出像素矩阵B是第三像素矩阵的另一种示例；应当理解的是，当输出像素矩 阵B中的对应位置的元素表示经过滤波后的图像块中的对应位置的像素的色度值，输出 像素矩阵B是第七像素矩阵的示例；或者，当输出像素矩阵B中的对应位置的元素
表示 该经过滤波后的图像块中的对应位置的像素的色度残差值，输出像素矩阵B是第八像素 矩阵的示例。
[0013]上述第一图像块可以是编码器或解码器重建得到的重建图像中的一个图像块，也可以 是编码器或解码器重建得到的重建图像块。本申请实施例的环路滤波方法包括但不限于对 重建图像块进行滤波处理，应当理解的是，也可以适用于对重建图像进行滤波处理，即将 本申请实施例的方法中的“重建图像块”适应性替换为重建图像，这里不再赘述。
[0014]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种环路滤波方法，其特征在于，包括：获取第一像素矩阵，所述第一像素矩阵中的对应位置的元素对应于第一图像块中的对应位置的像素的亮度值，所述第一图像块为重建图像块或者重建图像中的图像块；获取第二像素矩阵，所述第二像素矩阵中的对应位置的元素对应于所述第一图像块中的对应位置的像素的亮度值对应的量化步长值，所述第二像素矩阵的尺寸和所述第一像素矩阵的尺寸相等；通过滤波网络对输入像素矩阵进行滤波处理得到输出像素矩阵，所述滤波网络为经训练得到的具有滤波功能的神经网络，所述输出像素矩阵包括第三像素矩阵，所述第三像素矩阵中的对应位置的元素对应于第二图像块中的对应位置的像素的亮度值或亮度残差值，所述第二图像块为所述第一图像块经滤波后得到的图像块，其中所述输入像素矩阵至少与所述第一像素矩阵和所述第二像素矩阵相关。2.根据权利要求1所述的方法，其特征在于，所述输入像素矩阵包括所述第一像素矩阵和所述第二像素矩阵；或者，所述输入像素矩阵为对所述第一像素矩阵和所述第二像素矩阵进行预处理得到的第一预处理矩阵；或者，所述输入像素矩阵包括所述第一像素矩阵的归一化矩阵和所述第二像素矩阵的归一化矩阵；或者，所述输入像素矩阵为对所述第一像素矩阵的归一化矩阵和所述第二像素矩阵的归一化矩阵进行预处理得到的第二预处理矩阵。3.根据权利要求1或2所述的方法，其特征在于，当所述第三像素矩阵中的对应位置的元素对应于所述第二图像块中的对应位置的像素的亮度残差值时，所述方法还包括：将所述第一像素矩阵和所述第三像素矩阵中的对应位置的元素的值相加得到第四像素矩阵，所述第四像素矩阵中的对应位置的元素对应于所述第二图像块中的对应位置的像素的亮度值。4.根据权利要求1-3中任一项所述的方法，其特征在于，当所述输入像素矩阵为归一化矩阵时，所述方法还包括：对所述第三像素矩阵中的对应位置的元素的值进行反归一化处理。5.根据权利要求3所述的方法，其特征在于，当所述输入像素矩阵经过归一化处理时，所述将所述第一像素矩阵和所述第三像素矩阵中的对应位置的元素的值相加得到第四像素矩阵，包括：将所述第一像素矩阵和经过反归一化处理的第三像素矩阵中的对应位置的元素的值相加得到所述第四像素矩阵。6.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：获取第五像素矩阵，所述第五像素矩阵中的对应位置的元素对应于所述第一图像块中的对应位置的像素的色度值；相应地，所述输入像素矩阵至少与所述第一像素矩阵、所述第二像素矩阵和所述第五像素矩阵相关。7.根据权利要求6所述的方法，其特征在于，所述输入像素矩阵包括所述第一像素矩阵、所述第二像素矩阵和所述第五像素矩阵；或者，
所述输入像素矩阵包括对所述第一像素矩阵和所述第二像素矩阵进行预处理得到的第一预处理矩阵和所述第五像素矩阵；或者，所述输入像素矩阵包括所述第一像素矩阵的归一化矩阵、所述第二像素矩阵的归一化矩阵和所述第五像素矩阵的归一化矩阵；或者，所述输入像素矩阵包括对所述第一像素矩阵的归一化矩阵和所述第二像素矩阵的归一化矩阵进行预处理得到的第二预处理矩阵和所述第五像素矩阵的归一化矩阵。8.根据权利要求6或7所述的方法，其特征在于，所述方法还包括：获取第六像素矩阵，所述第六像素矩阵中的对应位置的元素对应于所述第一图像块中的对应位置的像素的色度值对应的量化步长值；相应地，所述输入像素矩阵至少与所述第一像素矩阵、所述第二像素矩阵、所述第五像素矩阵和所述第六像素矩阵相关。9.根据权利要求8所述的方法，其特征在于，所述输入像素矩阵包括所述第一像素矩阵、所述第二像素矩阵、所述第五像素矩阵和所述第六像素矩阵；或者，所述输入像素矩阵包括对所述第一像素矩阵和所述第二像素矩阵进行预处理得到的第一预处理矩阵、所述第五像素矩阵和所述第六像素矩阵；或者，所述输入像素矩阵包括所述第一像素矩阵、所述第二像素矩阵和对所述第五像素矩阵和所述第六像素矩阵进行预处理得到的第三预处理矩阵；或者，所述输入像素矩阵包括所述第一预处理矩阵和所述第三预处理矩阵；或者，所述输入像素矩阵包括所述第一像素矩阵的归一化矩阵、所述第二像素矩阵的归一化矩阵、所述第五像素矩阵的归一化矩阵和所述第六像素矩阵的归一化矩阵；或者，所述输入像素矩阵包括对所述第一像素矩阵的归一化矩阵和所述第二像素矩阵的归一化矩阵进行预处理得到的第二预处理矩阵、所述第五像素矩阵的归一化矩阵和所述第六像素矩阵的归一化矩阵；或者，所述输入像素矩阵包括所述第一像素矩阵的归一化矩阵、所述第二像素矩阵的归一化矩阵和对所述第五像素矩阵的归一化矩阵和所...

【专利技术属性】
技术研发人员：杨海涛，陈旭，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：