用模式感知深度学习进行滤波的方法和装置制造方法及图纸

深度学习可以用于视频压缩中以进行环内滤波，以便减少伪影。为了改善用于滤波的卷积神经网络(CNN)的性能，除了初始重建图像之外，还可以将可以从编码器或解码器获得的信息用作卷积神经网络的输入。在一个实施例中，可以将QP、块边界信息和预测图像用作输入的附加通道。边界信息可以帮助CNN理解分块伪影的位置，并且因此可以改善CNN，因为网络不需要花费参数来寻找分块伪影。QP或预测块还向CNN提供更多信息。这样的卷积神经网络可以替代所有的环内滤波器，或者与其他环内滤波器一起工作以更高效地去除压缩伪影。

The method and device of filtering with pattern perception depth learning

【技术实现步骤摘要】
【国外来华专利技术】用模式感知深度学习进行滤波的方法和装置
本实施例一般地涉及用于视频编码和解码的方法和装置，并且更具体地涉及用于在视频编码和解码中用模式感知神经网络进行滤波的方法和装置。
技术介绍
为了实现高压缩效率，图像和视频编码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。通常，使用帧内或帧间预测来利用帧内或帧间相关性，然后对原始图像块和预测图像块之间的差异(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重建视频，通过对应于预测、变换、量化和熵编码的逆过程来对压缩数据进行解码。为了减少伪影，可以使用环内滤波。
技术实现思路
根据一般方面，提出了一种用于视频编码的方法，包括：访问视频的图片的图像块的第一重建版本；以及通过神经网络对所述图像块的所述第一重建版本进行滤波，以形成所述图像块的第二重建版本，其中，所述神经网络响应于以下中的至少一个：(1)基于所述图像块的至少一个量化参数的信息，(2)所述图像块中的样本的块边界信息，以及(3)所述图像块的预测样本。根据另一个一般方面，提出了一种用于视频解码的方法，包括：访问编码视频的图片的图像块的第一重建版本；以及通过神经网络对所述图像块的所述第一重建版本进行滤波，以形成所述图像块的第二重建版本，其中，所述神经网络响应于以下中的至少一个：(1)基于所述图像块的至少一个量化参数的信息，(2)所述图像块中的样本的块边界信息，以及(3)所述图像块的预测样本。根据另一个一般方面，一种用于视频编码的装置，包括至少一个存储器和一个或多个处理器，所述一个或多个处理器被配置为：访问视频的图片的图像块的第一重建版本；以及通过神经网络对所述图像块的所述第一重建版本进行滤波，以形成所述图像块的第二重建版本，其中，所述神经网络响应于以下中的至少一个：(1)基于所述图像块的至少一个量化参数的信息，(2)所述图像块中的样本的块边界信息，以及(3)所述图像块的预测样本。根据另一个一般方面，提出了一种用于视频解码的装置，包括至少一个存储器和一个或多个处理器，所述一个或多个处理器被配置为：访问编码视频的图片的图像块的第一重建版本；以及通过神经网络对所述图像块的所述第一重建版本进行滤波，以形成所述图像块的第二重建版本，其中，所述神经网络响应于以下中的至少一个：(1)基于所述图像块的至少一个量化参数的信息，(2)所述图像块中的样本的块边界信息，以及(3)所述图像块的预测样本。在一个实施例中，所述神经网络是卷积神经网络。所述神经网络可以基于残差学习。为了将所述块边界信息用作所述神经网络的输入，可以形成具有与所述图像块相同的尺寸的数据阵列，其中，所述数据阵列中的每个样本指示所述图像块中的相应样本是否在块边界处。为了使用基于至少一个量化参数的所述信息，可以形成具有与所述图像块相同的尺寸的数据阵列，其中，所述数据阵列中的每个样本与所述图像块的所述至少一个量化参数相关联。基于至少一个量化参数的所述信息可以是量化步长。在一个实施例中，所述神经网络还响应于以下中的一个或多个：(1)所述图像块的预测残差，以及(2)所述图像块的至少一个帧内预测模式。尽管所述神经网络可以响应于如上所述作为输入的信息的不同通道，但是可以将所述神经网络的输入的一个或多个通道用作所述神经网络的中间层的输入。在一个实施例中，所述图像块的所述第一重建版本可以基于所述预测样本和所述图像块的预测残差。所述图像块的所述第二重建版本可以用于预测另一图像块，以进行帧内或帧间预测。在编码或解码时，所述图像块可以对应于编码单元(CU)、编码块(CB)或编码树单元(CTU)。根据另一个一般方面，一种视频信号，被格式化为包括图像块和所述图像块的预测样本之间的预测残差；以及其中图像块的第一重建版本基于所述预测样本和所述预测残差，其中通过神经网络对所述图像块的所述第一重建版本进行滤波，以形成所述图像块的第二重建版本，以及其中所述神经网络响应于以下中的至少一个：(1)所述图像块的至少一个量化参数，(2)所述图像块中的样本的块边界信息，以及(3)所述图像块的所述预测样本。本实施例还提供一种计算机可读存储介质，其上存储有用于根据上述方法对视频数据进行编码或解码的指令。本实施例还提供一种计算机可读存储介质，其上存储有根据上述方法生成的比特流。本实施例还提供一种用于发送根据上述方法生成的比特流的方法和装置。附图说明图1图示了示例性HEVC(高效视频编码)视频编码器的框图。图2图示了示例性HEVC视频解码器的框图。图3图示了JEM6.0中使用的四个环内滤波器。图4图示了示例性CNN(卷积神经网络)。图5图示了被设计为用于HEVC的后处理滤波器的可变滤波器尺寸残差学习CNN(VRCNN)。图6A、图6B和图6C分别图示了将CNN用作环内滤波器的训练过程、编码过程和解码过程。图7图示了根据实施例的用于生成边界图像的示例性方法。图8A图示了示例性图像中的示例性分区边缘，图8B图示了对应的边界图像，图8C图示了CTU的示例性CU分区，以及图8D图示了对应的QP(量化参数)图像区域。图9A、图9B和图9C分别图示了根据实施例的将模式感知CNN用作环内滤波器的训练过程、编码过程和解码过程图10图示了其中可以实现示例性实施例的各个方面的示例性系统的框图。具体实施方式图1图示了示例性HEVC编码器100。为了对具有一个或多个图片的视频序列进行编码，将图片分区为一个或多个条带，其中每个条带可以包括一个或多个条带段。将条带段组织为编码单元、预测单元和变换单元。在本申请中，术语“重建”和“解码”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常但并非必须，术语“重建”在编码器侧使用，而“解码”在解码器侧使用。HEVC规范在“块”和“单元”之间进行区分，其中“块”针对样本阵列(例如，亮度，Y)中的特定区域，而“单元”包括所有编码颜色分量(Y，Cb，Cr或单色)的并置块、语法元素以及与块相关联的预测数据(例如，运动矢量)。为了进行编码，将图片分区为具有可配置尺寸的方形的编码树块(CTB)，并将连续的一组编码树块分组为条带。编码树单元(CTU)包含编码颜色分量的CTB。CTB是分区为编码块(CB)的四叉树的根，并且可将编码块分区为一个或多个预测块(PB)，并形成分区为变换块(TB)的四叉树的根。与编码块、预测块和变换块相对应，编码单元(CU)包括预测单元(PU)和变换单元(TU)的树结构集，PU包括所有颜色分量的预测信息，并且TU包括每个颜色分量的残差编码语法结构。亮度分量的CB、PB和TB的尺寸适用于相应的CU、PU和TU。在本申请中，术语“块”可用于指代CTU、CU、PU、TU、CB、PB和TB中的任何一个。另外，“块”还可用于指代H.264/AVC或其他视频编码标准中指定的宏块和分区，并且更一般地指代各种尺寸的数据阵列。在示例性编码器100中，如下所述，由编码器元件本文档来自技高网...

【技术保护点】
1.一种用于视频编码的方法，包括：/n访问视频的图片的图像块的第一重建版本；以及/n通过神经网络对所述图像块的所述第一重建版本进行滤波，以形成所述图像块的第二重建版本，/n其中，所述神经网络响应于所述图像块中的样本的块边界信息以及以下中的至少一个：(1)基于所述图像块的至少一个量化参数的信息，和(2)所述图像块的预测样本。/n

【技术特征摘要】
【国外来华专利技术】20170828 EP 17306101.11.一种用于视频编码的方法，包括：
访问视频的图片的图像块的第一重建版本；以及
通过神经网络对所述图像块的所述第一重建版本进行滤波，以形成所述图像块的第二重建版本，
其中，所述神经网络响应于所述图像块中的样本的块边界信息以及以下中的至少一个：(1)基于所述图像块的至少一个量化参数的信息，和(2)所述图像块的预测样本。


2.一种用于视频解码的方法，包括：
访问编码视频的图片的图像块的第一重建版本；以及
通过神经网络对所述图像块的所述第一重建版本进行滤波，以形成所述图像块的第二重建版本，
其中，所述神经网络响应于所述图像块中的样本的块边界信息以及以下中的至少一个：(1)基于所述图像块的至少一个量化参数的信息，和(2)所述图像块的预测样本。


3.一种用于视频编码的装置，包括：
至少一个存储器和耦合到所述至少一个存储器的一个或多个处理器，所述一个或多个处理器被配置为：
访问视频的图片的图像块的第一重建版本；以及
通过神经网络对所述图像块的所述第一重建版本进行滤波，以形成所述图像块的第二重建版本，
其中，所述神经网络响应于所述图像块中的样本的块边界信息以及以下中的至少一个：(1)基于所述图像块的至少一个量化参数的信息，和(2)所述图像块的预测样本。


4.一种用于视频解码的装置，包括：
至少一个存储器和耦合到所述至少一个存储器的一个或多个处理器，所述一个或多个处理器被配置为：
访问编码视频的图片的图像块的第一重建版本；以及
通过神经网络对所述图像块的所述第一重建版本进行滤波，以形成所述图像块的第二重建版本，
其中，所述神经网络响应于所述图像块中的样本的块边界信息以及以下中的至少一个：(1)基于所述图像块的至少一个量化参数的信息，和(2)所述图像块的预测样本。


5.根据权利要求1或2所述的方法，还包括以下步骤，或者根据权利要求3或4所述的装置，还被配置为执行以下步骤：
形成具有与所述图像块相同的尺寸的数据阵列，其中，所述数据阵列中的每个样本指示所述图像块中的对应样本是否在块边界处。


6.根据权利要求1、2和5中任一项所述的方法，还包括以下步骤，或者根据权利要求3-5中任一项所述的装置，还被...

【专利技术属性】
技术研发人员：F加尔平，G德马米斯，P博德斯，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US