基于分类器的卷积神经网络环路滤波器制造技术

论述了与用于视频编码的基于卷积神经网络的环路滤波有关的技术，该技术包括：对于与输入视频相对应的重建视频帧的每个区域被分类到的多个分类中的每个分类，训练卷积神经网络环路滤波器；以及选择经训练的卷积神经网络环路滤波器的子集来用于对输入视频进行编码。环路滤波器的子集来用于对输入视频进行编码。环路滤波器的子集来用于对输入视频进行编码。

【技术实现步骤摘要】
【国外来华专利技术】基于分类器的卷积神经网络环路滤波器

技术介绍

[0001]在视频压缩/解压缩(编解码器)系统中，压缩效率和视频质量是重要的性能标准。例如，视觉质量在许多视频应用中是用户体验的一个重要方面，并且压缩效率影响着存储视频文件所需要的存储器存储的量和/或传输和/或流传输视频内容所需要的带宽的量。例如，视频编码器压缩视频信息以使得更多的信息可通过给定的带宽被发送或者被存储在给定的存储器空间中，等等。压缩的信号或数据随后可经由解码器被解码，解码器对信号或数据进行解码或解压缩来显示给用户。在大多数实现方式中，带有更大压缩的更高视觉质量是想要的。
[0002]环路滤波被用于视频编解码器中，以改善重建视频的质量(包括客观质量和主观质量)。这种环路滤波可以在帧重建结束时被应用。有不同类型的环内滤波器，例如解块滤波器(deblocking filter，DBF)、样本自适应偏移(sample adaptive offset，SAO)滤波器和自适应环路滤波器(adaptive loop filter，ALF)，它们解决视频重建伪影的不同方面，以改善重建视频的最终质量。滤波器可以是线性的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于视频编码的装置，包括：存储器，用于存储至少一个重建视频帧；以及一个或多个处理器，与所述存储器耦合，所述一个或多个处理器用于：将所述至少一个重建视频帧的多个区域中的每个区域分类到多个分类中的所选分类中，所述重建视频帧对应于输入视频的原始视频帧；使用具有相应的所选分类的那些区域为每个分类训练卷积神经网络环路滤波器，以生成多个经训练的卷积神经网络环路滤波器；选择所述经训练的卷积神经网络环路滤波器的子集，所述子集至少包括第一经训练的卷积神经网络环路滤波器，该第一经训练的卷积神经网络环路滤波器使所述原始视频帧与使用所述重建视频帧和所述第一经训练的卷积神经网络环路滤波器生成的滤波后视频帧之间的失真最小化；至少部分基于所述经训练的卷积神经网络环路滤波器的子集来对所述输入视频进行编码；以及将所述子集的每个卷积神经网络环路滤波器的卷积神经网络环路滤波器参数和经编码的视频编码到比特流中。2.如权利要求1所述的装置，其中，所述一个或多个处理器将每个区域分类到所选分类中是基于按照通用视频编码标准对每个区域的自适应环路滤波器分类的。3.如权利要求1所述的装置，其中，所述一个或多个处理器选择所述经训练的卷积神经网络环路滤波器的子集包括所述一个或多个处理器进行以下操作：将每个经训练的卷积神经网络环路滤波器应用到所述重建视频帧；对于分类和经训练的卷积神经网络环路滤波器的每个组合，确定失真值，并且对于每个分类，确定在不使用任何经训练的卷积神经网络环路滤波器的情况下的基线失真值；对于所述重建视频帧，对于每个经训练的卷积神经网络环路滤波器基于这个经训练的卷积神经网络环路滤波器的失真值和所述基线失真值生成帧级失真；以及选择所述第一经训练的卷积神经网络环路滤波器作为具有最低帧级失真的经训练的卷积神经网络环路滤波器。4.如权利要求3所述的装置，所述一个或多个处理器用于：响应于第二经训练的卷积神经网络环路滤波器具有的帧级失真增益超过所述第二经训练的卷积神经网络环路滤波器的模型开销，而选择所述第二经训练的卷积神经网络环路滤波器来包括在所述子集中，所述帧级失真增益是使用所述第二经训练的卷积神经网络环路滤波器相对于只使用所述第一经训练的卷积神经网络环路滤波器而言的。5.如权利要求1所述的装置，所述一个或多个处理器用于：通过所述一个或多个处理器进行以下操作来为第二重建视频帧生成映射表，所述映射表将分类映射到所述经训练的卷积神经网络环路滤波器的子集：将所述第二重建视频帧的多个第二区域中的每个第二区域分类到所述分类中的第二所选分类中；对于每个分类，确定在使用所述经训练的卷积神经网络环路滤波器的子集中的所选一个经训练的卷积神经网络环路滤波器的情况下的最小失真和在不使用任何经训练的卷积神经网络环路滤波器的情况下的基线失真；以及
对于每个分类，响应于该分类的最小失真小于所述基线失真而指派所述经训练的卷积神经网络环路滤波器的子集中的所选一个经训练的卷积神经网络环路滤波器，或者响应于该分类的最小失真不小于所述基线失真而跳过卷积神经网络环路滤波。6.如权利要求1所述的装置，所述一个或多个处理器用于：对于第二重建视频帧的编码单元，使用映射表来确定在卷积神经网络环路滤波开启的情况下的编码单元级失真，所述映射表指示出所述经训练的卷积神经网络环路滤波器的子集中的哪些经训练的卷积神经网络环路滤波器将被应用到所述编码单元的块；以及响应于所述编码单元级失真小于在不使用卷积神经网络环路滤波的情况下的编码单元级失真，标记卷积神经网络环路滤波开启，或者响应于所述编码单元级失真不小于在不使用卷积神经网络环路滤波的情况下的编码单元级失真，标记卷积神经网络环路滤波关闭。7.如权利要求1所述的装置，其中，所述一个或多个处理器对所述子集的每个卷积神经网络环路滤波器的卷积神经网络环路滤波器参数进行编码包括：所述一个或多个处理器对每个卷积神经网络环路滤波器的参数进行量化。8.如权利要求1所述的装置，其中，所述一个或多个处理器至少部分基于所述经训练的卷积神经网络环路滤波器的子集来对所述输入视频进行编码包括所述一个或多个处理器进行以下操作：接收亮度区域、第一色度通道区域和第二色度通道区域；确定围绕并且包括所述亮度区域、所述第一色度通道区域和所述第二色度通道区域中的每一者的扩展区域；为所述经训练的卷积神经网络环路滤波器生成包括多个通道的输入，所述多个通道包括与扩展亮度区域的像素样本的子采样相对应的第一通道、第二通道、第三通道和第四通道，与扩展第一色度通道区域的像素样本相对应的第五通道，以及与扩展第二色度通道区域的像素样本相对应的第六通道；以及将所述第一经训练的卷积神经网络环路滤波器应用到所述多个通道。9.如权利要求1所述的装置，其中，每个卷积神经网络环路滤波器包括输入层和仅两个卷积层，第一卷积层在其每个卷积滤波器之后具有修正线性单元，并且第二卷积层具有与所述输入层的直接跳过连接。10.如权利要求1所述的装置，其中，所述一个或多个处理器进行分类、训练和选择是在包括时间标识0和1帧并且不包括时间标识2帧的多个重建视频帧上执行的，其中，所述时间标识是按照通用视频编码标准的。11.一种用于视频编码的方法，包括：将至少一个重建视频帧的多个区域中的每个区域分类到多个分类中的所选分类中，所述重建视频帧对应于输入视频的原始视频帧；使用具有相应的所选分类的那些区域为每个分类训练卷积神经网络环路滤波器，以生成多个经训练的卷积神经网络环路滤波器；选择所述经训练的卷积神经网络环路滤波器的子集，所述子集至少包括第一经训练的卷积神经网络环路滤波器，该第一经训练的卷积神经网络环路滤波器使所述原始视频帧与使用所述重建视频帧和所述第一经训练的卷积神经网络环路滤波器生成的滤波后视频帧
之间的失真最小化；至少部分基于所述经训练的卷积神经网络环路滤波器的子集来对所述输入视频进行编码；以及将所述子集的每个卷积神经网络环路滤波器的卷积神经网络环路滤波器参数和经编码的视频编码到比特流中。12.如权利要求11所述的方法，其中，将每个区域分类到所选分类中是基于按照通用视频编码标准对每个区域的自适应环路滤波器分类的。13.如权利要求11所述的方法，其中，选择所述经训练的卷积神经网络环路滤波器的子集包括：将每个经训练的卷积神经网络环路滤波器应用到所述重建视频帧；对于分类和经训练的卷积神经网络环路滤波器的每个组合，确定失真值，并且对于每个分类，确定在不使用任何经训练的卷积神经网络环路滤波器的情况下的基线失真值；对于所述重建视频帧，对于每个经训练的卷积神经网络环路滤波器基于这个经训练的卷积神经网络环路滤波器的失真值和所述基线失真值生成帧级失真；以及选择所述第一经训练的卷积神经网络环路滤波器作为具有最低帧级失真的经训练的卷积神经网络环路滤波器。14.如权利要求11所述的方法，还包括：通过以下方式来为第二重建视频帧生成映射表，所述映射表将分类映射到所述经训练的卷积神经网络环路滤波器的子集：将所述第二重建视频帧的多个第二区域中的每个第二区域分类到所述分类中的第二所选分类中；对于每个分类，确定在使用所述经训练的卷积神经网络环路滤波器的子集中的所选一个经训练的卷积神经网络环路滤波器的情况下的最小失真和在不使用任何经训练的卷积神经网络...

【专利技术属性】
技术研发人员：马守江，方骁然，殷胡俊，杨荣震，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：