用于有损视频编码的低复杂度混合域协同环内滤波器制造技术

一种用于编码或解码视频帧的视频编码装置，所述视频编码装置包括：帧重建单元，用于重建帧；联合参数确定和滤波单元，用于确定一个或多个滤波器参数，并基于确定的滤波器参数，在频域和像素域中滤波参考帧的块，以获取所述帧的滤波块；其中，基于确定的滤波器参数，在环路内联合执行确定一个或多个滤波器参数和在频域中滤波的操作，其中所述一个或多个滤波器参数基于根据所述重建帧的一个或多个第一参数和根据编解码器信令信息的一个或多个第二参数。

Low Complexity Hybrid Domain Cooperative Intra-Loop Filter for Lossy Video Coding

【技术实现步骤摘要】
【国外来华专利技术】用于有损视频编码的低复杂度混合域协同环内滤波器
本专利技术涉及一种视频编码装置、一种包括视频编码装置和视频解码装置的系统以及一种用于编码和/或解码视频帧的方法。本专利技术还涉及一种存储程序代码的计算机可读存储介质，所述程序代码包括用于执行该方法的指令。
技术介绍
混合视频编解码器，例如H.264/AVC和H.265/HEVC，使用许多最新的视频压缩技术。功能强大的视频压缩工具包括环内滤波(用于改善预测，即帧间预测或帧内预测)和用于改进所述解码视频的后滤波。在混合视频编解码器中，使用重建(解码)图像预测后续帧。所述解码图像中的量化噪声会降低预测性能。所述输入传感器的噪声(如摄像机中所述图像传感器的噪声)也会降低预测性能。不同的环内滤波器可以共同或单独降低这些类型的噪声。解码器可以包括类似于所述编码器的环内滤波器的环内滤波器。所述解码器的环内滤波器改善了预测信号。所述后滤波器改善了解码图像。在许多解码器中，单个滤波器用作后滤波器，还可用作环内滤波器。尽管现有技术有所进步，仍需要改进用于过滤所述重建信号的方法，以改善所述编码器/解码器侧的预测，以及改善终端用户的解码视频。最常见的环内滤波器是自适应环路滤波器。该滤波器曾在MPEG标准化工作会议上被提出在下一代视频编解码器中使用。根据这种方法，每个重建帧都可以划分为小宏块(超像素)集合，然后，每个宏块都使用自适应滤波器过滤。自适应环路滤波器包括三个块：参数估计块、像素域滤波块以及应用程序映射块。在所述编码器中，参数估计块基于原始重建图像与滤波后重建图像之间的匹配情况，来估计每个宏块的2D像素域维纳滤波器脉冲响应。然后，这些脉冲响应经量化并传输至熵编码器。所述熵编码器将编码滤波器参数插入输出比特流中。所述输出比特流从编码器传输至解码器。在所述解码器，熵解码器恢复每个宏块的维纳滤波器脉冲响应，并将滤波器参数传输至所述像素域滤波块，以供在滤波过程中使用。在所述解码器和所述编码器中，所述各个像素域滤波块根据所述参数估计块的滤波器参数针对所述重建图像执行像素域滤波。在所述编码器中，只滤波所述预测信号。在所述解码器侧，滤波后的帧用于终端用户的联合预测帧改进(环内滤波)和解码帧改进(后滤波)。滤波不仅可以应用于完整重建帧，还可以应用于图像的不同部分。简言之，自适应环路滤波器可以具有以下基本功能：–基于原始重建图像与滤波后重建图像之间的匹配情况，导出滤波器脉冲响应；–将滤波参数从编码器侧传输至解码器侧；–在所述像素域中执行滤波；–将滤波器用作环内滤波器(预测改进)和后(解码图片改进)滤波器；–基于RDO过程，构建应用程序映射；–只滤波量化噪声。尽管自适应环路滤波器具有很多优良特性，仍需要改进视频编码方法，并改进视频编码装置。
技术实现思路
本专利技术的目的在于提供一种视频编码装置、一种包括视频编码装置和视频解码装置的系统以及一种用于解码和/或编码视频帧的方法，其中，所述视频编码装置、所述系统以及所述方法可以克服所述现有技术的一个或多个问题。本专利技术的第一方面提供了一种用于编码或解码视频帧的视频编码装置，所述视频编码装置包括：–帧重建单元，用于重建帧；–联合参数确定和滤波单元，用于确定一个或多个滤波器参数，并基于确定的滤波器参数，在频域和像素域中滤波参考帧的块，以获取所述帧的滤波块；其中，基于确定的滤波器参数，在环路内联合执行确定一个或多个滤波器参数和在频域中滤波的操作，其中所述一个或多个滤波器参数基于根据所述重建帧的一个或多个第一参数和根据编解码器信令信息的一个或多个第二参数。在环路内联合确定滤波器参数，并基于确定的滤波参数执行所述滤波，这可以通过以下方式完成，如确定滤波器参数并对重建帧采用所述滤波器参数。所述视频编码装置可以是编码器或解码器。可以理解的是，所述视频编码装置不一定完全滤波每一帧。在实施例中，只会滤波其一个或多个块。例如，可以使用所述联合参数确定和滤波单元滤波并编码某些块，同时可以使用不同的滤波单元滤波并编码其它块。根据第一方面，所述视频编码装置具有所述优势：所述滤波器参数可以在所述解码器侧导出，不需要编码成所述比特流。因此，可以提高编码效率。优选地，所述联合参数确定和滤波单元用于：仅根据所述编码器侧的重建帧而不是原始帧，确定一个或多个滤波器参数。因此，所述联合参数确定和滤波单元不需要原始帧。因此，所述参数可以基于所述编码器侧和所述解码器侧(所述原始帧不可用)的重建帧，以相同方式确定。根据第一方面，在所述视频编码装置的第一种实现方式中，所述装置还包括：–像素域滤波单元，用于在像素域中滤波所述帧的块；–分类器，用于针对所述帧的块，确定是使用所述联合参数确定和滤波单元还是使用所述像素域滤波单元来滤波所述块。因此，第一种实现方式的视频编码装置可以用于在像素域和频域中滤波所述块。在频域中滤波可以与确定参数联合执行(如在同一环路内)，其中，在所述像素域中滤波可以单独执行(如在所述环路外)。在像素域和频域中执行所述滤波可以改善结果。根据第一方面或根据第一方面的一种实现方式，在所述视频编码装置的第二种实现方式中，所述分类器用于基于以下内容确定使用所述联合参数确定和滤波单元滤波所述块：–低于阈值的平滑度度量；和/或–低于阈值的亮度方差。实验表明，平滑度度量和/或亮度方差是确定使用所述联合参数确定和滤波单元滤波是否会改善结果的良好预测值。所述阈值可以是预定阈值，或者在其它实施例中，所述阈值可以基于所述视频特性和/或所述视频的当前帧(如所述当前重建帧)自适应地确定。根据第一方面或根据第一方面的前述任意一种实现方式，在所述视频编码装置的第三种实现方式中，所述视频编码装置是编码器，还包括应用程序映射单元，用于确定：对于所述分类器已确定使用所述联合参数确定和滤波单元执行滤波的联合滤波块，是否跳过滤波。换言之，所述分类器确定是否应用频域或像素域滤波(如有)，所述应用程序映射确定是否应确实应用频域滤波。优选地，基于预测改进加权函数和输出视频降质，所述应用程序映射单元确定跳过滤波。例如，所述预测改进源于传感器和量化噪声抑制。然而，传感器噪声抑制和边缘失真会导致输出视频(感知的)质量降低。优选地，所述编码器用于编码有关所述比特流中所述应用程序映射的相应信令信息，因此将所述信息传递给解码器。根据第一方面或根据第一方面的前述任意一种实现方式，在所述视频编码装置的第四种实现方式中，多个重建帧都存储在解码图片缓冲器中，并且所述联合参数确定和滤波单元用于：基于所述解码图片缓冲器的一个或多个帧，确定一个或多个第一参数。根据第一方面或根据第一方面的前述任意一种实现方式，在所述视频编码装置的第五种实现方式中，所述联合参数确定和滤波单元用于：根据所述重建帧估计原始帧，并基于估计到的原始帧，确定第一参数。估计所述原始帧允许粗略去除传感器和/或量化噪声，以及更好地估计所述原始帧的参数。因此，与在所述重建帧的基础上确定第一参数相比，基于估计到的原始帧，可以更好地确定第一参数。根据第一方面或根据第一方面的前述任意一种实现方式，在所述视频编码装置的第六种实现方式中，所述联合参数确定和滤波单元用于：根据所述编解码器信令信息确定量化噪声值，并基于所述导出量化噪声值，确定第二参数。其优势在于，可以更准确度地确定滤波器参数。优选地，所本文档来自技高网...

【技术保护点】
1.一种用于编码或解码视频帧(1000)的视频编码装置(100、210、220)，其特征在于，所述视频编码装置包括：帧重建单元(110)，用于重建帧(1000)；联合参数确定和滤波单元(120)，用于确定一个或多个滤波器参数，并基于确定的滤波器参数，在频域和像素域中滤波所述参考帧(1000)的块，以获取所述帧的滤波块；其中，基于确定的滤波器参数，在环路内联合执行确定一个或多个滤波器参数和在频域中滤波的操作，其中所述一个或多个滤波器参数基于根据所述重建帧的一个或多个第一参数和根据编解码器信令信息的一个或多个第二参数。

【技术特征摘要】
【国外来华专利技术】1.一种用于编码或解码视频帧(1000)的视频编码装置(100、210、220)，其特征在于，所述视频编码装置包括：帧重建单元(110)，用于重建帧(1000)；联合参数确定和滤波单元(120)，用于确定一个或多个滤波器参数，并基于确定的滤波器参数，在频域和像素域中滤波所述参考帧(1000)的块，以获取所述帧的滤波块；其中，基于确定的滤波器参数，在环路内联合执行确定一个或多个滤波器参数和在频域中滤波的操作，其中所述一个或多个滤波器参数基于根据所述重建帧的一个或多个第一参数和根据编解码器信令信息的一个或多个第二参数。2.根据权利要求1所述的视频编码装置(100、210、220)，其特征在于，还包括：像素域滤波单元，用于在像素域中滤波所述帧的块；分类器，用于针对所述帧的块，确定是使用所述联合参数确定和滤波单元还是使用所述像素域滤波单元来滤波所述块。3.根据权利要求2所述的视频编码装置(100、210、220)，其特征在于，所述分类器用于基于以下内容确定使用所述联合参数确定和滤波单元滤波所述块：低于阈值的平滑度度量；和/或低于阈值的亮度方差。4.根据权利要求2和3任一项所述的视频编码装置(100、210、220)，其特征在于，所述视频编码装置是编码器，还包括应用程序映射单元，用于确定：对于所述分类器已确定使用所述联合参数确定和滤波单元(120)执行滤波的联合滤波块，是否跳过滤波。5.根据前述权利要求中任一项所述的视频编码装置(100、210、220)，其特征在于，多个重建帧都存储在解码图片缓冲器中，并且所述联合参数确定和滤波单元(120)用于：基于所述解码图片缓冲器的一个或多个帧，确定一个或多个第一参数。6.根据前述权利要求中任一项所述的视频编码装置(100、210、220)，其特征在于，所述联合参数确定和滤波单元(100、210、220)用于：根据所述重建帧估计原始帧，并基于估计到的原始帧，确定第一参数。7.根据前述权利要求中任一项所述的视频编码装置(100、210、220)，其特征在于，所述联合参数确定和滤波单元(120)用于：根据所述编解码器信令信息确定量化噪声值，并基于所述导出量化噪声值，确定第二参数。8.根据前述权利要求中任一项所述的视频编码装置(100、210、220)，其特征在于，所述联合参数确定和滤波单元(120)用于：确定滤波器参数，并基于确定的滤波器参数，滤波所述重建帧，其方式如下：确定重建帧的多个块；对于每个所述块：确定与所述块类似的像素域补丁集群；基于所述像素域补丁集群，确定所述第一参数；基于所述块信令信息，确定...

【专利技术属性】
技术研发人员：维克多·阿列克谢耶维奇·斯蒂平，罗马·伊戈雷维奇·车雅克，鲁斯兰·法里托维奇·穆拉赫梅托夫，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44