用于高效视频编码的内容自适应损害补偿滤波制造技术

描述了用于损害补偿滤波的系统和方法，其可以与视频编码结合使用，或者单独用于后处理。其结合高效的码本表示使用Wiener滤波方法。

【技术实现步骤摘要】
【国外来华专利技术】用于高效视频编码的内容自适应损害补偿滤波
本公开内容涉及视频信号的编码和解码，并且更具体地，涉及对用于损害补偿的自适应滤波器进行基于码本的编码和解码。
技术介绍
诸如数字图像、语音/音频、图形和视频之类的数字多媒体的出现已经大大地改善了各种应用，以及由于相对容易而开辟了崭新的应用，借此已经实现了对内容的可靠存储、通信、传输以及搜索和访问。总体来讲，数字多媒体的应用已经很多了，涵盖包括娱乐、信息、医疗和安全在内的广泛范围，并且已经以多种方式使得社会受益。诸如照相机和麦克风之类的传感器所捕获的多媒体通常是模拟的，并且脉冲编码调制(PCM)形式的数字化过程使其成为数字的。然而，就在数字化之后，所产生的数据的量可能是相当大的，有必要重新创建扬声器和/或TV显示器所需要的模拟表示。因而，对大量的数字多媒体内容的高效传送、存储或传输需要从原始的PCM形式压缩到已压缩表示。因而，已经专利技术了许多多媒体压缩技术。多年以来，视频压缩技术已经发展得非常尖端，已经到达这样的程度：它们常常能够实现10到100之间的高压缩率，同时保持高的心理视觉质量，常常与未压缩的数字视频类似。虽然迄今为止已经在视频压缩领域和科学内取得了极大进展(如过多个标准主体驱动的视频编码标准(例如MPEG-1、MPEG-2、H.263、MPEG-4part2、MPEG-4AVC/H.264、MPEG-4SVC和MVC)以及行业驱动的专有标准(例如WindowsMediaVideo、RealVideo、On2VP等)所展现的)，但是消费者对于随时随地可供访问的更高质量、更高清晰度以及现在的3D(立体)视频的不断提高的胃口已经使得通过各种方式(例如DVD/BD、空中广播、电缆/卫星、有线和移动网络)传递到一系列客户端设备(例如PC/膝上型电脑、TV、机顶盒、游戏控制台、便携式媒体播放器/设备和智能电话)成为必要，这点燃了对甚至更高级别的视频压缩的期望。在标准主体驱动的标准中，这由ISOMPEG在高效率视频编码中最近开始的努力所证明，期望该努力将新的技术贡献与来自ITU-T标准委员会多年来对H.265视频压缩所作的探索性工作的技术组合起来。所有前述标准都采用通用的帧间预测编码框架，其涉及通过以下方式来减少时间冗余：通过首先将帧划分成块并给要被编码的帧的每个块分配运动向量，来相对于过去解码的帧对视频帧之间的运动进行补偿；这些运动向量随后被发送到解码器并用于生成与过去解码的帧不同的运动补偿预测帧，并通常通过转换编码被逐块地编码。很久就已经认识到：以今天当前的编解码器运行的高压缩率，运动补偿转换编码过程可能生成从编码噪声(例如蚊虫效应)、区块(blockiness)、渗色到环(ringing)的编码伪影。实际上，为了减轻这些编码伪影中的一些，最流行的编解码器包括解块滤波器以及有时是环，以作为后处理滤波器。与可以在环路外进行的后处理相比，解块是在环路内进行的。通常这样的解块能够抑制可视质量伪影，但是并不对编解码器所引入的损害进行补偿，这样的解块也不能给出太多的编码质量增益。认识到这一点，在过去的几年，已经进行了研究努力来设计能够改善可视质量和编码质量的额外滤波器。此外，由于编码质量可能根据视频序列的内容、对比率、噪声等级以及操作比特率而变化很大，所以期望滤波器是自适应的而不是固定的，以获得这样的滤波器的最大益处，从而改善预测并因而帮助改善压缩效率。用于计算滤波器系数的数学过程基于WienerHopf方程，并计算滤波器系数(例如，5×5、7×7或9×9的系数阵列)，对于每个视频序列的每个帧而言，直接地或差分地发送所述滤波器系数。根据自适应滤波的基本原理，对互相关矩阵和自相关矩阵进行累积，通过以下方式对WienerHofp方程进行求解，可以从互相关矩阵和自相关矩阵计算出最优Wiener滤波器。令x(n)是输入信号，y(n)是输出，并且h(n)表示滤波器系数。滤波器输出：误差信号：e(n)＝d(n)-y(n)均方误差：J＝E[e2(n)]矩阵形式为：以及y(n)＝hTx(n)＝x(n)Th其中，Pd是标量。互相关行向量：Rdx＝E[d(n)x(n)T]自相关矩阵：Rxx＝E[X(n)x(n)T]为了找到最小值，求导数，并将导数设置成零，如下：针对h进行求解，WienerHofpf方程如下：WienerHofpf方程确定在均方误差方面最优的滤波器系数，并且产生的滤波器被称为“wiener”滤波器。在上面的方程中，h是滤波器系数的向量，Rxx是自相关矩阵(或参考帧的块数据)，而Rdx是(源帧与参考帧块数据之间的)互相关矩阵/行向量。虽然上述数学过程可以计算滤波器系数，但是在将这种方法实际整合到视频编码系统中的过程中存在大量的问题。在H.264和H.265发展的上下文中，已经提出了多种建议来处理基于图片(ALF)、基于块(ALF)、基于四叉树(QALF)、系数空间预测、后滤波器。然而，限制是该过程在计算上是昂贵的(与可分离滤波器相比，不可分离滤波器需要更多的计算)、通常是迭代的，这需要3-12次完整的迭代来计算滤波器系数，并且还常常需要针对每个帧发送许多系数(40-80个系数)，这在差分编码时甚至可能针对公共中间格式(“CIF”)分辨率视频的每一个帧花费例如大约300-600个比特，而有时却提供有限的增益(例如，由于系数的舍入所引起的，标准系数是内容的良好匹配等)。此外，一些方法发送宏块或基于四叉树的块映射以指示“开启”或“关闭”了这样的滤波器的块；该过程可能将开销比特成本增加另外的200-400比特，使得每个帧的总比特成本为500-1000比特。这使得这种系统在开销比特成本方面是昂贵的、不灵活的以及过于复杂。在以下参考文献中可以找到与自适应滤波有关的额外信息，以下参考文献中的每一个通过引用方式完全并入本文，用于所有目的：·T.Chujoh等“BlockBasedAdaptiveLoopFilter”，ITU-TelecommunicationsStandardizationSector，VCEG，VCEG-AI18，Germany，July2008。·T.Chujoh等“SpecificationandexperimentalresultsofQuad-tree-basedAdaptiveLoopFilter”，ITU-TelecommunicationsStandardizationSector，VCEG，VCEG-AK22，Japan，April2009。附图说明图1示出了根据一个实施例的示例性视频编码/解码系统。图2示出了根据一个实施例的示例性编码设备的若干组件。图3示出了根据一个实施例的示例性解码设备的若干组件。图4示出了根据一个实施例用于生成码本的“离线”例程，所述码本表示多个损害补偿(“IC”)滤波器系数集合。图5a-g示出了根据各个实施例在损害补偿滤波中使用的各种滤波器的系数-像素位置。图6a-6d示出了根据各个实施例在损害补偿滤波中使用的各个滤波器的示例性系数。图7示出了根据一个实施例的包括IC码本滤波器编码器的视频编码器。图8示出了根据一个实施例的包括IC码本滤波器解码器的视频解码器。图9示出了根据一个实施例的IC码本滤波器编码器。图10a-本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.12.21 US 12/974,6451.一种视频编码器设备实现的方法，用于对已编码视频帧的损害补偿滤波器系数值集合进行编码，所述方法包括：由所述视频编码器设备获得包括多个损害补偿滤波器系数值集合的码本，所述多个损害补偿滤波器系数值集合适合于配置视频解码器的损害补偿滤波器以对具有多种特性的已编码视频的帧进行处理；在对未编码视频帧进行编码以产生已编码比特流期间，所述视频编码器设备自适应地从所述码本中选择损害补偿滤波器系数值集合，以改善在所述损害补偿滤波器系数值集合用于配置所述损害补偿滤波器以对所述已编码帧的至少一部分进行处理时所述视频解码器再现所述未编码视频帧的至少一部分的忠实度；以及将一指示符包括在所述视频编码器设备所产生的所述已编码比特流中，所述指示符使得所述视频解码器能够从所述码本的所述视频解码器的副本中选择所选的损害补偿滤波器系数值集合。2.如权利要求1所述的方法，其中，自适应地从所述码本中选择所述损害补偿滤波器系数值集合包括：对所述未编码视频帧进行编码；由所述视频编码器设备在本地解码器环路中对已编码帧进行解码；以及根据已解码帧和所述未编码帧来计算目标损害补偿滤波器系数值集合。3.如权利要求2所述的方法，其中，从所述码本中选择所述损害补偿滤波器系数值集合包括：从所述码本中选择基本上与所述目标损害补偿滤波器系数值集合相符合的损害补偿滤波器系数值集合。4.如权利要求3所述的方法，其中，从所述码本中选择基本上与所述目标损害补偿滤波器系数值集合相符合的损害补偿滤波器系数值集合包括：根据所述目标损害补偿滤波器系数值集合的一个或多个代表系数的值，从所述码本中选择近似匹配的损害补偿滤波器系数值集合；选择比较组，所述比较组包括所述近似匹配的损害补偿滤波器系数值集合以及一个或多个邻近的损害补偿滤波器系数值集合；分别确定所述目标损害补偿滤波器系数值集合与包括所述比较组的集合之间的多个比较度量；以及根据所确定的多个比较度量，从所述码本中选择基本上与所述目标损害补偿滤波器系数值集合相符合的损害补偿滤波器系数值集合。5.如权利要求4所述的方法，其中，分别确定所述多个比较度量包括：分别确定所述目标损害补偿滤波器系数值集合与所述比较组之间的多个误差估计。6.如权利要求4所述的方法，其中，所述码本是根据所述一个或多个代表系数进行排序或索引的，以有助于选择所述近似匹配的集合。7.如权利要求4所述的方法，其中，所述一个或多个代表系数包括Wiener滤波器的中心系数。8.如权利要求4所述的方法，其中，所述比较组还包括：所述近似匹配的损害补偿滤波器系数值集合和所述一个或多个邻近的损害补偿滤波器系数值集合中的至少一个的至少一个所计算的变型。9.如权利要求1所述的方法，还包括：在对所述未编码视频帧进行编码期间，计算所选的损害补偿滤波器系数值集合的变型。10.如权利要求9所述的方法，其中，计算所选的损害补偿滤波器系数值集合的变型包括以下中的一个：旋转所选的损害补偿滤波器系数值集合，和反转所选的损害补偿滤波器系数值集合。11.如权利要求9所述的方法，还包括：将第二指示符包括在所述视频编码器设备所产生的所述已编码比特流中，所述第二指示符使得所述视频解码器能够计算所选的损害补偿滤波器系数值集合的所计算的变型。12.如权利要求1所述的方法，还包括：在对所述未编码视频帧进行编码期间，自适应地从所述码本中选择第二损害补偿滤波器系数值集合，以改善在所述第二损害补偿滤波器系数值集合用于配置所述损害补偿滤波器以对所述已编码帧的第二部分进行处理时所述视频解码器再现所述未编码视频帧的第二部分的忠实度。13.如权利要求12所述的方法，还包括：将第二指示符包括在所述视频编码器设备所产生的所述已编码比特流中，所述第二指示符使得所述视频解码器能够识别所述已编码帧的所述部分和所述第二部分。14.如权利要求1所述的方法，还包括：在对所述未编码视频帧进行编码期间：确定多个调整值，所述多个调整值用于调整所选的损害补偿滤波器系数值集合中的相应的多个值，以进一步改善所述视频解码器再现所述未编码视频帧的所述至少一部分的忠实度；以及根据多个所确定的调整值来更新所述码本中的所选的损害补偿滤波器系数值集合；以及将更新数据和更新指示包括在所述已编码比特流中，所述更新数据与所述多个调整值相对应，所述更新指示指导所述视频解码器根据所述更新数据来更新所述码本的所述视频解码器的副本。15.如权利要求14所述的方法，还包括：在后续对第二未编码视频帧进行编码期间，将重置指示包括在所述已编码比特流中，所述重置指示指导所述视频解码器丢弃之前所指导的对于所述码本的所述视频解码器的副本的更新。16.一种用于对已编码视频帧的损害补偿滤波器系数值集合进行编码的装置，所述装置包括：用于通过视频编码器设备获得包括多个损害补偿滤波器系数值集合的码本的模块，所述多个损害补偿滤波器系数值集合适合于配置视频解码器的损害补偿滤波器以对具有多种特性的已编码视频的帧进行处理；用于在对未编码视频帧进行编码以产生已编码比特流期间，通过所述视频编码器设备自适应地从所述码本中选择损害补偿滤波器系数值集合，以改善在所述损害补偿滤波器系数值集合用于配置所述损害补偿滤波器以对所述已编码帧的至少一部分进行处理时所述视频解码器再现所述未编码视频帧的至少一部分的忠实度的模块；以及用于将一指示符包括在所述视频编码器设备所产生的所述已编码比特流中的模块，所述指示符使得所述视频解码器能够从所述码本的所述视频解码器的副本中选择所选的损害补偿滤波器系数值集合。17.一种视频编码装置，包括：损害补偿滤波器码本查找表和地址逻辑，用于在对未编码视频帧进行编码以产生已编码比特流期间，自适应地从码本中选择损害补偿滤波器系数值集合，以改善在所述损害补偿滤波器系数值集合用于配置视频解码器的损害补偿滤波器以对已编码帧的至少一部分进行处理时所述视频解码器再现所述未编码视频帧的至少一部分的忠实度，其中，所述码本包括多个损害补偿滤波器系数值集合，所述多个损害补偿滤波器系数值集合适合于配置所述视频解码器的所述损害补偿滤波器以对具有多种特性的已编码视频的帧进行处理；以及熵编码器，用于将一指示符包括在所述已编码比特流中，所述指示符使得所述视频解码器能够从所述码本的所述视频解码器的副本中选择所选的损害补偿滤波器系数值集合。18.一种视频编码器设备实现的方法，用于对已编码视频帧的损害补偿滤波器系数值集合进行编码，所述方法包括：由所述视频编码器设备获得至少两个码本，所述至少两个码本中的第一码本包括第一多个损害补偿滤波器系数值集合，所述第一多个损害补偿滤波器系数值集合适合于配置具有第一滤波器大小的视频解码器损害补偿滤波器以对具有至少第一图像特性的已编码视频的帧进行处理，所述至少两个码本中的第二码本包括第二多个损害补偿滤波器系数值集合，所述第二多个损害补偿滤波器系数值集合适合于配置具有第二滤波器大小的视频解码器损害补偿滤波器以对具有至少第二图像特性的已编码视频的帧进行处理，其中，所述第二滤波器大小小于所述第一滤波器大小；在对未编码视频帧进行编码以产生已编码比特流期间，所述视频编码器设备：确定所述未编码帧的图像特性；至少部分地基于所确定的图像特性来选择所述至少两个码本中的一个；以及自适应地从所选的码本中选择损害补偿滤波器系数值集合，以改善在所述损害补偿滤波器系数值集合用于配置所述损害补偿滤波器以对所述已编码帧进行处理时所述视频解码器再现所述未编码视频帧的忠实度；以及将第一指示符和第二指示符包括在所述视频编码器设备所产生的所述已编码比特流中，所述第一指示符使得所述视频解码器能够从所述至少两个码本中选择所选的码本，所述第二指示符使得所述视频解码器能够从所选的码本中选择所选的损害补偿滤波器系数值集合。19.如权利要求18所述的方法，其中，至少部分地基于所确定的图像特性来选择所述至少两个码本中的一个包括：根据所述未编码帧的所确定的图像特性来确定目标滤波器大小；以及至少部分地基于所确定的目标滤波器大小来选择码本。20.如权利要求19所述的方法，其中，确定所述未编码帧的图像特性包括：确定所述未编码帧的对比度等级。21.如权利要求20所述的方法，其中，根据所述未编码帧的所确定的图像特性来确定所述目标滤波器大小包括：根据所述未编码帧的所确定的对比度等级来确定所述目标滤波器大小。22.如权利要求21所述的方法，其中，根据所述未编码帧的所确定的对比度等级来确定所述目标滤波器大小包括：在所述未编码帧的所确定的对比度等级较低时确定较大的滤波器大小，而在所述未编码帧的所确定的对比度等级较高时确定较小的滤波器大小。23.如权利要求19所述的方法，其中，选择所述至少两个码本中的一个还至少部分地基于与所述编码相关联的编码质量度量。24.如权利要求23所述的方法，其中，根据所述未编码帧的所确定的图像特性来确定所述目标滤波器大小包括：根据所述编码质量度量来确定所述目标滤波器大小。25.如权利要求24所述的方法，其中，根据所述编码质量度量来确定所述目标滤波器大小包括：在所述编码质量较低时确定较大的滤波器大小，而在所述编码质量度量较高时确定较小的滤波器大小。26.如权利要求18所述的方法，其中，所述第一多个损害补偿滤波器系数值集合包括用于5×5、7×7和9×9的损害补偿滤波器中所选的一个损害补偿滤波器的系数值集合，并且其中，所述第二多个损害补偿滤波器系数值集合包括用于5×5、7×7和9×9的损害补偿滤波器中所选的一个不同的损害补偿滤波器的系数值集合。27.一种用于对已编码视频帧的损害补偿滤波器系数值集合进行编码的装置，所述装置包括：用于通过视频编码器设备获得至少两个码本的模块，所述至少两个码本中的第一码本包括第一多个损害补偿滤波器系数值集合，所述第一多个损害补偿滤波器系数值集合适合于配置具有第一滤波器大小的视频解码器损害补偿滤波器以对具有至少第一图像特性的已编码视频的帧进行处理，所述至少两个码本中的第二码本包括第二多个损害补偿滤波器系数值集合，所述第二多个损害补偿滤波器系数值集合适合于配置具有第二滤波器大小的视频解码器损害补偿滤波器以对具有至少第二图像特性的已编码视频的帧进行处理，其中，所述第二滤波器大小小于所述第一滤波器大小；在对未编码视频帧进行编码以产生已编码比特流期间：用于通过所述视频编码器设备确定所述未编码帧的图像特性的模块；用于至少部分地基于所确定的图像特性通过所述视频编码器设备来选择所述至少两个码本中的一个的模块；以及用于通过所述视频编码器设备自适应地从所选的码本中选择损害补偿滤波器系数值集合，以改善在所述损害补偿滤波器系数值集合用于配置所述损害补偿滤波器以对所述已编码帧进行处理时视频解码器再现所述未编码视频帧的忠实度的模块；以及用于将第一指示符和第二指示符包括在所述视频编码器设备所产生的所述已编码比特流中的模块，所述第一指示符使得所述视频解码器能够从所述至少两个码本中选择所选的码本，所述第二指示符使得所述视频解码器能够从所选的码本中选择所选的损害补偿滤波器系数值集合。28.一种视频编码装置，包括损害补偿滤波器码本搜索处理器、损害补偿滤波器码本查找表和地址逻辑以及熵编码器，在对未编码视频帧进行编码以产生已编码比特流期间：所述损害补偿滤波器码本搜索处理器用于确定所述未编码帧的图像特性，并至少部分地基于所确定的图像特性选择至少两个码本中的一个，其中，所述至少两个码本中的第一码本包括第一多个损害补偿滤波器系数值集合，所述第一多个损害补偿滤波器系数值集合适合于配置具有第一滤波器大小的视频解码器损害补偿滤波器以对具有至少第一图像特性的已编码视频的帧进行处理，所述至少两个码本中的第二码本包括第二多个损害补偿滤波器系数值集合，所述第二多个损害补偿滤波器系数值集合适合于配置具有第二滤波器大小的视频解码器损害补偿滤波器以对具有至少第二图像特性的已编码视频的帧进行处理，其中，所述第二滤波器大小小于所述第一滤波器大小；所述损害补偿滤波器码本查找表和地址逻辑用于自适应地从所选的码本中选择损害补偿滤波器系数值集合，以改善在所述损害补偿滤波器系数值集合用于配置所述损害补偿滤波器以对所述已编码帧进行处理时所述视频解码器再现所述未编码视频帧的忠实度；并且所述熵编码器用于将第一指示符和第二指示符包括在所述已编码比特流中，所述第一指示符使得所述视频解码器能够从所述至少两个码本中选择所选的码本，所述第二指示符使得所述视频解码器能够从所选的码本中选择所选的损害补偿滤波器系数值集合。29.一种视频编码器设备实现的方法，用于对已编码视频帧的损害补偿滤波器系数值集合进行编码，所述方法包括：由所述视频编码器设备获得包括多个损害补偿滤波器系数值集合的码本，所述多个损害补偿滤波器系数值集合适合于配置视频解码器的损害补偿滤波器以对具有多种特性的已编码视频的帧进行处理；在对未编码视频帧进行编码以产生已编码比特流期间，所述视频编码器设备：自适应地从所述码本中选择损害补偿滤波器系数值集合，以改善在所述损害补偿滤波器系数值集合用于配置所述损害补偿滤波器以对所述已编码帧的至少一部分进行处理时所述视...

【专利技术属性】
技术研发人员：A·普里，N·戈卡莱，D·索塞卡，
申请(专利权)人：英特尔公司，
类型：
国别省市：