用于高效视频编码的内容适应性运动补偿滤波制造技术

描述一种用于适应性运动滤波以改进帧间运动补偿视频编码的子像素运动预测效率的系统和方法。该技术使用在搜索复杂性方面十分高效的码本方法，该方法从运动滤波器系数集的预计算码本查找最佳运动滤波器集。在一些实施例中，搜索复杂性通过将完整码本分区成小基础码本和大虚拟码本来进一步降低，使得对搜索的主要计算仅仅需要对基础码本执行。

【技术实现步骤摘要】
【国外来华专利技术】用于高效视频编码的内容适应性运动补偿滤波
本公开涉及视频信号的编码和解码，尤其涉及用于运动补偿预测的适应性滤波器的基于码本的编码和解码。背景数字多媒体（诸如数字图像、语音/音频、图形和视频）的出现因其相对便利，而大大改善了各种应用并且广泛开辟了新的应用，这种便利实现了内容的可靠存储、通信、传输以及搜索和访问。总体而言，数字多媒体应用已有很多，涵盖包括娱乐、信息、医药和安全的广泛范围，并且已经通过多种方式造福社会。由诸如相机和话筒之类的传感器所捕捉的多媒体通常是模拟的，以脉冲编码调制（PCM）形式数字化的过程将其呈现为数字形式。但是，就在数字化之后，所得数据的量可能非常巨大，因为其对由扬声器和/或TV显示器所需的模拟表示的重建而言是必需的。因此，大量数字多媒体内容的有效通信、存储或传输要求从原始PCM形式压缩成压缩表示，因此许多用于多媒体压缩的技术被专利技术出来。多年来，视频压缩技术已经成熟到允许达到在10到100之间的高压缩系数同时保持高神经性视觉质量（通常类似于非压缩数字视频）。至今在视频压缩领域和科技中已经取得极大进步（如过多的标准团体驱动的视频编码标准（诸如MPEG-1、MPEG-2、H.263、MPEG-4第2部分、MPEG-4AVC/H.264、MPEG-4SVC和MVC）以及工业驱动的私有标准（诸如WindowsMediaVideo、RealVideo、On2VP等等）所呈现的），客户对可以随时随地访问的更高质量、更高分辨率以及现场3D（立体声）视频日益增长的嗜好需要经由各种手段（诸如DVD/BD、空中广播、缆线/卫星、有线和移动网络）向广泛的客户设备（诸如PC/膝上型计算机、TV、机顶盒、游戏控制台、便携式媒体播放器/设备和智能电话）进行传送，这刺激了对更高视频压缩水平的需求。在标准团体驱动的标准中，ISOMPEG最近开始的在高效视频编码（HEVC）方面的努力证明了这一点，期望该努力能将新技术贡献与来源于ITU-T标准委员会近些年对H.265视频压缩的探索性工作的技术相结合。所有上述标准都采用通用帧间预测编码框架，该框架涉及通过首先将帧分成诸个块并向待编码帧的每个块分配运动向量（或多个运动向量）来相对于过往解码帧补偿视频帧（或视频场）之间的运动，进而减小时间冗余；这些运动向量随后被发送到解码器并被用于生成运动补偿预测帧，该运动补偿预测帧与过往解码帧和编码块通常经由转换编码诸个块的方式相区分。为了更高的编码效率，已经意识到运动向量应该具有比整数像素更高的精度，因此MPEG-1和MPEG-2允许1/2像素准确度同时最近标准（诸如MPEG-4第2部分（第2版）视频和H.264）使用1/4像素准确度运动补偿。然而，由于帧的实际像素仅在整数像素精度下可用，需要特殊滤波器如生成运动补偿预测所需地将先前帧的块内插到子像素（subpel）位置。H.264标准指定能够用于生成1/4像素内插所需的全部16个相的可分离滤波器的固定滤波器集。该固定滤波器集是理论上最佳的，因为它是针对最大收益从Weiner理论导出的；然而，固定滤波器集中的一些滤波器限于6抽头，而对于其它滤波器，允许多达9抽头。此外，由于精度限制，在整数化过程中准确度有一些损失。当该类预测通常对平均值进行工作时，对于具体图片或场景，该单个固定滤波器或任何其它单个固定滤波器可能与内容的特征失配，因此还存在改进空间。近年来，在1/4像素运动补偿的滤波领域中已有大量研究，导致适应性运动滤波的发展。在适应性滤波中，系数并不固定，并因此并非先验已知；即，系数是从内容自身计算得到并随时间改变。用于计算滤波器系数的数学过程基于WienerHopf方程。当WienerHopf数学过程可以计算最佳滤波器系数集时，该方法在视频编码系统中的实际结合存在显著问题。因此在H.265和/或HEVC发展的情形中，已有多种提案来解决各种缺点并增加适应性以获得改进的编码增益。这些提案可以简要列举如下。不可分离与可分离滤波器之间的选择－不可分离滤波器的计算可能更加计算密集，但是理论上，不可分离滤波器可以得到更高的质量。然而，不可分离滤波器也需要可分离滤波器系数数量的两倍，因此不可分离滤波器的编码开销可能较高。总体而言，对于运动滤波，可分离滤波器能够提供合理的编码增益，因此提供总体上更好的折衷。迭代次数与每次迭代的增益的折衷－WienerHopf方程的迭代解采用多次迭代来收敛以给出好的结果。所需的迭代次数依赖于（最初用于首次迭代的）默认滤波器集距最佳结果多远。如果它们较近，通常多达4次迭代可能足够，但是如果它们十分不同，则可能需要16至20次迭代。如果默认滤波器与最佳滤波器之间的差异很大，在4次迭代处停止不会得到大部分增益。用于位成本最佳折衷的各系数的准确度相对于质量－通过将滤波器集中特定系数保持低准确度，可以得到一些位节省。实际上，滤波器系数的最大精度可被限于8位，且在一些例外情形中，所用精度可被限于10位。用于向解码器的传输的系数位成本降低（实际值、差分、更新限制）－要向解码器发送的系数数量必需受限，因为例如，典型的不可分离滤波器集可能要求发送多达120个系数（每帧650-950位的位成本）而即便是可分离滤波器集也可能要求发送45-60个系数（每帧400-550位的位成本）。采用差分编码（当前帧的编码滤波器集与先前帧滤波器集或相对于默认滤波器集差分地进行）或通过对更新设置限制，该位计数可或多或少地减少，但是伴随一些质量损失。图片内的多滤波器集以改进总体增益－当即便每帧计算的一个Wiener滤波器集可以给出由于例如H.264标准滤波器集的增益时，通过提供帧内（诸如基于块或片）的多滤波器集的选择可以得到更高的增益。然而，一个问题是与附加增益相比，即便每帧2个滤波器集的位成本都可能过多。因此当使用多滤波器集时，管理滤波器系数的位成本是必需的。率失真优化（RDO）复杂性，由于它可能原本涉及滤波器切换地图上的多次迭代以导出最佳结果－当使用多个滤波器以获得高增益时，通常必需以迭代方式来使用率失真优化以获得用于滤波器选择的正确块尺寸，该滤波器选择提供在滤波器切换频率与增益之间的良好折衷。当使用多个滤波器时的块地图开销位成本－当使用多个滤波器（包括在标准滤波器与所计算滤波器之间切换的情形）时，切换地图成本可能相当大。例如，如果在对宏块使用1位而在宏块的基础上在两个滤波器之间切换，则对于通用中间格式（CIF）序列，除了可能发送两个滤波器集的位成本之外，应该添加396位额外开销。通过使用整数位置滤波器以及具有偏移的滤波器所获得的附加增益－已经做出一些尝试来通过在最佳1/4像素位置是整数位置的情形中对整数位置计算滤波器以挤压增益。此外，已经使用具有偏移的滤波器进行一些实验以获得更高增益。两种情形都需要附加的开销位。如上所述，已经提出许多计数和变型，当前方法（即便在差分编码之后）的系数位计数开销过高。此外，现有技术由于需要在系数集的很多次迭代上进行计算，因此在计算上相当复杂。此外，当前系统的适应性强的唯一方法是通过对多切换滤波器广泛使用RDO，这意味着额外开销和复杂性。与适应性运动补偿滤波相关的附加信息可在以下参考文献中找到，每个参考文献都出于全部目的通过引用完全结合于此：·T.Wed本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.12.21 US 12/974,9401.一种用于编码用于多个子像素位置的适应性运动补偿滤波器集以便预测已编码视频帧中的部分的视频编码器设备实现的方法，所述方法包括：由视频编码器设备获得包括多个运动补偿滤波器的码本,所述多个运动补偿滤波器被分组成分别对应于多个子像素位置的多个子像素位置组，所述多个子像素位置组的每一个包括适于在所述多个子像素位置的相应一个处对图片的部分进行内插的多个运动补偿滤波器，所述多个运动补偿滤波器包括滤波器集的基础码本和滤波器集的虚拟码本，滤波器集的虚拟码本包括从滤波器集的基础码本选择的滤波器的组合；由所述视频编码器设备获得未编码视频帧以供所述视频编码器设备进行编码；根据分区模式将视频帧的部分选择作为图片分区；由所述视频编码器设备将所选择的图片分区编码到位流；以及在编码所述图片分区期间，所述视频编码器设备：从所述码本选择良好适应预测所述图片分区的所述多个运动补偿滤波器的子集，所选子集包括所述多个子像素位置组的每个中的一个；以及在所述位流中包括标识所述分区模式的代码和在所述码本内标识所述多个运动补偿滤波器的所选子集的子像素滤波器代码。2.如权利要求1所述的方法，其特征在于，选择所述多个运动补偿滤波器的子集包括选择所述多个运动补偿滤波器的多个预定子集之一。3.如权利要求2所述的方法，其特征在于，包括在所述位流中的标识所述分区模式的所述代码包括在所述多个预定子集中标识所选子集的索引。4.如权利要求2所述的方法，其特征在于，选择所述多个运动补偿滤波器的所述多个预定子集之一包括：对于所述图片分区，分别确定所述多个运动补偿滤波器的多个单独编码增益；使用所确定的多个单独编码增益，确定应用于所述图片分区的所述多个运动补偿滤波器的所述多个预定子集中每一个的合计编码增益；以及选择对所述多个图片内容块具有有利合计编码增益的所述多个预定子集之一，确定应用于所述图片分区的默认滤波器集的默认合计编码增益，默认滤波器集包括分别对应于所述多个子像素位置的多个默认子像素运动补偿滤波器；以及确定所述有利合计编码增益比所述默认合计编码增益更有利，其中所述默认滤波器集是滤波器集的基础码本。5.如权利要求1所述的方法，其特征在于，还包括：获得多个整数位置运动补偿滤波器；在编码至少所述图片分区期间，所述视频编码器设备选择良好适于预测所述图片分区的所述多个整数位置运动补偿滤波器之一。6.如权利要求5所述的方法，其特征在于，还包括：确定所述多个整数位置运动补偿滤波器的所选之一提供比所述多个运动补偿滤波器的所选子集更好的编码增益；以及在由所述视频编码器设备生成的所述位流中包括：整数滤波器代码，标识所述多个整数位置运动补偿滤波器中所选之一；以及整数滤波器标志，标识所述整数滤波器代码被包含在用于所述视频帧的至少部分的所述位流中。7.如权利要求5所述的方法，其特征在于，所述码本还包括多个整数位置运动补偿滤波器，或者获得所述多个整数位置运动补偿滤波器包括获得整数位置码本。8.如权利要求1所述的方法，其特征在于，获得所述码本包括：获得分别对应于所述多个子像素位置的多个基础运动补偿滤波器；通过对所述多个子像素位置的每一个执行至少步骤(i)、(ii)和(iii)，生成分别对应于所述多个子像素位置的多个虚拟子像素位置组滤波器：(i)从所述基础运动补偿滤波器选择滤波器的组合以生成对应于当前子像素位置的多个精炼运动补偿滤波器；(ii)确定分别对应于所述基础运动补偿滤波器的编码增益并且合成所述多个精炼运动补偿滤波器的编码增益；(iii)根据所确定和所合成的编码增益...

【专利技术属性】
技术研发人员：A·普瑞，D·索塞克，CK·崔，
申请(专利权)人：英特尔公司，
类型：
国别省市：