信噪比可缩放的视频编码方法和对应的解码方法技术

本发明专利技术涉及可缩放视频编码器，并且更精确地是涉及包括基层电路和至少一个增强层电路的编码器，所述的电路能够产生与压缩基层视频数据相关并适于向视频解码器发送的增强层视频数据。在所述的编码器中，基于匹配追踪误差编码步骤特别适合于的分级三角形网格表示，实施的编码方法包括基层编码步骤和增强层编码步骤。本发明专利技术还涉及相应的解码方法。（*该技术在2020年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及一种供SNR(信噪比)可缩放的视频编码器使用的编码方法和对应的解码方法。
技术介绍
在视频压缩中，可缩放性是这样一种所期望的功能，即在不同的接收机性能和要求(CPU、显示尺寸、应用)的情况下，能适应不断增多的、对不同种类的网络中视频发送的限制(带宽、误码率…)。它实际上是允许一种信息的渐进发送(分层或者不分层)，以便提供一个与比特流携带的信息量成比例的重建视频序列的质量等级。虽然现行的标准最初并没有被设计来针对这个问题，但它们设法去升级它们的视频编码方案以便包括这个功能。在质量或SNR可缩放的压缩方案中，时间和空间的分辨率保持相同，但意图使图像质量根据解码的比特流多少来变化。实际上，大多数标准通过分层结构来提供SNR可缩放性而没有放弃传统的单级方案。基层(BL)通常由混合预测编码回路来高度和有效地压缩。增强层(EL)通过编码剩余误差(或预测误差)来改善压缩视频信号的质量，这个误差信号是原始图像和重建图像之间的差别。例如，在MPEG-4版本4中，EL采用DCT比特平面来再编码这个剩余误差。然而由此得到的可缩放性因为两个重要的原因而不是最佳的。第一，它仅仅基于一种对预测误差的额外编码，而没有涉及任何运动预测和补偿过程的改进。此外，它采用的是象DCT这样的、不是真正用于提供渐进信息发送的编码技术。为了有一种更有效的可缩放视频编码，于是出现了分级策略作为有前途的候选方案。其主要思路是设计一些能提供一种通用的信息分级表示的方案，为可缩放性开辟道路。大致来说，一个简单的分级视频编码方案可以包括几个级别，每个级通过一种全局细化处理来传递一个被更好地重建的图像(例如，分级结构可以使用一种包括几种图像分辨率的金字塔结构)。同时，使用象三角网格这样的非块状图像表示的分级混合预测编码方案也构成一种引人注意的备选方案。因为网格有效地在平滑区和轮廓之间、良好补偿区和夹杂区之间进行了区分，所以网格非常适于预测误差编码。然而，现有的基于网格的方法通常以传统的方法(例如基于块的DCT)编码预测误差，即将误差图像视为一个整体图片，而没有使用运动估计和补偿阶段采用的网格。这些方法受到缺乏灵活性的困扰，尤其是在低比特率时，并且没有提供嵌入的比特流。一种更适于低比特率并在MPEG-4中测试的、替代DCT的选择是基于所谓的匹配追踪(MP)的算法，例如在″Matching pursuits withtime-frequency dictionaries(具有时间-频率词典的匹配追踪)″中描述的，S.Mallat和Z.Zhang撰写，IEEE信号处理学报，卷41，12期，1993年12月，3397-3415页。实际上，MP尤其适合于任意形状物体的渐进的纹理编码。此外，一种用MP来提供SNR可缩放性的内在途径是通过编码的″原子″的数目。MP通过按能量的降序来编码运动预测误差而自然地实现可缩放性。反复应用该过程直到预算比特被用完或者失真下降到预先指定的门限以下。MP的间隔尺寸是一个原子的编码花费，大约是20比特。在1999年12月28日提交的申请号为99403307.4(PHF99627)的欧洲专利申请中，一种MP预测误差编码方法已经包括在基于分级网格的视频编码方案内，它能够从三角形网格的空间适应性、变形能力、紧凑和鲁棒的运动估计的优点而受益，即使在低比特率的情况下也如此。该方案的网格分级结构是通过一种由粗到细的方案获得的，从具有粗的正三角形网格的第一级开始，然后包括一个网格细化过程，该过程局部地细化在运动补偿之后预测误差信号仍然重要的当前级的三角形(新的网格作为下一级的输入)。基于该MP算法，当被专门设计成匹配该三角形支持时，此方法会得益于该网格特性。对于任意选择的三角形，问题是首先要为定位于所述的三角形内的原子得出最佳策略，以导致误差信号的快速能量降低和精确且平滑的信号分解。第一种几何型的定位方法与每个原子位置都需编码的基于块的方法相比较可得到比特预算方面的增益。如果这个几何的选择保证该原子处在该三角中间，则它仍然达到放松MP的关于定位自由的特性的目的。通过对原子中心定位再使用误差能量信息，就可得到一种更类似于基于块方法的原子编码的效率。这第二个实施仍可以通过给它加上沿最重要能量方向定向一个原子轴的可能性而改善。这样，就可获得一种更好的原子定位，原子轴被与需要作近似估计的误差信号对齐。对于这样描述的方法，该基于三角形网格的视频编码方案可以通过分级表示而改善。分级结构致力于寻找最佳补片尺寸和用于提供逐级渐进细化(因此而允许可缩放性)的描述的工具问题。该分级结构可以初始化为一任意的粗网格，该粗网格可按照指定的标准(例如能量)被接连地细化。该用于当前情形中的分级结构是在每个分辩率上使图像与一个网格结合，从而达到最粗的网格与最低分辨率图像结合的效果。(这里，术语分辩率是指在没有任何欠采样的情况下对源图像执行的低通滤波，而不是指分样。)这样，图像和网格的结合包括了能提供随级别而渐增其信息精度的元素。例如，小的三角形提供一个精确的运动模型但是不很适合大的运动。相反，最粗的网格允许全局的运动估计。这样，通过传递更新，这个在最小的三角形构成的细化网格上的运动会产生局部优化。此外，由于这个网格尺寸的控制，所以不需要正则化或平滑的限制。附图说明图1示出了一个网格分级结构的例子，图像质量明显地随所述的网格分级结构而演进。然而，仅考虑这些工具的分级特征，会看到它们本身不会提供可缩放性。原因是和第一级一样，运动估计是在同一源图像之间的每个分级结构的级别上执行。专利技术概述因此本专利技术的一个目的是为SNR可缩放的视频编码方案的实施提供一种编码方法，通过提高增强层编码效率而真正地解决SNR可缩放性问题。为此，考虑到本专利技术在一种SNR可缩放的视频编码器中的使用，本专利技术设计一种基于匹配追踪误差编码步骤特别适合的分级三角形网格表示的编码方法，所述视频编码器为了允许信息的渐进发送而包括一个能够接收视频图像的输入流并从中产生适于向视频解码器发送的已压缩基层视频数据的基层电路，和至少一个增强层电路，它能够从中产生与已压缩基层视频数据相关并适于向视频解码器发送的增强层视频数据，所述的编码方法包括以下步骤-基层编码步骤，用于接收一对参考图像N-l和当前图像N以及一个粗网格，并通过匹配追踪方法编码当前图像N和相关的运动补偿图像Nc1之间的误差剩余图像ε1；-第一增强层编码步骤，用于接收所述的当前图像和通过在运动补偿图像Nc1上加上由编码的误差剩余图像ε1重建的运动剩余图像而获得的重建图像Nc′1，以及用于根据所述的当前图像和所述的重建图像Nc′1之间的差值产生新的误差剩余图像ε′1，用以将当前级网格″网格1″细化为新的网格“网格2”，然后将其作为另一级的输入，涉及网格畸变的信息包含在运动矢量MV1中；-至少另一个增强层编码步骤，包括同样的接收和产生操作；鉴于以原子形式发送纹理信息，该匹配追踪方法在每个编码步骤期间被应用在误差剩余图像εi上。基于分级三角形网格表示，本专利技术提供一种内在的SNR可缩放编码方案，该方案在每一级联合地细化网格(通过进一步地分割网格三角形)、运动估计和补偿过程以及运动补偿图像的纹理(通过使用适于该级网格结构的MP方法来编码预测误差)。因此，重建的图本文档来自技高网...

【技术保护点】
一种在ＳＮＲ可缩放视频编码器中使用、基于匹配追踪误差编码步骤特别适合的分级三角形网格表示的编码方法，该视频编码器为了允许信息的渐进发送而包括一个能够接收视频图像的输入流并从中产生适于向视频解码器发送的已压缩基层视频数据的基层电路，和至少一个增强层电路，它能够从中产生与已压缩基层视频数据相关并适于向视频解码器发送的增强层视频数据，所述的编码方法包括以下步骤：－基层编码步骤，用于接收一对参考图像Ｎ－１和当前图像Ｎ以及一个粗网格，并通过匹配追踪方法编码当前图像Ｎ和相关的运动补偿 图像Ｎｃ↓［１］之间的误差剩余图像ε↓［１］；－第一增强层编码步骤，用于接收所述的当前图像和通过在运动补偿图像Ｎｃ↓［１］上加上由编码的误差剩余图像ε↓［１］重建的运动剩余图像而获得的重建图像Ｎｃ′↓［１］，以及用于根据所述的当前图像和 所述的重建图像Ｎｃ′↓［１］之间的差值产生新的误差剩余图像ε′↓［１］，用以将当前级网格“网格１”细化为新的网格“网格２”，然后将其作为另一级的输入，涉及网格畸变的信息包含在运动矢量ＭＶ↓［１］中；－至少另一个增强层编码步骤，包括同样的 接收和产生操作；鉴于以原子形式发送纹理信息，该匹配追踪方法在每个编码步骤期间被应用在误差剩余图像ε↓［ｉ］上。...

【技术特征摘要】
EP 1999-12-28 99403308.21.一种在SNR可缩放视频编码器中使用、基于匹配追踪误差编码步骤特别适合的分级三角形网格表示的编码方法，该视频编码器为了允许信息的渐进发送而包括一个能够接收视频图像的输入流并从中产生适于向视频解码器发送的已压缩基层视频数据的基层电路，和至少一个增强层电路，它能够从中产生与已压缩基层视频数据相关并适于向视频解码器发送的增强层视频数据，所述的编码方法包括以下步骤-基层编码步骤，用于接收一对参考图像N-l和当前图像N以及一个粗网格，并通过匹配追踪方法编码当前图像N和相关的运动补偿图像Nc1之间的误差剩余图像ε1；-第一增强层编码步骤，用于接收所述的当前图像和通过在运动补偿图像Nc1上加上由编码的误差剩余图像ε1重建的运动剩余图像而获得的重建图像Nc′1，以及用于根据所述的当前图像和所述的重建图像Nc′1之间的差值产生新的误差剩余图像ε′1，用以将当前级网格“网格1”细化为新的网格“网格2”，然后将其作为另一级的输入，涉及网...

【专利技术属性】
技术研发人员：V博特雷奥，M贝内蒂尔雷，B佩斯奎特珀佩斯库，
申请(专利权)人：皇家菲利浦电子有限公司，
类型：发明
国别省市：NL[荷兰]