可缩放视频编码制造技术

一种用于预测增强层宏块的系统和方法。基本层帧划分成帧内编码区域和帧间编码区域。如果增强层宏块的任何部分由帧内编码基本层宏块和帧间编码基本层宏块二者覆盖，则独立地建立利用帧内编码宏块和帧间编码宏块的预测以生成至少两个预测值。然后组合至少两个预测值以给出用来对增强层块进行编码的预测。各种实施例用以在针对扩展的空间可缩放性的层间预测内平滑在帧内编码区域与帧间编码区域之间的边界效应。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及视频编码领域。更具体地，本专利技术涉及一种将基本层划分成帧内编码区域和帧间编码区域、独立地建立层间预测以及组合预测以给出用来对增强层宏块进行编 码的相对预测的系统和方法。
技术介绍
这一节旨在于提供在权利要求书中记载的本专利技术的背景或者上下文。这里的描述 可以包括能够探求的概念，但是并非必然是先前已经构思或者探求的概念。因此，除非这里 另有指明，在这一节中描述的内容不是本申请中的说明书和权利要求书的现有技术，也不 因为包含于这一节中而被承认是现有技术。 视频编码标准包括ITU-T H. 261、IS0/IEC MPEG-1 Visual、ITU_TH. 262或者ISO/ IEC MPEG-2 Visual、 ITU-T H. 263、 IS0/IEC MPEG-4Visual和ITU-T H. 264(也称为ISO/ IEC MPEG-4 AVC)。此外，关于新视频编码标准的开发目前正在付之努力。在开发中的一个 此类标准是作为附录G(先前为附录F)而有望成为对H. 264/AVC标准的可縮放扩展的可縮 放视频编码(SVC)标准。(也应当理解SVC可以最终出现在最后标准的不同附录中。)另 一此类的努力涉及到开发中国视频编码标准。 附录G引入包括如下情况的称为扩展的空间可縮放性的特征，在这些情况中没有 维持基本层宏块和增强宏块的边缘对准。跨不同层的对准的宏块边缘的空间縮放比l或者 2被认为是空间可縮放性的一种特殊情况。 如这里所用的那样，术语增强层是指与一些较低质量的重建相比进行不同编码 的层。增强层的目的在于当添加到较低质量的重建时，信号质量应当提高或者增强。另 外，术语基本层既适用于使用现有视频编码算法而编码的非可縮放基本层也适用于相对 于其对后续增强层进行编码的重建增强层。 在SVC中，可以在多层中对视频序列进行编码，而各层是按某一空间分辨率或者 时间分辨率或者按某一质量级或者三者的某种组合对视频序列的一个表示。可以按预期空 间分辨率、时间分辨率、某一质量级或者这些分辨率的某种组合对可縮放视频位流的一部 分进行提取和解码。可縮放视频位流包含不可縮放基本层和一个或者多个增强层。 在SVC编码中，由于编解码器是基于层方式以实现空间可縮放性，所以编码器提 供为各空间层生成较低分辨率的信号的下采样滤波器级。在它的基础版本中，下采样比等 于2(基本层分辨率是它的空间增强层的空间分辨率的一半)。扩展的空间可縮放性(ESS) 通过用不同于1或者2的下采样比使基本层成为它的增强层的修剪版本、由此实现相继空 间层之间的广义关系来概括这一概念。较低空间层的画面可以代表较高分辨率的画面的修 剪区域，而在相继空间层之间的关系无需为二元的(dyadic)。限定修剪窗口的几何参数以 及下采样比可以在序列级加以限定或者在画面级演变。 ESS可能造成如下情形，在该情形中，在上采样过程之后没有维持基本层宏块 (MB)和增强层MB的边缘对准。当用采样比1或者2执行空间縮放并且跨不同层对准MB边缘时，视之为空间可縮放性的一种特殊情况。 例如，当利用二元分辨率縮放(S卩，按2的幂縮放分辨率)时，可以维持MB的边缘 对准。在图1中图示了这一例子，其中半分辨率的帧(即，基本层帧100)与上采样的全分辨 率版本(即，增强层帧104)关联。示出了包括基本层帧100的至少一部分的MB 102。维 持在基本层帧100中所见的MB 102的边界，从而即使在进行上采样以给出增强层104之 后，边界仍然准确地包围四个全分辨率MB，g卩，MB 106、 MB 108、 MB 110和MB 112。换而言 之，四个增强层MB 106、108、110和112的边缘准确地对应于MB 102的上采样边界。重要的 是，覆盖各增强层MB( S卩，MB 106、MB 108、MB IIO禾PMB 112)的仅有基本层MB是MB 102。 因此，其他基本层MB对于为MB 106、 MB 108、 MB 110和MB 112形成预测不是必需的。 图2图示了縮放因子为1. 5的非二元可縮放性场景。在这一场景中，基本层200 的基本层MB( S卩，MB 202和MB 204)在较高分辨率的增强层206中所示将从16X 16上采样 成24X24。示出了 (由虚线勾勒的)增强层MB 208将由两个不同上采样MB( S卩，MB 202 和MB 204)覆盖。因此，需要两个基本层MB( S卩，MB 202和MB 204)以便为增强层MB 208 形成预测。应当注意，视縮放因子而定，单个增强层MB可以由多达四个基本层MB覆盖。在 H. 264/AVC标准的附录G的当前草案中，即使可能需要数个基本层宏块以形成预测，仍然可 以相对于基本层对增强层宏块进行编码。 在附录G的当前草案中，有可能的是即使可能需要数个基本层MB以形成预测，仍 然相对于关联的基本层帧对增强层MB进行编码。由于编码效率与预测准确率密切相关，所 以希望形成增强层MB的准确预测以提高编码效率。
技术实现思路
本专利技术的各种实施例包括一种用于在增强层宏块由至少一个帧内编码基本层宏 块和至少一个帧间编码基本层宏块覆盖时，预测增强层宏块的系统和方法。在本专利技术的一 个实施例中，基本层帧划分成帧内编码区域和帧间编码区域，此后独立地建立预测，然后组 合预测以给出用来在可縮放位流中对增强层块进行编码的预测。在本专利技术的一个可选实施 例中，解码器对包括增强层宏块的可縮放位流进行解码，其中增强层宏块包括根据帧内编 码基本层宏块和帧间编码基本层宏块导出的独立建立的预测。在本专利技术的又一实施例中， 根据虚拟基本层宏块创建用于增强层宏块的预测值。执行进一步检验以查看可能已经用来 导出虚拟基本层宏块的任何帧内编码基本层宏块是否覆盖增强层宏块的至少一部分。如果 存在帧内编码基本层宏块，则来自帧内编码基本层宏块的重建和上采样值用来替换针对增 强层宏块由帧内编码基本层宏块覆盖的部分的虚拟基本层宏块预测。 通过允许通过增强层宏块的两个不同部分的关联的帧内编码基本层宏块和帧间 编码基本层宏块来预测该两个不同部分，可以获得更准确预测。此外，还提高编码效率。 各种实施例也提供一种进一步提高针对ESS视频编码的预测效率的系统和方法， 从而提高视觉质量和编码效率。当将虚拟基本层宏块划分成帧内编码区域和帧间编码区域 时，独立地建立预测，并且组合预测以给出当前增强层宏块的预测。在这一情况下，在当前 增强层宏块的预测中，在帧内编码区域与帧间编码区域之间可能存在清晰边界(或者像素 值的不连续)。这样的边界可能不仅影响编码视频的视觉质量，而且由于边界(即图像边缘 区域) 一般包含对于压縮而言欠友好的更多高频成分的事实而不利于编码效率。在本专利技术6的各种实施例中，提供用于平滑边界效应的方法。在一个实施例中，跨帧内编码区域与帧间 编码区域之间的边界执行滤波操作。 在另一实施例中，对于由来自基本层的帧内MB和帧间MB覆盖的增强层宏块，先将 整个宏块视为仅由来自基本层的帧间MB覆盖，并且可以相应地获得第一层间预测。对于帧 内编码区域，然后可以使用来自基本层的重建和上采样帧内MB来导出第二预测。然后在第 一预测与第二预测之间在帧内编码区域中执行混合(blending)操作本文档来自技高网...

【技术保护点】
一种对代表可缩放位流内视频帧的至少一部分的增强层宏块进行编码的方法，所述方法包括：通过根据第一组基本层宏块执行残差预测，为所述增强层宏块的第一部分形成第一预测值；通过根据第二组基本层宏块导出重建和上采样值，为所述增强层宏块的第二部分形成第二预测值；以及利用所述第一预测值和第二预测值的组合对所述增强层宏块进行编码。

【技术特征摘要】
【国外来华专利技术】US 2006-7-11 60/830,361;US 2006-10-16 60/852,043一种对代表可缩放位流内视频帧的至少一部分的增强层宏块进行编码的方法，所述方法包括通过根据第一组基本层宏块执行残差预测，为所述增强层宏块的第一部分形成第一预测值；通过根据第二组基本层宏块导出重建和上采样值，为所述增强层宏块的第二部分形成第二预测值；以及利用所述第一预测值和第二预测值的组合对所述增强层宏块进行编码。2. 根据权利要求1所述的方法，其中至少所述第一组基本层宏块覆盖所述增强层宏块 的所述第一部分，而至少所述第二组基本层宏块覆盖所述增强层宏块的所述第二部分。3. 根据权利要求1所述的方法，其中所述第一组基本层宏块是帧间编码的，而所述第 二组基本层宏块是帧内编码的。4. 根据权利要求1所述的方法，其中根据所述第一组基本层宏块和第二组基本层宏块 二者执行所述残差预测，从而为所述增强层宏块的所述第一部分和第二部分二者形成所述 第一预测值。5. 根据权利要求4所述的方法，其中在为所述第一组基本层宏块和第二组基本层宏块 二者执行所述残差预测之后，根据所述第二组基本层宏块来导出所述重建和上采样值作为 第二预测，所述第二预测值仅针对所述增强层宏块的所述第二部分取代所述第一预测值。6. 根据权利要求1-5中任一项所述的方法，还包括对在所述增强层宏块的所述第一 部分与所述第二部分之间的边界执行滤波操作。7. 根据权利要求6所述的方法，其中将所有基本层宏块视为用于导出所述重建和上采 样值的帧间编码基本层宏块以形成用于整个增强层宏块的第一预测值，以及其中所述滤波 操作包括在所述第一预测值与所述第二预测值之间的混合操作。8. 根据权利要求7所述的方法，其中所述混合操作包括加权平均操作。9. 根据权利要求6所述的方法，还包括在导出所述重建和上采样值之前，将来自所述 基本层的所述第二组帧内编码宏块的边界调整到在所述增强层的最近编码块边界，从而所 述导出的第二预测覆盖其边界与在所述增强层的编码块边界对准的区域。10. 根据权利要求9所述的方法，其中所述第二组帧内编码宏块的所述边界的调整是 基于在所述增强层的编码块由来自所述基本层的所述第二组帧内编码宏块覆盖的面积百 分比。11. 一种在计算机可读介质中实施的计算机程序产品，包括配置用以执行根据权利要 求i-io中的任一权利要求所述的方法的计算机代码。12. —种编码装置，包括 处理器；以及存储器单元，以操作方式连接到所述处理器并且包括用于通过根据第一组基本层宏块执行残差预测，为增强层宏块的第一部分形成第一预 测值的计算机代码；用于通过根据第二组基本层宏块导出重建和上采样值，为所述增强层宏块的第二部分 形成第二预测值的计算机代码；以及用于利用所述第一预测值和第二预测值的组合对所述增强层宏块进行编码的计算机代码。13. 根据权利要求12所述的编码装置，其中至少所述第一组基本层宏块覆盖所述增强 层宏块的所述第一部分，而至少所述第二组基本层宏块覆盖所述增强层宏块的所述第二部 分。14. 根据权利要求12所述的编码装置，其中所述第一组基本层宏块是帧间编码的，而 所述第二组基本层宏块是帧内编码的。15. 根据权利要求12所述的编码装置，其中根据所述第一组基本层宏块和第二组基本 层宏块二者执行所述残差预测，从而为所述增强层宏块的所述第一部分和第二部分二者形 成所述第一预测值。16. 根据权利要求15所述的编码装置，其中在为所述第一组基本层宏块和第二组基本 层宏块二者执行所述残差预测之后，根据所述第二组基本层宏块来导出所述重建和上采样 值作为第二预测，所述第二预测值仅针对所述增强层宏块的所述第二部分取代所述第一预 测值。17. 根据权利要求12-16中的任一权利要求所述的编码装置，其中所述存储器单元还 包括用于对在所述增强层宏块的所述第一部分与所述第二部分之间的边界执行滤波操作 的计算机代码。18. 根...

【专利技术属性】
技术研发人员：王祥林，J里奇，
申请(专利权)人：诺基亚公司，
类型：发明
国别省市：FI[芬兰]