用于可伸缩视频编码的转换滤波器上采样机制制造技术

用于可伸缩视频编码的改进的转换滤波器上采样机制。本发明专利技术的滤波器转换机制以协作的方式利用每个滤波器的最佳性能。本发明专利技术的转换过程可以一般化为更多的滤波器选择并且由于增加的滤波器选择的自由度和灵活性而潜在地减轻了计算复杂性。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术一般地涉及视频编码领域。更特别地，本专利技术涉及可伸缩-现频编码(SVC)中的空间可伸缩性。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术提供背景或上下文。在此的描述可以包括可以探究的概念，但不一定是那些之前已经想 到或者探究的概念。因此，除非在此另外指出，否则本部分中描述 的内容对于本申请的说明书和权利要求书而言不是现有技术，并且 并不因为包括在本部分中就承认其为现有技术。数字视频包括以恒定速率(例如，15或30个图像/秒)产生的 图像的顺序序列。因此，作为结果的原始的视频数据量极大。因而， 对于在存储或传输之前有效地对视频数据进行编码尤其必要的是视 频压缩。该压缩过程是将视频数据转换为可以以较少比特表示的压 缩格式的可逆过程。视频编码通常将视频序列中固有的空间和时间冗余用于帧内和 帧间编码。在帧间编码期间，编码器尝试通过基于当前帧的相邻帧 对当前帧进行预测来减少连续 一见频帧之间的时间冗余。在帧内预测 中，通过从组成帧的块的相邻块预测该块来减少空间冗余。在预测 之后，作为预测的和原始帧之间的差异的残差帧依靠某些支持参数 来产生。经常在传输之前对该残差帧进行压缩，其中应用诸如离散 余弦变换(DCT)之类的变换，之后是诸如Huffman编码之类的可 变长度编码方法。为了支持各种应用和传输带宽的更大灵活性和自适应性，可伸 缩视频编码将基本(单层)视频编码扩展为多层视频编码。本质上，以不同空间、时间和质量分辨率将基础层与不同的增强层一起进行 编码。除了帧间和帧内预测技术之外，可伸缩视频编码开发了层间 预测机制，该机制采用多个层中的冗余并且对来自于较低层的信息进行重用(reuse )。出于将来自于重构的较低空间分辨率基础层的信息重用到较高 空间分辨率增强层中的目的，需要对基础层画面进行上采样。上采 样过程包括使用有限沖击响应滤波器内插像素值以生成较高分辨率 的画面。经内插的画面的质量以及因此预测的保真度无疑由对上采 样滤波器的选择影响。图1提供了该要求的示例，其中示出了简单 二元内插(即，上采样)。上采样滤波器的选择对于压缩的增强层 的整体质量起到重要作用。当前存在两种熟知的考虑在SVC中使用 的可替换滤波器——AVC滤波器和最优滤波器。虽然对比于AVC 滤波器，最优滤波器在较低比特率上执行得相对较好，但是在高比 特率上则表现不佳。JVT的MPEG的可伸缩视频编码计划是当前处于开发阶-度的 H.264/AVC的可伸缩扩展。在ISO/IEC JTC1/SC29/WG11, "Draft of Joint Scalable Video Model JSVM-4 Annex G" ， JVT文档JVT-Q201, Poznan, 2005年7月中描述了相应的参考编码器，通过引用将其整体 合并于此。在当前JSVM中，使用先进视频编码(AVC)滤波器执 行基础层帧的上釆样。另外，已经提出了新的最优滤波器作为对AVC 滤波器的替换。此类滤波器例如在Andrew Segall, "Adaptive Study of Up-sampling/Down- sampling for Spatial Scalability" ， JVT-Q083, Nice, France, 2005年10月(通过引用将其合并于此)中讨论。这些竟争 滤波器中的每个滤波器在特定比特率上产生相对良好的性能，而在 其他比特率上则表现不佳。在当前的JSVM软件中，使用具有滤波器抽头/32的AVC滤波器对基础层帧进行上采样。具有根据 基础层QP (例如，当QP—base=20,由/32给出该抽头)改变的滤波器抽头的最优滤波器之前已经作为对AVC滤波器的替换而提出，从而进一步增强了内插画面的质量。然而，由备选滤波器获得的增强限于低比特率的情况。而且，在高比 特率上观察到性能的下降。
技术实现思路
本专利技术增强了可伸缩视频编码中使用的现有的基础层图像上采波器的最佳性能。本专利技术的转换过程可以 一般化为更多的滤波器选 择并且由于增加的滤波器选择的自由度和灵活性而潜在地减轻了计算复杂性。在基础层量化参数(QP) (QP—base)固定的情况下，本 专利技术可以使用基于QP的转换、基于速率失真的转换或基于滤波器训 练的转换来实现。如果解码器侧的基础层QP (QP_base)不被准确 地知道，则该转换过程可以基于序列级或帧级的QP阈值实现。从性能的观点看，本专利技术使编码器能够以协作的方式将多个备 选滤波器的优势结合起来。在图2中示出了该性能优势。本专利技术的 系统和方法可以利用合适的转换判决获得参与滤波器的综合性能增 益。此外，因为对与数据速率无关的单个滤波器的使用可以强制大 量滤波器抽头来获取相当好的性能(诸如在最优滤波器的情况中)， 所以上采样操作的计算复杂性可以通过使用采用具有较少抽头的滤 波器的转换滤波器机制来降低。可以以使用任何通用编程语言(例 如，C/C十+或汇编语言)的软件直接实现本专利技术。本专利技术还可以以硬 件实现并且在客户设备中使用。当结合附图阅读时，本专利技术的这些和其他优势和特征连同其操 作的组织和方式将从以下详细描述中变得明显，其中，贯穿下面描 述的多个附图，同样的元素具有同样的标号。附图说明图1是对基础层空间分辨率进行二元内插以获取上上部空间层帧的示例的示图2是使用AVC和最优滤波器的转换机制的性能的示图3是根据本专利技术的上采样滤波器转换机制的示图4是示出了 QP网格和滤波器映射的示图5是可以在内部实现本专利技术的系统的概括示图6是可以在本专利技术的实现中使用的移动电话的透^L图；以及图7是图6的移动电话的电话电路的示意性示图。具体实施例方式本专利技术增强了可伸缩视频编码中使用的现有的基础层图像上采 样机制。本专利技术包括使用滤波器转换机制来以协作方式利用每个滤 波器的最佳性能。本专利技术的转换过程可以 一般化为更多的滤波器选 择并且由于增加的滤波器选择的自由度和灵活性而潜在地减轻了计 算复杂性。为了理解本专利技术的本质，可以按照其相关联的精细颗粒SNR (FGS)可伸缩层，考虑较低空间分辨率层(这里称作空间基础层) 是有帮助的。在对基础层分辨率进行上采样以获取较高空间分辨率 (例如，对QCIF分辨率上采样以获取CIF分辨率)中，本专利技术提供 了不同的上采样滤波器转换机制。这些机制中的一些机制是针对并 不准确知道有效QP的情况，在该有效QP下，在解码器侧对较低空 间分辨率层进行上采样。其它机制用在准确知道该有效QP的情况 中。在SVC中，空间伸缩性需要对较低空间层分辨率进行上采样， 以便可以将其信号用于预测上部空间层。如上所述，当前与发生编 码的质量级(比特率)无关地使用单个滤波器。然而，两个滤波器 在不同的比特率上可以具有不同的性能强度。为了利用候选滤波器为了详细描述本专利技术，可以如下结合其不同的FGS层来讨论较 低空间层(基础层)的情况。上采样可以以固定较低空间层QP发生(例如，当较低空间不具有FGS层时)或以任意较低空间层QP发 生。以下是在已知基础层QP和未知基础层QP的情况下用于实现转 换上采样过程的两种基本情形。基于速率失真的转换基本上，对于待编码的每个增强层帧， 编码器使用每个候选的上采样滤波器对相应的重构基础层帧进行上 采样。得到的经上采样的帧独立应用于对增强本文档来自技高网...

【技术保护点】
一种将来自于重构的较低空间分辨率层的信息重用到较高空间分辨率增强层中的方法，包括：　提供所述重构的较低空间分辨率层；以及　对所述重构的较低空间分辨率层进行上采样以提供空间分辨率增强层，　其中，对所述重构的较低空间分辨率层的 所述上采样包括根据预定的转换过程在多个滤波器之中转换以对所述重构的较低空间分辨率层进行滤波。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：N阿玛尔，M卡尔克泽维茨，J里奇，X王，
申请(专利权)人：诺基亚公司，
类型：发明
国别省市：FI[芬兰]