可伸缩视频解码器、编码器及可伸缩视频解码、编码方法技术

技术编号:18675341 阅读:31 留言:0更新日期:2018-08-14 21:39
本发明专利技术涉及可伸缩视频解码器、编码器及可伸缩视频解码、编码方法。描述一种可伸缩视频解码器,该可伸缩视频解码器被配置为从编码数据流重构基础层信号以获得重构的基础层信号,并且重构增强层信号包括从增强层信号的已经重构的部分在空间或时间上预测当前待重构的增强层信号(360)的部分的增强层信号,以获得增强层内部预测信号(34),在当前待重构的部分(28)上形成(41)从重构的基础层信号(200)获得的层间预测信号(39)与增强层内部预测信号的加权平均值,以获得增强层预测信号(42),使得层间预测信号与增强层内部预测信号之间的权重随不同空间频率分量而变换,并且使用增强层预测信号预测性地重构(52)增强层信号。

Scalable video decoder, encoder and scalable video decoding and encoding method

The invention relates to a scalable video decoder, an encoder, and a scalable video decoding and encoding method. A scalable video decoder is described that is configured to reconstruct the underlying layer signal from the encoded data stream to obtain the reconstructed underlying layer signal, and the reconstructed enhancement layer signal includes a section that predicts the currently reconstructed enhancement layer signal (360) spatially or temporally from the reconstructed portion of the enhancement layer signal. The enhancement layer signal is divided into two layers to obtain the prediction signal (34) within the enhancement layer, and on the part (28) currently to be reconstructed, a weighted average value of (41) the interlayer prediction signal (39) obtained from the reconstructed base layer signal (200) and the prediction signal within the enhancement layer is formed to obtain the enhancement layer prediction signal (42) such that the interlayer prediction signal and the enhancement layer are formed. The weights between internal prediction signals vary with different spatial frequency components, and (52) enhancement layer signals are predictively reconstructed using enhancement layer prediction signals.

【技术实现步骤摘要】
可伸缩视频解码器、编码器及可伸缩视频解码、编码方法本申请是国际申请日2013年10月1日、国际申请号为PCT/EP2013/070484的国际申请于2015年5月29日进入国家阶段的申请号为201380062701.1、专利技术名称为“将层间预测贡献值用于增强层预测的可伸缩视频编码”的专利技术申请的分案申请,其全部内容结合于此作为参考。
本专利技术涉及可伸缩视频编码(scalablevideocoding)。
技术介绍
在不可伸缩编码的过程中,帧内(intra)编码指的是不参考已编码的图片的数据,而仅采用当前图片的已编码部分的数据(例如,重构样本、编码模式或符号统计)的编码技术。帧内编码图片(或帧内图片)例如被用在广播比特流中以便允许解码器在所谓的随机存取点处调谐成比特流。帧内图片还用于限制容易出错的环境中的误差传播。通常来说,编码视频序列的第一图片必须被编码为帧内图片,因为这里不存在可以被用作参考图片的图片。通常,帧内图片还用于预测通常不能提供合适预测信号的场景突变(scenecut)。此外,帧内编码模式还用于所谓的帧间(inter)图片中的特定区域/区块(block,块),其中可以在率失真效率(rate-distortionefficiency)方面比帧间编码模式执行得更好。这通常是平坦区域以及时间预测执行得相当糟糕的区域(闭塞,局部溶解或褪色对象)中的情况。在可伸缩编码的过程中,帧间编码(帧内图片的编码和帧间图片中的帧内区块的编码)的概念可以扩展到属于相同存取单元或时间点的所有图片。因此,空间或质量增强层的帧内编码模式还可以在相同的时间点利用来自低层图片点层间预测,以提高编码效率。这意味着不但当前增强层图片内部已经编码的部分可以用于帧内预测,而且还可以采用相同时间点已经编码的低层图片。后一种概念还被称为层间帧内预测。在现有技术的混合视频编码标准(诸如H.264/AVC或HEVC)中,将视频序列的图片划分为样本区块。区块尺寸可以是固定的或者编码方法可以提供允许区块被进一步细分为具有更小区块尺寸的区块的分层结构。通常通过生成区块的预测信号并添加所传输的残差信号(residualsignal)来获得区块的重构。残差信号通常使用变换编码来传输,这意味着变换系数的量化索引(也被称为变换系数水平)使用熵编码技术来传输,并且在解码器侧,对这些所传输的变换系数水平进行标度和反变换以获得添加到预测信号的残差信号。通过帧内预测(仅使用当前时间点已经传输的数据)或者通过帧间预测(使用不同时间点已经传输的数据)来生成残差信号。如果使用帧间预测,则使用已经重构的帧的样本通过运动补偿预测得到预测区块。这可以通过单向预测(使用一个参考图片和一组运动参数)来进行,或者预测信号可以通过多假设预测来生成。在后一种情况下,将两个或两个以上预测信号进行叠加,即,针对每个样本构建加权平均值以形成最终预测信号。多个预测信号(对其进行叠加)可以通过使用不同假设的不同运动参数(例如,不同参考图片或运动矢量)来生成。对单向预测来说,还可以将运动补偿预测信号的样本和常数因子相乘并加上常数偏移量以便形成最终预测信号。此标度(scaling)和偏移量校正还可以用于多假设预测中所有或所选的假设。在当前现有技术的视频编码技术中,通过预测来自当前区块的空间邻近(其在当前区块之前根据区块处理顺序来重构)的样本来获得用于区块的帧内预测信号。在最新标准中,使用在空间域中执行预测的各种预测方法。存在按特定角度扩展相邻区块的经过滤波或未经过滤波的样本以生成预测信号的细粒度定向预测模式。此外,还存在使用相邻区块样本生成平坦预测平面或DC预测区块的基于平面和基于DC的预测模式。在旧的视频编码标准(例如,H.263,MPEG-4)中,在变换域中执行帧内预测。在这种情况下,将所传输的系数进行逆量化(inversequantized)。并且对于变换系数子集来说,使用相邻区块的对应重构变换系数来预测变换系数值。将逆量化变换系数添加到所预测的变换系数值,并将重构的变换系数作为输入用于反变换。反变换的输出形成了最终的区块的重构信号。在可伸缩视频编码的过程中,基础层信息还可以用于支持增强层的预测过程。在现有技术的可伸缩编码的视频编码标准(H.264/AVC的SVC扩展)中,存在一种提高增强层中帧内预测处理的编码效率的额外模式。该模式按宏区块(macroblock)级别来标记(16×16亮度样本的区块)。如果低层中的共同定位(co-located)样本使用帧内预测模式进行编码,则仅支持该模式。如果为质量增强层中的宏区块选择该模式,则在去区块滤波操作之前,预测信号通过重构低层的共同定位样本来构建。如果在空间增强层中选择层间帧内预测模式,则预测信号通过对共同定位的重构基础层信号进行上采样来生成(在去区块滤波操作之后)。对于上采样来说,使用FIR滤波器。一般来说,对于层间帧内预测模式来说,通过变换编码来传输额外的残差信号。如果该残差信号被对应地标记在比特流内部,则还可以省略残差信号的传输(推断出等于零)。通过将重构的残差信号(通过标度所传输的变换系数水平并应用反空间变换来获得)添加到预测信号来获得最终重构信号。然而,有利的是能够在可伸缩视频编码中实现更高的编码效率。
技术实现思路
因此,本专利技术的目的是提供一种可伸缩视频编码的概念,从而实现更高的编码效率。本申请的一个方面在于可以以针对不同空间频率分量进行不同加权的方式通过从增强层内部预测信号和层间预测信号形成增强层预测信号,即,通过在当前待重构的部分形成层间预测信号与增强层内部预测信号的加权平均值以获得增强层预测信号,使得贡献于增强层预测信号的层间预测信号与增强层内部预测信号的权重随不同空间频率分量而变化,来实现在可伸缩视频编码过程中更好的用于预测性地编码增强层信号的预测子。通过这种措施,以针对单独的贡献值分量(contributioncomponent)的光谱特性进行细化的方式从层间预测信号与增强层内部预测信号(即,一方面层间预测信号,另一方面增强层内部预测信号)解释增强层预测信号是可行的。例如,由于分辨率或质量细化(层间预测信号基于其从重构的基础层信号获得),在与更高频率相比的较低频率下,层间预测信号可以更精确。就增强层内部预测信号而言,其特征可以通过其他方式进行判定:即,相对于与更低频率相比的较高频率可以提高其精确度。在这个实例中,就更高频率而言,通过自身的加权,层间预测信号对增强层预测信号的贡献值(contribution)应大于增强层内部预测信号对增强层预测信号的贡献值并且不应小于增强层内部预测信号对增强层预测信号的贡献值。通过这种措施,可以实现更准确的增强层预测信号,由此提高编码效率并得到更高的压缩率。借助于各个实施例,描述了不同的可能性以将刚刚提出的概念构建为任何基于可伸缩视频编码的概念。例如,加权平均值的形成可以在空间域或变换域中形成。光谱加权平均值的执行需要对单独的贡献值,即,层间预测信号和增强层内部预测信号执行变换,但例如避免了对空间域中的层间预测信号和增强层内部预测信号中的任意一个进行光谱滤波,例如涉及FIR或IIR滤波。然而,在空间域中执行光谱加权平均值的形成经由变换域避免了各个贡献值对加权平均值的迂回(detour)。本文档来自技高网
...

【技术保护点】
1.一种可伸缩视频解码器,被配置为:从编码数据流(6)重构(80)基础层信号以获得重构的基础层信号;重构(60)增强层信号(400),包括:从所述增强层信号的已经重构的部分在空间或时间上预测当前待重构的增强层信号(360)的一部分,以获得增强层内部预测信号(34);在所述当前待重构的部分(28)上形成(41)从所述重构的基础层信号(200)获得的层间预测信号(39)与所述增强层内部预测信号的加权平均值,以获得增强层预测信号(42),使得所述层间预测信号与所述增强层内部预测信号之间的权重随光谱变化;以及使用所述增强层预测信号预测性地重构(52)所述增强层信号,其中,所述可伸缩视频解码器进一步被配置为在形成所述加权平均值的过程中,在所述当前待重构的部分上利用第一滤波器(62)使用FIR或IIR滤波对所述层间预测信号(39)进行滤波并且利用第二滤波器(64)使用FIR或IIR滤波对所述增强层内部预测信号(34)进行滤波以获得滤波后的信号并且将获得的所述滤波后的信号相加,所述第一滤波器与所述第二滤波器具有不同的传递函数;或者其中,所述可伸缩视频解码器进一步被配置为在形成所述加权平均值的过程中,在所述当前待重构的部分上对所述层间预测信号和所述增强层内部预测信号进行变换(72,74)以获得变换系数(76,78)的第一变换系数区块和第二变换系数区块;将所述第一变换系数区块和所述第二变换系数区块与加权因子的第一区块和第二区块相乘以获得第一经过滤的变换系数区块和第二经过滤的变换系数区块;并且将所述第一经过滤的变换系数区块和所述第二经过滤的变换系数区块逐个系数地相加以获得叠加的变换系数,其中,所述加权因子的第一区块和第二区块表示不同的传递函数。...

【技术特征摘要】
2012.10.01 US 61/708,2011.一种可伸缩视频解码器,被配置为:从编码数据流(6)重构(80)基础层信号以获得重构的基础层信号;重构(60)增强层信号(400),包括:从所述增强层信号的已经重构的部分在空间或时间上预测当前待重构的增强层信号(360)的一部分,以获得增强层内部预测信号(34);在所述当前待重构的部分(28)上形成(41)从所述重构的基础层信号(200)获得的层间预测信号(39)与所述增强层内部预测信号的加权平均值,以获得增强层预测信号(42),使得所述层间预测信号与所述增强层内部预测信号之间的权重随光谱变化;以及使用所述增强层预测信号预测性地重构(52)所述增强层信号,其中,所述可伸缩视频解码器进一步被配置为在形成所述加权平均值的过程中,在所述当前待重构的部分上利用第一滤波器(62)使用FIR或IIR滤波对所述层间预测信号(39)进行滤波并且利用第二滤波器(64)使用FIR或IIR滤波对所述增强层内部预测信号(34)进行滤波以获得滤波后的信号并且将获得的所述滤波后的信号相加,所述第一滤波器与所述第二滤波器具有不同的传递函数;或者其中,所述可伸缩视频解码器进一步被配置为在形成所述加权平均值的过程中,在所述当前待重构的部分上对所述层间预测信号和所述增强层内部预测信号进行变换(72,74)以获得变换系数(76,78)的第一变换系数区块和第二变换系数区块;将所述第一变换系数区块和所述第二变换系数区块与加权因子的第一区块和第二区块相乘以获得第一经过滤的变换系数区块和第二经过滤的变换系数区块;并且将所述第一经过滤的变换系数区块和所述第二经过滤的变换系数区块逐个系数地相加以获得叠加的变换系数,其中,所述加权因子的第一区块和第二区块表示不同的传递函数。2.根据权利要求1所述的可伸缩视频解码器,进一步被配置为在重构(60)增强层信号的过程中,使所述重构的基础层信号经历(38)分辨率或质量细化以获得所述层间预测信号。3.根据权利要求1所述的可伸缩视频解码器,其中,所述第一滤波器是低通滤波器并且所述第二滤波器是高通滤波器。4.根据权利要求1所述的可伸缩视频解码器,其中,所述第一滤波器和所述第二滤波器形成正交镜像滤波器对。5.根据权利要求4所述的可伸缩视频解码器,进一步被配置为对叠加的所述变换系数进行反变换(84)以获得所述增强层预测信号。6.根据权利要求5所述的可伸缩视频解码器,进一步被配置为使用所述增强层预测信号预测性地重构所述增强层信号,从所述编码数据流(6)提取用于所述增强层信号的变换系数水平(59),对所述变换系数水平与所述叠加变换系数执行求和(52)以获得所述增强层信号的变换版本,并且使所述增强层信号的所述变换版本经历反变换(84)以获得所述增强层信号。7.根据权利要求1所述的可伸缩视频解码器,其中,针对每个空间频率分量的所述第一区块和所述第二区块的加权因子的总和等于针对所有空间频率分量的值(46)。8.一种可伸缩视频解码方法,包括:从编码数据流(6)重构(80)基础层信号以获得重构的基础层信号;重构(60)增强层信号,包括:从所述增强层信号的已经重构的部分在空间或时间上预测当前待重构的增强层信号的一部分,以获得增强层内部预测信号;在所述当前待重构的部分上形成从所述重构的基础层信号获得的层间预测信号与所述增强层内部预测信号(380)的加权平均值以获得增强层预测信号,使得所述层间预测信号与所述增强层内部预测信号之间的权重随光谱变化;以及使用所述增强层预测信号预测性地重构所述增强层信号,其中,形成所述加权平均值包括:在所述当前待重构的部分上利用第一滤波器(62)使用FIR或IIR滤波对所述层间预测信号(39)进行滤波并且利用第二滤波器(64)使用FIR或IIR滤波对所述增强层内部预测信号(34)进行滤波以获得滤波后的信号并且将获得的所述滤波后的...

【专利技术属性】
技术研发人员:托比亚斯·欣茨哈里查兰·拉克希曼扬·斯蒂格曼菲利普·海勒米斯查·西克曼卡斯滕·聚林德特勒夫·马佩海科·施瓦茨克里斯蒂安·巴特尼克阿里·阿特夫·易卜拉欣·海拉特阿卜杜勒哈米德海纳·基希霍弗尔托马斯·维甘徳
申请(专利权)人:GE视频压缩有限责任公司
类型:发明
国别省市:美国,US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1