用于可伸缩视频编码的层间预测方法技术

本发明专利技术提供一种利用层间运动向量缩放因子来降低计算复杂性的层间运动向量缩放方法。在一个实施方式中，关于视频序列的增强层图片和基本层图片的图像大小信息被接收。层间运动向量缩放因子基于图像大小信息来确定。被缩放的运动向量基于基本层运行向量和层间运动向量缩放因子来确定。然后，被缩放的运动向量被提供以用于增强层图片的层间编码。在另一实施方式中，层间位置映射缩放因子基于关于增强层图片和基本层图片的图像大小信息来确定。对应于增强层像素位置的基本层映射位置基于增强层像素位置和层间位置映射缩放因子来确定。然后，在基本层映射位置的上采样基本层图片被提供以用于增强层图片的层间编码。

【技术实现步骤摘要】
【国外来华专利技术】交叉引用本专利技术主张在2013年3月12日提出的申请号为61/777,250、标题为“MethodsofMotionVectorScalingwithFrameCroppingforScalableVideoCoding”的美国临时专利申请案的优先权；主张在2013年3月19日提出的申请号为61/803,222、标题为“MethodsofMotionVectorScalingandPixelPositionMappingwithFrameCroppingforScalableVideoCoding”的美国临时申请案的优先权；主张在2013年4月22日提出的申请号为61/814,591、标题为“Methodsofsimplifiedmotionvectorscalingandpixelpositionmappingforscalablevideocoding”的美国临时申请案的优先权；以及主张在2013年7月15日提出的申请号为61/846,128、标题为“MethodsofInter-layerMotionVectorScalingandInter-layerPixelPositionMappingwithPhaseShiftforScalableVideoCoding”的美国临时申请案的优先权。因此在全文中合并参考这些美国临时专利申请案。
本专利技术是有关于可伸缩视频编码，特别是有关于层间(inter-layer)运动向量缩放和层间像素位置映射。
技术介绍
压缩的数字视频已经广泛地应用于各种应用中。例如,对于数字网络的视频流和对于数字通道的视频传输。通常，单一的视频内容可以通过不同特性的网络来传输。举例来说，现场直播的体育赛事可以载入高宽带数据流格式，并通过收费视频服务的宽带网络传输。在这样的应用中，压缩的视频通常保存高分辨率和高品质，以使得视频内容适合于高清晰度设备，例如，高清晰度电视或高清晰度显示器。相同的内容也可以载入蜂窝数据网络，以使得该内容可以在便携式设备(例如，智能手机或通过网络连接的便携式媒体设备)上进行观看。在此应用中，由于网络带宽问题和在智能手机或便携式设备上的低分辨率显示，视频内容通常被压缩为低分辨率和低比特率。因此，对于不同的网络环境和不同的应用，视频分辨率和视频品质的要求是完全不同的。即使对于相同类型的网络，用户可能由于不同的网络基础设施和网络流量状况而感受到不同的可用带宽。因此，用户可能希望当可用带宽较宽时，接收高品质视频，当网络拥塞发生时，接收较低品质但是很流畅的视频。在另一种情况下，高端媒体播放器可以处理的高分辨率和高比特率的已压缩视频，然而由于限制的计算资源，低成本的媒体播放器仅能够处理低分辨率和低比特率的已压缩视频。相应地，需要以可伸缩的方法构造压缩的视频，以使得可以从相同的已压缩比特流处得到不同的时空分辨率及/或不同品质的视频。ISO/IECMPEG和ITU-TVCEG的联合视频工作组(jointvideoteam,JVT)标准化对于H.264/AVC标准的可伸缩视频编码扩展。H.264/AVC可伸缩视频编码比特流包括从低帧率、低分辨率、和低品质到高帧率、高清晰度和高品质的视频信息。此种单一的比特流能够适应各种应用并能够在不同配置的设备上显示。相应地，H.264/AVC可伸缩视频编码适用于各种视频应用，例如，视频广播、视频数据流、以及视频监控，以适合网络基础设施，交通条件，用户偏好等。在可伸缩视频编码中，提供三种可伸缩类型，即时间可伸缩，空间可伸缩和品质可伸缩。可伸缩视频编码采用多层编码结构来实现三维可伸缩。可伸缩视频编码的主要目标是产生一个可伸缩比特流，以容易和迅速地适应各种传输信道、不同的显示能力、和不同的计算资源相关的比特率要求，而无需反式编码(trans-coding)或重编码(re-encoding)。可伸缩视频编码设计的一个重要特征是，在比特流层(bitstreamlevel)提供这种可伸缩性。换言之，对于取得缩减空间及/或时间分辨率的视频的比特流，可以简单地通过从需要打算解码的视频的可伸缩比特流中提取网络抽象层(以下简称为NAL)单元(或网络数据包)而获得。可另外减小用于品质精化的NAL单元从而减小比特率及/或降低相应视频品质。在可伸缩视频编码中，时间可伸缩通过层级B图片编码结构来提供。信噪比(以下简称为SNR)可伸缩通过编码较高品质的、包括细化系数(refinementcoefficients)的增强层来实现。如图1所示，在可伸缩视频编码中，基于金字塔编码(pyramidcoding)方案支持空间可伸缩。在具有空间可伸缩性的可伸缩视频编码系统中，首先下采样视频序列，以获得不同的空间分辨率(层)的较小图片。例如，原始分辨率的图片110可以通过空间抽取120处理，而获得分辨率降低的图片111。如图1所示，分辨率降低的图片111可进一步通过空间抽取121处理，而获得分辨率进一步减小的图象112。除二阶(dyadic)空间分辨率之外，该空间分辨率在每一层减小一半，可伸缩视频编码还支持任意分辨率的比率，这被称为扩展空间可缩放(extendedspatialscalability,ESS)。图1中的可伸缩视频编码系统描述了三层空间可伸缩系统的示意图，其中第0层对应于具有最低空间分辨率的图片，第2层对应于具有最高空间分辨率的图片。不需要参考其他层，可以编码第0层，即单层的编码。例如，使用编码运动补偿和帧内预测130编码最底层图片112。运动补偿和帧内预测130将生成语法元素和编码相关信息(例如，运动信息)，以进一步用于熵编码140。图1实际上描述了一个联合可伸缩视频编码系统，该系统提供空间可伸缩和品质可伸缩(也称为SNR可伸缩)。该系统也可提供时间可伸缩，这并没有明确显示出来。对于每一个单层编码，编码残差(residualcodingerrors)可以使用SNR增强层编码150而改善。图1中SNR增强层可以提供多个品质层(level)(品质可伸缩)。支持分辨率层的每一个品质层，可以由各自的单层运动补偿和帧内预测进行编码，例如非可伸缩编码系统。基于一个或多个的较低空间层，也可以使用层间编码来编码每个较高空间层。举例来说，在宏块或其他区块单元的基础上，使用根据第0层视频的层间预测或者使用单层编码，来自适应编码第1层视频。同样地，使用基于重构的第1层视频的层间预测或使用单层编码，来自适应编码第2层视频。如图1所示,第1层图片111本文档来自技高网...

【技术保护点】
一种用于可伸缩视频编码的层间预测方法，其特征在于，视频序列数据被配置为基本层和增强层，以及在该增强层中的增强层图片具有比在该基本层中的基本层图片更高的空间分辨率，该方法包括：接收关于视频序列的该增强层图片和该基本层图片的图像大小信息；基于关于该增强层图片和该基本层图片的该图像大小信息，确定层间运动向量缩放因子；确定与该基本层图片相关的基本层运动向量；基于该基本层运动向量和该层间运动向量缩放因子，确定被缩放的运动向量；提供该被缩放的运动向量以用于该增强层图片的层间编码。

【技术特征摘要】
【国外来华专利技术】2013.03.12 US 61/777,250;2013.03.19 US 61/803,222;1.一种用于可伸缩视频编码的层间预测方法，其特征在于，视频序列数
据被配置为基本层和增强层，以及在该增强层中的增强层图片具有比在该基
本层中的基本层图片更高的空间分辨率，该方法包括：
接收关于视频序列的该增强层图片和该基本层图片的图像大小信息；
基于关于该增强层图片和该基本层图片的该图像大小信息，确定层间运
动向量缩放因子；
确定与该基本层图片相关的基本层运动向量；
基于该基本层运动向量和该层间运动向量缩放因子，确定被缩放的运动
向量；
提供该被缩放的运动向量以用于该增强层图片的层间编码。
2.根据权利要求1所述的用于可伸缩视频编码的层间预测方法，其特征
在于，该层间运动向量缩放因子与该增强层图片的已裁剪的增强层图片分辨
率和该基本层图片的已裁剪的基本层图片分辨率相关。
3.根据权利要求2所述的用于可伸缩视频编码的层间预测方法，其特征
在于，该层间运动向量缩放因子自已偏差预缩放的已裁剪增强层图片分辨率
至该已裁剪基本层图片分辨率的比率来确定，其中该已偏差预缩放的已裁剪
增强层图片分辨率通过将偏差值与预缩放的已裁剪增强层图片分辨率相加来
得到，以及其中该预缩放的已裁剪增强层图片分辨率通过应用算术左移K比
特至该已裁剪的增强层图片分辨率来得到，以及K为非负整数。
4.根据权利要求3所述的用于可伸缩视频编码的层间预测方法，其特征
在于，该比率进一步剪切至具有最低值和最高值之间的范围内。
5.根据权利要求1所述的用于可伸缩视频编码的层间预测方法，其特征
在于，单个层间运动向量缩放因子被确定以用于水平方向和垂直方向。
6.根据权利要求5所述的用于可伸缩视频编码的层间预测方法，其特征
在于，用于该水平方向和该垂直方向的该单个层间运动向量缩放因子在序列
级、图片级、或切片级中被发送出去。
7.根据权利要求5所述的用于可伸缩视频编码的层间预测方法，其特征
在于，用于该水平方向和该垂直方向的该单个层间运动向量缩放因子在序列
参数级、图片参数级、切片头、序列参数级扩展、图片参数级扩展或切片段
头扩展中被发送出去。
8.根据权利要求5所述的用于可伸缩视频编码的层间预测方法，其特征
在于，一个标志用于指示该单独的层间运动向量缩放因子是否相等。
9.根据权利要求1所述的用于可伸缩视频编码的层间预测方法，其特征
在于，该层间运动向量缩放因子被确定一次，以用于增强层图像单元，以及
在该增强层图像单元中的所有区块共享该层间运动向量缩放因子，其中该图
像单元对应于一个视频序列、一个图片、一个切片、一个编码树单元、一个
编码树区块、一个编码单元、或一个预测单元。
10.根据权利要求1所述的用于可伸缩视频编码的层间预测方法，其特
征在于，进一步包括基于该层间运动向量缩放因子，确定层间位置映射缩放
因子，其中该层间位置映射缩放因子用于确定对应于增强层像素位置的基本
层映射位置，以及其中该基本层映射位置基于该增强层像素位置和该层间位
置映射缩放因子来确定。
11.一种用于可伸缩视频编码的层间预测方法，其特征在于，视频序列数
据被配置为基本层和增强层，以及在该增强层中的增强层图片具有比在该基
本层中的基本层图片更高的空间分辨率，该方法包括：
接收关于视频序列的该增强层图片和该基本层图片的图像大小信息；
基于关于该增强层图片和该基本层图片的该图像大小信息，确定层间位
置映射缩放因子；
基于该增强层像素位置和该层间位置映射缩放因子，确定对应于增强层
像素位置的基本层映射位置；以及
提供在该基本层映射位置处的...

【专利技术属性】
技术研发人员：庄子德，陈庆晔，黄毓文，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71