视频编码中的层切换制造技术

技术编号:15108507 阅读:102 留言:0更新日期:2017-04-08 23:55
一种多层或多视图视频(1)通过以下方式进行编码:对在切换点(2)处重合的第一层或视图(10)中的图片(12)和第二层或视图(20)中的图片(22)之中的一个图片进行编码,所述切换点(2)定义在第一层或视图(10)与第二层或视图(20)之间的切换。将在切换点(2)处重合的第一层或视图(10)中的图片(12)和第二层或视图(20)中的图片(22)之中的另一图片编码为跳过图片。该实施例由此降低了对具有切换点(2)的多层或多视图视频(1)进行编码和解码的复杂度,并减小了表示在切换点(2)处重合的编码图片所需的比特数。

【技术实现步骤摘要】
【国外来华专利技术】
该实施例一般涉及多层或多视图视频的编码,并具体涉及对多层或多视图视频中在切换点处重合的这种多层或多视图视频的图片进行编码。
技术介绍
高效视频编码(HEVC,ITU-TH.265|ISO/IEC23008-2)是在联合协作小组-视频编码(JCT-VC)中发展的新近视频编码标准,联合协作小组-视频编码(JCT-VC)是运动图像专家组(MPEG)和国际电信单元(ITU)电信标准化部门(ITU-T)之间的协作项目。HEVC使用基于块的混合方案,该方案采用空间(帧内)预测和时间(帧间)预测。仅使用帧内预测(即帧内图片)对视频序列的第一图片编码,因为不存在可用的时间参考。视频编码和解码的基本概念是通过采用视频数据中的空间和时间冗余来对视频序列或流的视频数据进行压缩和解压缩。一般地,在视频序列的同一图片(帧内预测)或其他图片(帧间预测)内相对于参考像素块对像素块(现有技术中也称为采样)进行编码和解码。例如,HEVC针对帧内预测规定了33种定向模式、平面的和DC帧内预测模式。帧内预测模式使用来自先前已经被解码的相邻预测块(即像素块)的数据。帧间预测可以使用来自其他图片中的一个或更多个预测块的数据。这些参考块通常由相应的运动矢量(MV)标识。HEVC允许两个MV模式,其是高级运动矢量预测(AMVP)和合并模式。AMVP使用来自参考图片的数据并且还可以使用相邻预测块的数据。合并模式允许MV从相邻预测块继承。然后与帧内预测模式的表示或MV数据一起编码并使用当前像素块和参考像素块之间的差异,作为像素块的编码表示。然后在解码器处对从编码器输出的得到的编码比特流输出进行解码,以得到视频序列或流中的图片的解码表示。HEVC的扩展是一种可缩放扩展(SHVC),其允许单个编码比特流包含同一视频的具有不同分辨率和/或质量的不同版本。与以独立的流发送视频的不同版本相比,允许层间的预测提高了编码效率。可缩放视频编码的特定使用情况是使用多个层以创建自适应视频比特流的自适应分辨率改变(ARC)。当需要改变分辨率时,自适应视频编码器切换至具有适合当前网络条件的分辨率的层,并继续编码。还可以在一层内以及在HEVC的不可缩放版本中进行分辨率改变,但是针对那种情况,每次改变分辨率时,需要使用帧内图片,这降低了编码效率。SHVC流中的每个编码图片与表示图片输出顺序的图片顺序计数(POC)值相关联。具有较高POC值的图片比具有较低POC值的图片更晚输出。在SHVC中,可能存在被认为属于相同存取单元(AU)的来自不同层的具有相同POC值的图片。这通常意味着它们表示相同原始图像的不同版本(例如一个完整分辨率和一个下采样),并且如果输出该不同版本,则它们将被同时输出。当发信号通知同一AU中的多于一个图片时,这些图片必须属于不同层,即具有不同的层标识符nuh_layer_id。可缩放比特流中的最低层被称为基层,并且具有层标识符0。较高层被称为增强层并具有高于0的层标识符。在SHVC中,增强层中的帧内随机接入点(IRAP)图片是一类不参考增强层的任意图片的图片。然而,允许参考基层。IRAP图片还禁止按照解码顺序的在IRAP图片之后的图片参考按照解码顺序的在IRAP图片之前的图片。在典型SHVC流中,在每个时刻,在每个AU中的所有层中存在图片,但是在ARC的情况下,编码器通常将选择把single_layer_for_non_irap_flag设置为等于1。Single_layer_for_non_irap_flag等于1指示在每个AU中(即,每个时刻)至多存在两个图片,并且当在同一AU中存在两张图片时,最高层中的图片一定是IRAP图片。当该标志等于1时,一般在基层中或者在增强层中的每个AU中仅存在一个图片。唯一的例外是当增强层图片被发信号通知为IRAP图片时。在那个AU中,允许在基层和增强层二者中均具有图片。这意味着基层图片可以由增强层用于预测。这还意味着增强层图片不能参考增强层中的任何图片,因为它被编码为IRAP图片。从较低层至较高层的横越(traversing)被称为向上切换。相应地,向较低层的横越被称为向下切换。在使用SHVC用于自适应分辨率改变的典型情况下,如图1所示的预测结构对于层切换将是有利的。原因在于,然后在视频中的每个时刻仅提供单个图片就足够了。然而,IRAP图片被约束为仅包含根据相同POC的图片的帧内预测或层间预测。这意味着如图2所示,在两个层10,20上,在切换点2处一定存在图片12、22,以不将IRAP限制为只帧内编码。当SHVC被用于自适应分辨率改变时,解码器通常只在仅输出这些图片12,22之一。然而,直接编码器实施方式将不考虑这一点,并尽可能高效地对切换点2处的图片12,22二者进行编码,这将导致花费比特来对图片中将永远不显示的细节进行编码。该冗余编码增加了比特流的大小,并增加了编码和解码二者的复杂度。
技术实现思路
一般目的在于提供对多层或多视图视频的有效编码。具体目的在于提供对包括定义了不同层或视图之间切换的切换点的这种多层或多视图视频的有效编码。通过本文定义的实施例来实现这些及其他目的。本实施例的一方面涉及:一种用于对包括多个层或视图的多层或多视图视频进行编码的方法。该方法包括:对在切换点处重合的该多层或多视图视频的第一层或视图中的图片和第二层或视图中的图片之中的一个图片进行编码,所述切换点定义在该多层或多视图视频中的该第一层或视图与该第二层或视图之间的切换。该方法还包括:将在该切换点处重合的该第一层或视图中的该图片和该第二层或视图中的该图片的另一图片编码为跳过图片。本实施例的相关方面限定了一种多层或多视图编码器,可操作用于:对在切换点处重合的该多层或多视图视频的第一层或视图中的图片和第二层或视图中的图片之中的一个图片进行编码,所述切换点定义在该多层或多视图视频中的该第一层或视图与该第二层或视图之间的切换。该多层或多视图编码器还可操作用于:将在该切换点处重合的该第一层或视图中的该图片和该第二层或视图中的该图片的另一图片编码为跳过图片。实施例的另一相关方面限定了一种多层或多视图编码器,包括:第一编码单元,可操作用于对包括多个层或视图的多层或多视图视频的第一层或视图中直至切换点的图片进行编码,所述切换点定义该多层或多视图视频中的该第一层或视图与第二层或视图之间的切换。多层或多视图编码器还包括:单元,可操作用于确定要被编码为跳过图片的在该切换点处重合的该第一层或视图中的图片和该第二层或视图中的图片之中的一个图片;第二编码单元,可操作用于本文档来自技高网
...

【技术保护点】
一种用于对包括多个层或视图(10,20)的多层或多视图视频(1)进行编码的方法,所述方法包括:对在切换点(2)处重合的所述多层或多视图视频(1)的第一层或视图(10)中的图片(12)和第二层或视图(20)中的图片(22)之中的一个图片进行编码(S1),所述切换点(2)定义在所述多层或多视图视频(1)中的所述第一层或视图(10)与所述第二层或视图(20)之间的切换;以及将在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的另一图片编码(S2)为跳过图片。

【技术特征摘要】
【国外来华专利技术】2013.10.11 US 61/889,8121.一种用于对包括多个层或视图(10,20)的多层或多视图视频(1)进行编码的方法,所
述方法包括:
对在切换点(2)处重合的所述多层或多视图视频(1)的第一层或视图(10)中的图片
(12)和第二层或视图(20)中的图片(22)之中的一个图片进行编码(S1),所述切换点(2)定
义在所述多层或多视图视频(1)中的所述第一层或视图(10)与所述第二层或视图(20)之间
的切换;以及
将在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层
或视图(20)中的所述图片(22)之中的另一图片编码(S2)为跳过图片。
2.根据权利要求1所述的方法,其中:对在所述切换点(2)处重合的所述第一层或视图
(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的一个图片进行
编码(S1)包括:使用率失真优化、固定数量比特和固定质量等级中的至少一个,对在所述切
换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的
所述图片(22)之中的所述一个图片进行编码(S1)。
3.根据权利要求1或2所述的方法,还包括:识别(S11)所述多层或多视图视频(1)中的
所述切换点(2)。
4.根据权利要求1至3中任一项所述的方法,还包括:对所述第一层或视图(10)中直至
所述切换点(2)的图片(14)进行编码(S10)。
5.根据权利要求1至4中任一项所述的方法,还包括:对所述第二层或视图(20)中在所
述切换点(2)之后的图片(24)进行编码(S12)。
6.根据权利要求1至5中任一项所述的方法,还包括:将在所述切换点(2)处重合的所述
第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的
所述另一图片的输出标志设置为0,以指示在所述切换点(2)处重合的所述第一层或视图
(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所述另一图片
不由解码器输出。
7.根据权利要求1至6中任一项所述的方法,其中,对在所述切换点(2)处重合的所述第
一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所
述另一图片进行编码(S2)包括:将在所述切换点(2)处重合的所述第一层或视图(10)中的
所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所述另一图片编码(S2)
为跳过图片,所述跳过图片指示要从所述多层或多视图视频(1)中的根据编码和解码顺序
的前一图片(12)拷贝采样值或要使用所述采样值的重采样版本。
8.根据权利要求1至7中任一项所述的方法,其中,对在所述切换点(2)处重合的所述第
一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所
述另一图片进行编码(S2)包括:使用高效视频编码HEVC的合并模式,将在所述切换点(2)处
重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片
(22)之中的所述另一图片编码(S2)为跳过图片。
9.根据权利要求1至8中任一项所述的方法,其中
对在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层
或视图(20)中的所述图片(22)之中的一个图片进行编码(S1)包括:对所述多层视频(1)中
在所述切换点(2)处重合的基层(10)中的图片(12)进行编码(S50);以及
对在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层
或视图(20)中的所述图片(22)之中的所述另一图片进行编码(S2)包括:将所述多层视频
(1)中在所述切换点(2)处重合的增强层(20)中的图片(22)编码(S51)为跳过图片。
10.根据权利要求1至9中任一项所述的方法,其中所述多层视频(1)中的每一层(10,
20)具有相应的层标识符,所述方法还包括:
将标志single_layer_for_non_irap_flag设置(S60)为等于1,以指示在每个接入单元
AU(30,32)中至多存在两个图片(12,22),并且当在同一AU(30)中存在两个图片(12,22)时,
最高层(20)中的图片(22)是帧内随机接入点IRAP图片(22);以及
在与所述多层视频(1)的编码版本相对应的编码比特流(40)中发信号通知(S61):所述
IRAP图片(22)中的每一块被编码为跳过块。
11.根据权利要求1至10中任一项所述的方法,其中:在所述切换点(2)处重合的所述第
一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)具有相同
的图片顺序计数POC值,并属于同一接入单元AU(30)。
12.根据权利要求1至11中任一项所述的方法,其中:所述切换点(2)处重合的所述第一
层或视图10中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)表示相同原始
图像的具有不同分辨率和/或质量等级的不同版本。
13.根据权利要求1至12中任一项所述的方法,其中所述第一层或视图(10)和所述第二
层或视图(20)包括相同视频内容的具有不同分辨率和/或质量等级的不同版本。
14.一种用于对多层视频(1)进行编码的方法,其中所述多层视频(1)中的每一层(10,
20)具有相应的层标识符,所述方法包括:
将标志single_layer_for_non_irap_flag设置(S70)为等于1,以指示在每个接入单元
AU(30,32)中至多存在来自所述多层视频(1)中的两个不同层(10,20)的两个图片(12,22),
并且当在同一AU(30)中存在两个图片(12,22)时,所述两个不同层(10,20)中的最高层(20)
中的图片(22)是帧内随机接入点IRAP图片(22);以及
在与所述多层视频(1)的编码版本相对应的编码比特流(40)中发信号通知(S71):所述
IRAP图片(22)中的每一块被编码为跳过块。
15.一种多层或多视图视频编码器(100,200),操作用于:
对在切换点(2)处重合的多层或多视图视频(1)的第一层或视图(10)中的图片(12)和
第二层或视图(20)中的图片(22)之中的一个图片进行编码,所述切换点(2)定义在所述多
层或多视图视频(1)中的所述第一层或视图(10)与所述第二层或视图(20)之间的切换,所
述多层或多视图视频(1)包括多个层或视图(10,20);以及
将在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层
或视图(20)中的所述图片(22)之中的另一图片编码为跳过图片。
16.根据权利要求15所述的多层或多视图视频编码器,还包括:
处理器(110,210);以及
存储器(120,220),其中所述处理器(110,210)操作用于:
对在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和...

【专利技术属性】
技术研发人员:乔纳坦·萨缪尔森杰克·恩霍恩理卡尔德·肖伯格
申请(专利权)人:瑞典爱立信有限公司
类型:发明
国别省市:瑞典;SE

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1