对用于多层视频编解码器的多模提取的支持制造技术

技术编号:15112572 阅读:187 留言:0更新日期:2017-04-09 03:08
计算装置可从包含视频数据的经译码表示的第一位流获得包含用以产生所述第一位流的提取模式的指示的辅助增强信息SEI消息。如果所述提取模式为第一提取模式,那么所述第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片。如果所述提取模式为第二提取模式,那么所述第一位流不包含正确解码所述目标输出层集合不需要的所述一或多个经译码图片。

【技术实现步骤摘要】
【国外来华专利技术】本申请案主张2013年10月15日申请的美国临时专利申请案第61/891,317号及2014年1月3日申请的美国临时专利申请案第61/923,624的利益,所述申请案中的每一者的全部内容以引用的方式并入本文中。
本专利技术涉及视频编码和解码。
技术介绍
数字视频能力可并入到广泛范围的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频压缩技术,例如描述于以下各者中的那些技术:由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效率视频译码(HEVC)标准,及此类标准的扩展。视频装置可以通过实施此类视频压缩技术来更有效地发射、接收、编码、解码及/或存储数字视频信息。视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码,可将视频切片(即,视频帧或视频帧的一部分)分割成视频块。使用关于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作帧,且参考图片可被称作参考帧。空间或时间预测产生待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式和残余数据来编码。为了进一步压缩,可以将残余数据从像素域变换到变换域,从而产生残余系数,接着可对所述残余系数进行量化。可扫描最初布置成二维阵列的经量化系数,以便产生系数的一维向量,且可应用熵译码以实现更多压缩。可(例如)从多个视角编码视图来产生多视图译码位流。已经开发利用多视图译码方面的一些三维(3D)视频标准。举例来说,不同视图可发射左眼和右眼视图以支持3D视频。或者,一些3D视频译码过程可应用所谓的多视图加深度译码。在多视图加深度译码中,3D视频位流可不仅含有纹理视图分量而且含有深度视图分量。举例来说,每一视图可包括一个纹理视图分量和一个深度视图分量。
技术实现思路
一般来说,本专利技术涉及更好地支持用于多层视频编解码器的多模位流提取模式的方法、包含使得用多个模式中的每一者提取的子位流能够相符的技术、多层视频编解码器以及系统层中的多模提取的能力的指示。在一个方面中,本专利技术描述一种处理视频数据的方法,所述方法包括:从包含视频数据的经译码表示的第一位流获得包含用以从第二位流提取第一位流的提取模式的指示的辅助增强信息(SEI)消息,其中:第一位流为根据提取模式从第二位流提取的子位流,不管提取模式是第一提取模式还是第二提取模式,第一位流包含足够的网络抽象层(NAL)单元来解码和输出目标输出层集合中的图片,如果提取模式为第一提取模式,那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片,且如果提取模式为第二提取模式,那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片。在另一方面中,本专利技术描述一种处理视频数据的方法,所述方法包括:产生包含用以从第二位流提取第一位流的提取模式的指示的SEI消息,第一位流包含视频数据的经译码表示,其中:第一位流为根据提取模式从第二位流提取的子位流,不管提取模式是第一提取模式还是第二提取模式,第一位流包含足够的NAL单元来解码和输出第一位流的目标输出层集合中的图片,如果提取模式为第一提取模式,那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片,且如果提取模式为第二提取模式,那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片;以及在第一位流中包含SEI消息。在另一方面中,本专利技术描述一种用于处理视频数据的装置,所述装置包括:存储器,其存储视频数据;及一或多个处理器,其经配置以从包含视频数据的经译码表示的第一位流获得包含用以从第二位流提取第一位流的提取模式的指示的SEI消息,其中:第一位流为根据提取模式从第二位流提取的子位流,不管提取模式是第一提取模式还是第二提取模式,第一位流包含足够的NAL单元来解码和输出目标输出层集合中的图片,如果提取模式为第一提取模式,那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片,且如果提取模式为第二提取模式,那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片。在另一方面中,本专利技术描述一种用于处理视频数据的装置,所述装置包括:存储器,其存储视频数据;及一或多个处理器,其经配置以:产生包含用以从第二位流提取第一位流的提取模式的指示的SEI消息,第一位流包含视频数据的经译码表示,其中:第一位流为根据提取模式从第二位流提取的子位流,不管提取模式是第一提取模式还是第二提取模式,第一位流包含足够的NAL单元来解码和输出第一位流的目标输出层集合中的图片,如果提取模式为第一提取模式,那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片,且如果提取模式为第二提取模式,那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片;以及在第一位流中包含SEI消息。在另一方面中,本专利技术描述一种用于处理视频数据的装置,所述装置包括:用于从包含视频数据的经译码表示的第一位流获得包含用以从第二位流提取第一位流的提取模式的指示的SEI消息的装置,其中:第一位流为根据提取模式从第二位流提取的子位流,不管提取模式是第一提取模式还是第二提取模式,第一位流包含足够的NAL单元来解码和输出目标输出层集合中的图片,如果提取模式为第一提取模式,那么第一位流包含正确解码目标输出层集合不需要的一或多个经译码图片,且如果提取模式为第二提取模式,那么第一位流不包含正确解码目标输出层集合不需要的一或多个经译码图片。在另一方面中,本专利技术描述一种处理视频数据的装置,所述装置包括:用于产生包含用以从第二位流提取第一位流的提取模式的指示的SEI消息的装置,第一位流包含视频数据的经译码表示,其中:第一位流为根据提取模式从第二位流提取的子位流,不管提取模式是第一提取模式还是第二提本文档来自技高网
...

【技术保护点】
一种处理视频数据的方法,所述方法包括:从包含所述视频数据的经译码表示的第一位流获得包含用以从第二位流提取所述第一位流的提取模式的指示的辅助增强信息SEI消息,其中:所述第一位流为根据所述提取模式从所述第二位流提取的子位流,不管所述提取模式是第一提取模式还是第二提取模式,所述第一位流包含足够的网络抽象层NAL单元来解码和输出目标输出层集合中的图片,如果所述提取模式为所述第一提取模式,那么所述第一位流包含正确解码所述目标输出层集合不需要的一或多个经译码图片,且如果所述提取模式为所述第二提取模式,那么所述第一位流不包含正确解码所述目标输出层集合不需要的所述一或多个经译码图片。

【技术特征摘要】
【国外来华专利技术】2013.10.15 US 61/891,317;2014.01.03 US 61/923,624;1.一种处理视频数据的方法,所述方法包括:
从包含所述视频数据的经译码表示的第一位流获得包含用以从第二位流提取所述第
一位流的提取模式的指示的辅助增强信息SEI消息,其中:
所述第一位流为根据所述提取模式从所述第二位流提取的子位流,
不管所述提取模式是第一提取模式还是第二提取模式,所述第一位流包含足够的网络
抽象层NAL单元来解码和输出目标输出层集合中的图片,
如果所述提取模式为所述第一提取模式,那么所述第一位流包含正确解码所述目标输
出层集合不需要的一或多个经译码图片,且
如果所述提取模式为所述第二提取模式,那么所述第一位流不包含正确解码所述目标
输出层集合不需要的所述一或多个经译码图片。
2.根据权利要求1所述的方法,其中:
如果所述提取模式为所述第一提取模式,那么所述第一位流针对所述目标输出层集合
排除所述第二位流的具有大于目标时间识别符的时间识别符且具有不在包含于目标输出
层集合中的值中的层识别符的NAL单元,且
如果所述提取模式为所述第二提取模式,那么所述第一位流进一步排除所述第二位流
的对应于正确解码所述目标输出层集合中的层不需要的任何经译码图片的NAL单元。
3.根据权利要求1所述的方法,其中所述第一提取模式以自完整性为目标,且所述第二
提取模式以大小优化为目标。
4.根据权利要求1所述的方法,其中:
如果所述提取模式为所述第二提取模式,那么对于所述第二位流的每一相应NAL单元,
在所述相应NAL单元满足以下两个准则的情况下从所述第二位流移除所述相应NAL单元以
使得所述相应NAL单元不在所述第一位流中:
i)所述相应NAL单元具有不在所述目标输出层集合的目标输出层识别符列表中的层识
别符中的层识别符,以及
ii)所述相应NAL单元的时间识别符大于所述相应NAL单元属于的层的图片使用的层间
参考图片的最大时间识别符。
5.根据权利要求4所述的方法,其中,如果所述提取模式为所述第二提取模式,那么在
以下情况下从所述第二位流移除所述相应NAL单元以使得所述相应NAL单元不在所述第一
位流中:
i)所述相应NAL单元具有不在所述目标输出层集合的目标输出层识别符列表中的层识
别符中的层识别符,以及
ii)所述相应NAL单元的旗标指定对应于所述相应NAL单元的经译码图片并未用作按解
码次序的后续图片的解码过程中的参考图片。
6.根据权利要求4所述的方法,其进一步包括:
确定可从所述第一位流提取完全可提取的子位流,只要所述完全可提取的子位流的目
标输出层集合并未超出所述第一位流的所述目标输出层集合,
其中所述完全可提取的子位流含有足够的网络抽象层NAL单元来解码所述完全可提取
的子位流的所述目标输出层集合内的图片。
7.根据权利要求1所述的方法,其中所述SEI消息包括指示所述目标输出层集合的数
据。
8.根据权利要求1所述的方法,其中:
所述提取模式的所述指示指示符合性层级,
等于0的所述符合性层级指示当前层集合中的每一层的最高时间识别符等于所述当前
层集合的最大时间识别符,且所述第一位流的每一存取单元含有来自所述当前层集合中的
每一层的一个图片,
所述当前层集合为针对所述第一位流存在的层集合,
所述当前层集合的所述最大时间识别符为所述当前层集合中的层中的图片的最大时
间识别符,
等于1的所述符合性层级指示:
所述目标输出层集合中的每一层的最高时间识别符等于所述当前层集合的所述最大
时间识别符,且所述第一位流的每一存取单元含有来自所述目标输出层集合中的每一层的
一个图片,以及
对于不在所述目标输出层集合中的所述当前层集合中的每一相应层,如果所述相应层
中的图片的最高时间识别符为所述当前层集合的所述最大时间识别符,那么具有小于或等
于所述当前层集合的所述最大时间识别符的时间识别符的每一存取单元包含所述相应层
中的图片。
9.根据权利要求1所述的方法,其中:
所述提取模式的所述指示指示符合性层级,
等于0的所述符合性层级指示当前层集合中的每一层的最高时间识别符等于所述当前
层集合的最大时间识别符,且所述第一位流的每一存取单元含有来自所述当前层集合中的
每一层的一个图片,
所述当前层集合为针对所述第一位流存在的层集合,
所述当前层集合的所述最大时间识别符为所述当前层集合中的层中的图片的最大时
间识别符,
等于1的所述符合性层级指示对于不在所述当前层集合中的每一相应层,如果所述相
应层中的图片的最高时间识别符为所述当前层集合的所述最大时间识别符,那么具有小于
或等于所述当前层集合的所述最大时间识别符的时间识别符的每一存取单元包含所述相
应层中的图片。
10.根据权利要求1所述的方法,其进一步包括:
基于所述提取模式的所述指示确定是否从所述第一位流提取子位流;以及
基于所述确定从所述第一位流提取所述子位流。
11.一种处理视频数据的方法,所述方法包括:
产生包含用以从第二位流提取第一位流的提取模式的指示的辅助增强信息SEI消息,
所述第一位流包含所述视频数据的经译码表示,其中:
所述第一位流为根据所述提取模式从所述第二位流提取的子位流,
不管所述提取模式是第一提取模式还是第二提取模式,所述第一位流包含足够的网络
抽象层NAL单元来解码和输出所述第一位流的目标输出层集合中的图片,
如果所述提取模式为所述第一提取模式,那么所述第一位流包含正确解码所述目标输
出层集合不需要的一或多个经译码图片,且
如果所述提取模式为所述第二提取模式,那么所述第一位流不包含正确解码所述目标
输出层集合不需要的所述一或多个经译码图片;以及
在所述第一位流中包含所述SEI消息。
12.根据权利要求11所述的方法,其中:
如果所述提取模式为所述第一提取模式,那么所述第一位流排除所述第二位流的具有
大于目标时间识别符的时间识别符且具有不在包含于所述目标输出层集合的目标输出层
识别符列表中的值中的层识别符的NAL单元,且
如果所述提取模式为所述第二提取模式,那么所述第一位流进一步排除所述第二位流
的对应于正确解码所述目标输出层集合中的层不需要的任何经译码图片的NAL单元。
13.根据权利要求11所述的方法,其中所述第一提取模式以自完整性为目标,且所述第
二提取模式以大小优化为目标。
14.根据权利要求11所述的方法,其中:
如果所述提取模式为所述第二提取模式,那么对于所述第二位流的每一相应NAL单元,
在所述相应NAL单元满足以下两个准则的情况下从所述第二位流移除所述相应NAL单元以
使得所述相应NAL单元不在所述第一位流中:
i)所述相应NAL单元具有不在所述目标输出层集合的目标输出层识别符列表中的层识
别符中的层识别符,以及
ii)所述相应NAL单元的时间识别符大于所述相应NAL单元属于的层的图片使用的层间
参考图片的最大时间识别符。
15.根据权利要求14所述的方法,其中,如果所述提取模式为所述第二提取模式,那么
在以下情况下从所述第二位流移除所述相应NAL单元以使得所述相应NAL单元不在所述第
一位流中:
i)所述相应NAL单元具有不在所述目标输出层集合的目标输出层识别符列表中的层识
别符中的层识别符,以及
ii)所述相应NAL单元的旗标指定对应于所述相应NAL单元的经译码...

【专利技术属性】
技术研发人员:陈颖王益魁
申请(专利权)人:高通股份有限公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1