用于视频译码的具有解码次序编号的单个网络抽象层单元包制造技术

一种用于处理实时传输协议RTP有效负载中的视频数据的方法包含将视频数据囊封于用于RTP会话的单个网络抽象层NAL单元包中。所述单个NAL单元包含有单个NAL单元。所述方法还可包含基于以下各者中的至少一者将解码次序编号信息囊封于所述单个NAL单元包中：所述RTP会话呈多流发射MST模式，或解包化缓冲器中的在接收次序上可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目大于0。

【技术实现步骤摘要】
【国外来华专利技术】本申请案主张2013年5月31日申请的第61/829,950号美国临时专利申请案的权益，所述申请案的全部内容以引用的方式并入本文中。
本专利技术涉及视频数据的处理。
技术介绍
数字视频能力可并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-TH.263或ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置通过实施此类视频压缩技术可更有效地发射、接收、编码、解码及/或存储数字视频信息。视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式及残余数据而编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可对残余变换系数进行量化。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。可使用一或多个协议发射及接收视频数据。每一协议可指定各种内容及格式要求用于在使用所述协议时发射及/或接收数据。举例来说，一些协议可将数据流或组分离成信息块以用于经由一或多个网络传输。在一些协议中，此分隔程序可称为包化或成帧。
技术实现思路
本专利技术的技术提供用于处理使用例如实时传输协议(RTP)等网络协议发送及接收的视频数据的方法及设备。更具体来说，本文所述的技术提供可配合各种发射参数及模式而使用的单个NAL单元包格式。在本专利技术的一个实例中，一种处理实时传输协议(RTP)有效负载中的视频数据的方法包含：将视频数据囊封于用于RTP会话的单个网络抽象层(NAL)单元包中，其中所述单个NAL单元包含有单个NAL单元；以及基于以下各者中的至少一者将解码次序编号信息囊封于所述单个NAL单元包中：所述RTP会话呈多流发射(MST)模式，或解包化缓冲器中的在接收次序上可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目大于0。在本专利技术的另一实例中，一种处理实时传输协议(RTP)有效负载中的视频数据的方法包含：解封囊封于用于RTP会话的单个网络抽象层(NAL)单元包中的视频数据，其中所述单个NAL单元包含有单个NAL单元；以及基于以下各者中的至少一者解封囊封于所述单个NAL单元包中的解码次序编号信息：所述RTP会话呈多流发射(MST)模式，或解包化缓冲器中的在接收次序上可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目大于0。在本专利技术的另一实例中，一种经配置以处理实时传输协议(RTP)有效负载中的视频数据的设备包含：存储器，其经配置以存储视频数据；以及处理器，其经配置以：在实时传输协议(RTP)有效负载内将视频数据囊封于用于RTP会话的单个网络抽象层(NAL)单元包中，其中所述单个NAL单元包含有单个NAL单元；以及基于以下各者中的至少一者将解码次序编号信息囊封于所述单个NAL单元包中：所述RTP会话呈多流发射(MST)模式，或解包化缓冲器中的在接收次序上可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目大于0。在本专利技术的一个实例中，一种处理实时传输协议(RTP)有效负载中的视频数据的设备包含：用于将视频数据囊封于用于RTP会话的单个网络抽象层(NAL)单元包中的装置，其中所述单个NAL单元包含有单个NAL单元；以及用于基于以下各者中的至少一者将解码次序编号信息囊封于所述单个NAL单元包中的装置：所述RTP会话呈多流发射(MST)模式，或解包化缓冲器中的在接收次序上可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目大于0。一或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述及附图及权利要求书中显而易见。附图说明图1是说明可利用本专利技术中描述的技术的实例视频编码及解码系统的概念图。图2是展示HEVC网络抽象层(NAL)单元标头的结构的概念图。图3是展示用于聚合包的实时传输协议(RTP)有效负载格式的结构的概念图。图4是展示聚合包中的第一集合单元的结构的概念图。图5是展示用于单个NAL单元包的RTP有效负载格式的结构的概念图。图6是展示根据本专利技术的技术的用于单个NAL单元包的RTP有效负载格式的实例的概念图。图7是展示根据本专利技术的技术的用于单个NAL单元包的RTP有效负载格式的另一实例的概念图。图8是说明可实施本专利技术中描述的技术的实例视频编码器的概念图。图9是说明可实施本专利技术中描述的技术的实例视频解码器的框图。图10是说明形成网络的部分的一组实例装置的框图。图11是说明根据本专利技术的技术的用于以RTP有效负载格式囊封视频数据的实例操作的流程图。图12是说明根据本专利技术的技术的用于解封以RTP有效负载格式囊封的视频数据的实例操作的流程图。具体实施方式本专利技术介绍用于包化视频数据的各种技术及裝置。在一或多个实例中，本专利技术提出用于传输视频数据的实时传输协议(RTP)有效负载格式的改善设计。明确地说，本专利技术提出用于用信号表示用于单个网络抽象层(NAL)单元RTP包的解码次序编号(DON)的技术。用于传输单个NAL单元包的先前技术与某些发射模式及发射参数不兼容。实际上，先前技术需要单个NAL单元在聚合包中发本文档来自技高网...

【技术保护点】
一种处理实时传输协议RTP有效负载中的视频数据的方法，所述方法包括：将视频数据囊封于用于RTP会话的单个网络抽象层NAL单元包中，其中所述单个NAL单元包含有单个NAL单元；以及基于以下各者中的至少一者将解码次序编号信息囊封于所述单个NAL单元包中：所述RTP会话呈多流发射MST模式，或解包缓冲器中的在接收次序上可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目大于0。

【技术特征摘要】
【国外来华专利技术】2013.05.31 US 61/829,950;2014.05.29 US 14/290,5371.一种处理实时传输协议RTP有效负载中的视频数据的方法，所述方法包括：
将视频数据囊封于用于RTP会话的单个网络抽象层NAL单元包中，其中所述单
个NAL单元包含有单个NAL单元；以及
基于以下各者中的至少一者将解码次序编号信息囊封于所述单个NAL单元包
中：所述RTP会话呈多流发射MST模式，或解包缓冲器中的在接收次序上可先于
所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目大于
0。
2.根据权利要求1所述的方法，其中所述单个NAL单元包括NAL单元标头及NAL
单元有效负载数据，且其中将所述解码次序编号信息囊封于所述单个NAL单元包
中包括将所述解码次序编号信息在所述NAL单元标头与所述NAL单元有效负载数
据之间囊封于所述单个NAL单元包中。
3.根据权利要求1所述的方法，其中所述单个NAL单元包括NAL单元标头及NAL
单元有效负载数据，且其中将所述解码次序编号信息囊封于所述单个NAL单元包
中包括将所述解码次序编号信息在所述单个NAL单元之前囊封于所述单个NAL单
元包中，所述方法进一步包括：
将RTP有效负载标头在所述解码次序编号信息之前囊封于所述单个NAL单元包
中，其中所述RTP有效负载标头包括包含于所述NAL单元标头中的信息。
4.根据权利要求1所述的方法，其进一步包括：
基于所述RTP会话呈单流发射SST模式且所述解包化缓冲器中的在接收次序上
可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的所述最
大数目等于0而制止将所述解码次序编号信息囊封于所述单个NAL单元包中。
5.根据权利要求1所述的方法，其中所述解包化缓冲器中的在接收次序上可先于所述
NAL单元且在解码次序上在所述NAL单元之后的NAL单元的所述最大数目是由
在所述RTP会话的设置期间指定的语法元素的值来表示。
6.根据权利要求5所述的方法，其中所述语法元素包括sprop-depack-buf-nalus参数。
7.一种处理实时传输协议RTP有效负载中的视频数据的方法，所述方法包括：
解封囊封于用于RTP会话的单个网络抽象层NAL单元包中的视频数据，其中所
述单个NAL单元包含有单个NAL单元；以及
基于以下各者中的至少一者解封囊封于所述单个NAL单元包中的解码次序编号
信息：所述RTP会话呈多流发射MST模式，或解包化缓冲器中的在接收次序上可
先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的最大数目
大于0。
8.根据权利要求7所述的方法，其中所述单个NAL单元包括NAL单元标头及NAL
单元有效负载数据，且其中解封囊封于所述单个NAL单元包中的所述解码次序编
号信息包括解封囊封于所述NAL单元标头与所述NAL单元有效负载数据之间的所
述解码次序编号信息。
9.根据权利要求7所述的方法，其中所述单个NAL单元包括NAL单元标头及NAL
单元有效负载数据，且其中解封囊封于所述单个NAL单元包中的所述解码次序编
号信息包括解封囊封于所述单个NAL单元之前的所述解码次序编号信息，所述方
法进一步包括：
从所述单个NAL单元包解封在所述解码次序编号信息之前囊封于所述单个NAL
单元包中的RTP有效负载标头，其中所述RTP有效负载标头包括包含于所述NAL
单元标头中的信息。
10.根据权利要求7所述的方法，其进一步包括：
基于所述RTP会话呈单流发射SST模式且所述解包化缓冲器中的在接收次序上
可先于所述NAL单元且在解码次序上在所述NAL单元之后的NAL单元的所述最
大数目等于0而制止从所述单个NAL单元包解封解码次序编号信息。
11.根据权利要求7所述的方法，其中所述解包化缓冲器中的在接收次序上可先于所述
NAL单元且在解码次序上在所述NAL单元之后的NAL单元的所述最大数目是由
在所述RTP会话的设置期间指定的语法元素的值来表示。
12.根据权利要求11所述的方法，其中所述语法元素包括sprop-depack-buf-nalus参数。
13.一种经配置以...

【专利技术属性】
技术研发人员：穆哈默德·扎伊·科班，王益魁，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US