一种图片封装方法、设备以及存储介质技术

本公开实施例公开一种图片封装方法、设备以及存储介质，所述方法包括：获取多个NAL单元，所述多个NAL单元包括图片的第一个NAL单元和图片的最后一个NAL单元；将图片的第一个NAL单元分割成多个第一片段，并将图片的最后一个NAL单元分割成多个最后片段；将多个第一片段封装成多个第一分片单元(FU)包，并将多个最后片段封装成多个最后FU包；以及发送多个第一FU包和多个最后FU包，其中，多个最后FU包中的最后FU包包括最后FU报头，该最后FU报头包括最后R比特，并且其中该最后R比特被设置为1。并且其中该最后R比特被设置为1。并且其中该最后R比特被设置为1。

【技术实现步骤摘要】
一种图片封装方法、设备以及存储介质
[0001]交叉引用
[0002]本申请要求于2020年3月25日在美国专利商标局提交的第62/994,563号美国临时申请以及在2020年10月22日在美国专利商标局提交的第17/077,546号美国申请的优先权，其全部内容通过引用结合于此。


[0003]所公开的主题涉及视频编码和解码，并且尤其涉及图片边界信息的信令，所述图片边界信息的信令用于支持视频有效载荷格式中的图片的单独存取。

技术介绍

[0004]实时传输协议(RTP:Real
‑
time Transport Protocol)是在IP网络上传递视频的网络协议，其已在利用流媒体的通信系统中使用，例如视频会议应用。RTP有效载荷格式最近受到关注，用于承载符合编码标准ITU
‑
T建议[H.266]和ISO(International Organization for Standardization)/IEC(International Electrotechnical Commission)国际标准[ISO23090
‑
3]的视频数据，这两种标准也称为下一代视频编码(VVC:Versatile Video Coding)并且由联合视频专家组(JVET:Joint Video Experts Team)开发。RTP有效载荷格式允许在每个RTP包(数据包)有效载荷中对至少一个网络抽象层(NAL:Network Abstraction Layer)单元进行封装，以及将NAL单元分片至多个RTP包(数据包)。
[0005]至少一些视频编码标准认识到存取单元(AU:Access Unit)的概念。在单层情况下，存取单元可以由单个编码的图片组成。在其它情况下，特别是那些涉及分层编码和多视角编码的情况下，AU可以包括共享某些定时信息例如具有相同的呈现时间的多个编码的图片。
[0006]RTP报头可以包括所谓的“标记”位(M比特(比特位))。按照惯例，在几乎所有RTP有效载荷格式中，对于携带AU的最后比特串的RTP包，M比特被指定为等于一，否则将其设置为零，所述RTP有效载荷格式可以识别AU的概念。当接收器接收到设置了M比特的RTP包时，它知道该RTP包是AU的最后一个数据包，并且可以相应地进行处理。这种处理的一些细节可以在RTP规范中找到。
[0007]至少一些视频编码标准进一步识别到编码的图片的概念，该已编码图片可以不同于AU。AU和编码图片可能不同，例如，如果AU由几个编码图片组成，则在使用空间或SNR可伸缩性时可能会有所不同；或在有多余图片的情况下会有所不同。
[0008]如果发送端点从存储设备/硬盘驱动器获取其发送视频码流，则这种文件可能不包括关于存取单元或已编码图片边界相关的容易存取的元信息，例如因为码流可以例如以通常称为“附录B码流”的格式存储。在这种场景下，可能没有可用的从编码器到RTP封装器的应用程序接口(API)信息，该API信息发信号通知比特流的比特串是AU的最终比特串或已编码图片的最终比特串。相反，RTP封装器可能必须识别所述比特串，所述比特串包括AU或已编码图片的末尾而没有通常可由编码器获取的辅助信息。

技术实现思路

[0009]在实施例中，提供了一种对图片的多个网络抽象层(NAL)单元进行封装的方法，该方法包括：获取所述多个NAL单元，所述多个NAL单元包括所述图片的第一个NAL单元和所述图片的最后一个NAL单元；将所述图片的所述第一个NAL单元分割成多个第一片段，并将所述图片的所述最后一个NAL单元分割成多个最后片段；将所述多个第一片段封装成多个第一分片单元FU包，并将所述多个最后片段封装成多个最后FU包；以及发送所述多个第一FU包和所述多个最后FU包，其中，所述多个最后FU包中的一个最后FU包中，包括最后FU报头，所述最后FU报头包括最后R比特，以及所述最后R比特被设置为1。
[0010]在实施例中，提供了一种对图片的多个网络抽象层(NAL)单元进行封装的设备，该设备包括：获取模块，用于使得所述至少一个处理器获取所述多个NAL单元，所述多个NAL单元包括所述图片的第一个NAL单元和所述图片的最后一个NAL单元；分割模块，用于使得所述至少一个处理器将所述图片的所述第一个NAL单元分割成多个第一片段，并将所述图片的所述最后一个NAL单元分割成多个最后片段；封装模块，用于使得所述至少一个处理器将所述多个第一片段封装成第一多个分片单元FU包，并将所述多个最后片段封装成多个最后FU包；以及发送模块，用于使得所述至少一个处理器发送所述多个第一FU包和所述多个最后FU包，其中，所述多个最后FU包中的最后FU包包括最后FU报头，所述最后FU报头包括最后R比特，以及所述最后R比特被设置为1。
[0011]在实施例中，提供了一种计算设备，包括处理器和存储器；所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行本公开实施例所述的方法。
[0012]在实施例中，提供了一种存储指令的非易失性计算机可读介质，这些指令包括至少一个指令，当至少一个指令由用于对图片的多个网络抽象层(NAL)单元进行封装的设备的至少一个处理器执行时，使得该至少一个处理器执行本公开实施例所述的方法。
[0013]本公开实施例的上述技术方案中，通过对图片的多个网络抽象层NAL单元进行封装，并对图片的最后NAL单元的多个最后FU包的最后一个FU包的报头中设置标志位，这样可以便于识别图片的边界信息，进而可以高效地进行图片的单独存取。
附图说明
[0014]所公开的主题的进一步的特征、性质及各种优点将从以下详细描述和附图中变得更加显而易见，其中：
[0015]图1是根据实施例的通信系统的简化框图的示意图。
[0016]图2是根据实施例的RTP报头的示意图。
[0017]图3是根据实施例的包括有效载荷报头和实际有效载荷的RTP的示意图。
[0018]图4是根据实施例的具有比特边界的VVC中的NAL单元报头的示意图。
[0019]图5是根据实施例的分片单元(FU)有效载荷格式的示意图。
[0020]图6是根据实施例的用于下一代视频编码(VVC)的FU报头的示意图。
[0021]图7是根据实施例的具有两个FU结构的VCL NAL单元报头的示意图。
[0022]图8是根据实施例的用于对图片的多个网络抽象层(NAL)单元进行封装的示例方法的流程图。
[0023]图9是根据实施例的计算机系统的示意图。
具体实施方式
[0024]在实施例中，描述了用于发信号通知和识别实时传输协议(RTP:Real
‑
time Transport Protocol)有效载荷格式的图片边界的方法，用于下一代视频编码(VVC:Versatile Video Coding)、其他协议和编解码器。图片边界的指示可以允许有效的播放缓冲器处理。...

【技术保护点】

【技术特征摘要】
1.一种对图片的多个网络抽象层NAL单元进行封装的方法，其特征在于，所述方法包括：获取所述多个NAL单元，所述多个NAL单元包括所述图片的第一个NAL单元和所述图片的最后一个NAL单元；将所述图片的所述第一个NAL单元分割成多个第一片段，以及将所述图片的所述最后一个NAL单元分割成多个最后片段；将所述多个第一片段封装成多个第一分片单元FU包，并将所述多个最后片段封装成多个最后FU包；以及发送所述多个第一FU包和所述多个最后FU包，其中，所述多个最后FU包中的一个最后FU包中，包括最后FU报头，所述最后FU报头包括最后R比特，以及所述最后R比特被设置为1。2.根据权利要求1所述的方法，其特征在于，所述多个第一FU包和所述多个最后FU包包括实时传输协议RTP包。3.根据权利要求1所述的方法，其特征在于，所述多个第一FU包中的第一FU包包括第一FU报头，所述第一FU报头包括第一R比特，并且其中，所述第一R比特被设置为0。4.根据权利要求1所述的方法，其特征在于，所述多个第一FU包中的第一FU包包括第一FU报头，所述第一FU报头包括第一S比特，其中，所述最后FU报头包括最后S比特。5.根据权利要求4所述的方法，其特征在于，所述第一S比特被设置为1，并且所述最后S比特被设置为0。6.根据权利要求1～5任一项所述的方法，其特征在于，所述多个NAL单元包括在所述第一个NAL单元和所述最后一个NAL单元之间的中间NAL单元，其中，所述中间NAL单元被分割成多个中间片段，其中，所述多个中间片段被封装成多个中间FU包。7.根据权利要求6所述的方法，其特征在于，所述多个第一FU包中的第一FU包包括第一FU报头，所述第一FU报头包括第一E比特，其中，所述多个中间FU包中的最后FU包包括中间FU报头，所述中间FU报头包括中间E比特，其中，所述最后FU报头包括最后E比特。8.根据权利要求7所述的方法，其特征在于，所述第一E比特被设置为0，其中，所述中间E比特被设置为1，以及其中所述最后E比特被设置为0。9.一种对图片的多个网络抽象层NAL单元...

【专利技术属性】
技术研发人员：文格尔史蒂芬，崔秉斗，赵帅，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：