指示编码区域的结束的语法结构制造技术

描述了指示图片的编码区域的结束的语法结构。例如，基本比特流中的语法结构指示图片的编码区域的结束。语法结构可以是网络抽象层单元的类型、补充增强信息消息的类型或另一语法结构。例如，诸如编码器的媒体处理工具可以检测图片的编码区域的结束，然后在基本比特流中以预定义的顺序输出包含编码区域的一个或多个语法结构以及指示编码区域的结束的不同语法结构。诸如解码器的另一媒体处理工具可以在基本比特流中以预定义的顺序接收包含图片的编码区域的语法结构以及指示编码区域的结束的不同语法结构。

【技术实现步骤摘要】
【国外来华专利技术】指示编码区域的结束的语法结构
技术介绍
工程师使用压缩(也称为源编码或信源编码)来降低数字视频的比特率。压缩通过将信息转换成较低比特率的形式来降低存储和传送视频信息的成本。解压缩(也称为解码)从压缩形式重建原始信息的版本。“编解码器”是编码器/解码器系统。在过去25年中，已经采用了各种视频编解码器标准，包括ITU-TH.261、H.262(MPEG-2或ISO/IEC13818-2)、H.263和H.264(MPEG-4AVC或ISO/IEC14496-10)标准、MPEG-1(ISO/IEC11172-2)和MPEG-4Visual(ISO/IEC14496-2)标准以及SMPTE421M(VC-1)标准。最近，H.265/HEVC标准(ITU-TH.265或ISO/IEC23008-2)已被批准。视频编解码器标准通常定义用于编码视频比特流的语法的选项，详细说明在编码和解码中使用特定特征时比特流中的参数。例如，最近的视频编解码器标准(例如，H.264/AVC、H.265/HEVC)定义了各种语法结构，其中语法结构是比特流中以特定顺序的零个或多个语法元素(数据元素)集合。在许多情况下，视频编解码器标准还提供关于解码器应当执行以在解码中实现符合结果的解码操作的细节。除了编解码器标准之外，各种专有编解码器格式定义了用于编码视频比特流的语法的其他选项和对应的解码操作。在最近的视频编解码器标准(例如，H.264/AVC、H.265/HEVC)中，将图片组织为一个或多个切片，其中切片是块(例如，H.264/AVC标准中的宏块；H.265/HEVC标准中的编码树单元)的集合。用于切片的编码数据以特定语法结构(其被包含在网络抽象层(“NAL”)单元中)被组织。NAL单元是包含以下项的语法结构：(1)要遵循的数据类型的指示，以及(2)数据(例如，用于切片的编码数据)的零个或多个字节的系列。NAL单元的大小(以字节为单位)可以在NAL单元外部指示，或者可以通过以字节流格式标识NAL单元之间的边界来测量(例如，在某些情况下，当解码器搜索开始NAL单元的起始码时，解码器可以测量NAL单元的大小，并且在其他情况下，可以根据多媒体系统复用协议、分组网络协议或文件格式，由诸如在数据字段中携带的数据的“带外”信息来指示NAL单元的大小)。访问单元是包含用于图片的一个或多个切片的编码数据(以及可能的其他相关数据，诸如元数据)的一个或多个NAL单元的集合。对于根据H.264/AVC标准或H.265/HEVC标准的解码，解码器可以被设计为在解码器已接收到针对给定图片的编码切片之后，开始用于给定图片的解码处理，在这种情况下，解码器可以开始解码编码切片。然而，在许多实现中，解码器被设计为在解码器已接收到针对给定图片的所有编码数据之后，开始对给定图片的解码处理。为了确定其已接收到用于给定图片的所有编码数据，解码器可以等待，直到其接收到用于下一图片的编码数据(在下一访问单元中)，用于下一图片的编码数据包括指示用于下一图片的编码数据的开始的一个或多个语法元素。或者，为了确定其已接收到用于给定图片的所有编码数据，解码器可以完全解析用于给定图片的编码数据。任一方案都可以在解码过程中引入延迟或额外的复杂性，这是不期望的，特别是在具有非常低的时延非常关键的实时视频通信场景(例如，视频会议、从计算设备到附近显示器的无线“屏幕投射”、远程视频游戏等)中。在另一种方案中，在媒体回放工具或特定系统环境内，媒体回放工具(或特定系统环境)内的一个组件可以创建自定义语法结构，自定义语法结构用于使用信号通知用于给定图片的编码数据的末端，然后将该语法结构提供给媒体回放工具(或特定系统环境)内的解码器。这种自定义语法结构被提供在包括编码视频数据的基本比特流之外，例如，被提供在系统复用数据之类的系统级信息中。因此，该方案不会在视频编解码器标准或格式的基本比特流内携带自定义语法结构。其缺乏一般适用性，并且其从参与中排除特定媒体回放工具(或特定系统环境)之外的编码器或其他组件。
技术实现思路
在
技术实现思路
中，详细描述呈现了指示编码区域的结束的语法结构的创新。例如，编解码器格式一致的基本比特流中的语法结构指示编码区域的结束。通过允许解码过程更快地启动，该创新可以减少解码期间的总体延迟。在一些情况下，该创新还可以通过减少在解码之前需要缓冲的数据量或者通过消除在传入数据到达时完全解析传入数据的需要来减少解码过程的复杂性。该创新还可以促进错误检测，并提高对编码数据分组丢失的鲁棒性。根据本文所描述的创新的一个方面，诸如编码器、多路复用器或比特流编辑器的媒体处理工具检测用于图像或视频的区域的编码区域的结束。媒体处理工具以基本比特流输出：(1)包含编码区域的一个或多个语法结构，以及(2)在包含编码区域的一个或多个语法结构之后的、指示编码区域的结束的不同语法结构。根据本文所描述的创新的另一方面，诸如解码器、解复用器或比特流编辑器的媒体处理工具以基本比特流接收：(1)包含用于图像或视频的区域的编码区域的一个或多个语法结构，以及(2)在包含编码区域的语法结构之后的、指示编码区域的结束的不同语法结构。媒体处理工具使用不同语法结构来检测编码区域的结束。在一些示例实现中，基本比特流符合编解码器格式。此外，包含编码区域的一个或多个语法结构以及指示编码区域的结束的不同语法结构通常以预定顺序(例如，用于访问单元的网络抽象层单元的特定顺序)，预定顺序便于使用不同语法结构检测编码区域的结束。创新可以被实现为方法的一部分、计算系统的一部分或者有形计算机可读介质的一部分，该计算系统被配置为执行该方法，该有形计算机可读介质存储计算机可执行指令，用于使处理器在由此被编程时执行该方法。各种创新可以组合使用或单独使用。提供本
技术实现思路
来以简化形式介绍将在以下详细描述中进一步描述的一些概念。本
技术实现思路
不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护的主题的范围。通过参考附图进行的以下详细描述，本专利技术的前述和其他目的、特征和优点将变得更加显而易见。附图说明图1是其中可以实现一些描述的实施例的示例计算系统的图。图2a和图2b是其中可以实现一些描述的实施例的示例网络环境的图。图3是示例编码器系统的图，结合示例编码器系统可以实现一些描述的实施例。图4是示例解码器系统的图，结合示例解码器系统可以实现一些描述的实施例。图5a和图5b是指示编码区域的结束的语法结构的使用的图。图6是图示指示编码区域的结束的示例网络抽象层单元的一部分的图。图7是图示指示编码区域的结束的示例补充增强信息消息的图。图8和图9是图示用于分别插入和使用指示编码区域的结束的语法结构的一般化技术的流程图。具体实施方式详细描述呈现指示编码区域的结束的语法结构的创新。例如，基本比特流中的语法结构指示编码区域的结束，其中该区域可以是图片内的切片、区块、图片或其他区域。指示编码区域的结束的语法结构可以是特殊类型的网络抽象层(“NAL”)单元、特殊类型的补充增强信息(“SEI”)消息或另一语法结构。创新可以通过允许解码器更快速地检测编码图片边界并开始用于给定图片的解码处理来减少解码期间的时延。在某些情况下，创新还可以通过减少在解码之前需要缓冲的数据量或者通过本文档来自技高网...

【技术保护点】
一种计算系统，包括：缓冲器，被配置为存储以下各项作为基本比特流的一部分：包含针对图像或视频的区域的编码区域的一个或多个语法结构，以及在包含所述编码区域的所述一个或多个语法结构之后的、指示所述编码区域的结束的不同语法结构；以及媒体处理工具，被配置为使用所述不同语法结构来检测所述编码区域的所述结束。

【技术特征摘要】
【国外来华专利技术】2014.10.06 US 62/060,458;2015.05.06 US 14/705,7051.一种计算系统，包括：缓冲器，被配置为存储以下各项作为基本比特流的一部分：包含针对图像或视频的区域的编码区域的一个或多个语法结构，以及在包含所述编码区域的所述一个或多个语法结构之后的、指示所述编码区域的结束的不同语法结构；以及媒体处理工具，被配置为使用所述不同语法结构来检测所述编码区域的所述结束。2.根据权利要求1所述的计算系统，其中所述媒体处理工具还被配置为：解码所述编码区域以重建所述区域。3.根据权利要求1所述的计算系统，其中所述不同语法结构是：网络抽象层(“NAL”)单元，其具有NAL单元类型，所述NAL单元类型指定所述NAL单元作为区域末端指示符；或者具有有效载荷类型的补充增强信息(“SEI”)消息，所述有效载荷类型指定所述SEI消息作为区域末端指示符，其中所述SEI消息是后缀SEI消息。4.根据权利要求1所述的计算系统，其中所述不同语法结构包括下一切片片段地址，当针对下一切片片段报头的切片片段地址存在于所述基本比特流中时，所述下一切片片段地址指示针对所述下一切片片段报头的所述切片片段地址。5.根据权利要求4所述的计算系统，其中：如果所述下一切片片段地址为零，则所述编码区域的所述结束是针对图片的最后切片的编码数据的结束；并且如果所述下一切片片段地址大于零，则所述编码区域的所述结束是针对所述图片的非最后切片的编码数据的结束。6.一种存储计算机可执行指令的计算机可读介质，所述计算机可执行指令用于使得处理器在被所述计算机可执行指令编程时执行：检测针对图像或视频的区域的编码区域的结束；以及在基本比特流中输出包含所述编码区域的一个或多个语法结构，以及在包含所述编码区域的所述一个或多个语法结构之后的、指示所述编码区域的所述结束的不同语法结构。7.根据权利要求6所述的计算机可读介质，还包括计算机可执行指令，计算机可执行指令用于使得所述处理器在被所述计算机可执行指令编程时执行：编码所述区域以产生所述编码区域，其中所述编码包括检测所述编码区域的所述结束，并且基于所述...

【专利技术属性】
技术研发人员：吴勇军，朱立华，S·萨德瓦尼，G·J·苏利文，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US