通过约束由于视频帧的重排序导致的延迟并且通过利用伴随该视频帧的编码数据的一个或多个语法元素指示对帧重排序延迟的约束来减低视频编码和解码中的延迟的技术和工具。例如，具有视频编码器的实时通信工具设置指示对帧重排序延迟的约束的语法元素，其中对帧重排序延迟的该约束与视频序列的多个帧之间的帧间相关性一致，然后该工具输出该语法元素。具有视频解码器的对应实时通信工具接收指示对帧重排序延迟的约束的该语法元素，基于该语法元素确定对帧重排序延迟的约束，并且使用对帧重排序延迟的该约束来确定重建帧何时为输出做好准备（根据输出顺序）。
【技术实现步骤摘要】
【专利说明】
技术介绍
工程师们使用压缩(也被称作源编码或信源编码)来降低数字视频的比特率。压缩通过将视频信息转换成较低比特率的形式来减少存储和传输该信息的成本。解压缩(也被称作解码)从被压缩的形式中重建一个版本的原始信息。“编解码器”是编码器/解码器系统。在过去的二十年中，已经采用了各种视频编解码器标准，包含H.261、H.262(MPEG-2 或 IS0/IEC 13818-2)、!1.263和!1.264(八￥(:或150/比〇 14496-10)标准和 MPEG-1 (IS0/IEC11172-2)、MPEG-4 Visual(IS0/IEC 14496-2)和SMPTE 421M标准。最近，正在开发HEVC标准。视频编解码器标准典型地定义了编码视频比特流的语法选项，其详述了当在编码和解码中使用特定特征时该比特流中的参数。在许多情况下，视频编解码器标准还提供了关于解码器应当执行以便在解码中获得正确结果的解码操作的详情。压缩的基本目标是提供良好的速率失真性能。因此，针对特定的比特率，编码器试图提供最高质量的视频。或者，针对特定的质量水平/对原始视频的保真度水平，编码器试图提供最低比特率的编码视频。在实践中，根据使用的情境，对诸如编码时间、编码复杂度、编码资源、解码时间、解码复杂度、解码资源、总延时、和/或回放中的平滑度之类的考虑也影响编码和解码期间所做出的决定。例如，考虑诸如从存储装置回放视频、从在网络连接上流传送的编码数据回放视频，以及视频转码(从一种比特率到另一种比特率，或者从一种标准到另一种标准)之类的使用情境。在编码器端，这样的应用可以准许对时间完全不敏感的离线编码。因此，编码器可以增加编码时间并且增加编码期间使用的资源来找到最有效的方式压缩视频，并且从而改进速率失真性能。如果在解码器端还可以接受少量的延时，那么该编码器可以例如通过采用来自序列中更前面的各图像的图像间相关性来进一步改善速率失真性能。另一方面，考虑诸如远程桌面会议、监控视频、视频电话和其它实时通信情境之类的使用情境。这样的应用对时间敏感。输入图像的录制与输出图像的回放之间的低延迟是性能的一个关键因素。当适配于非实时通信的编码/解码工具被应用于实时通信情境中时，总延迟通常高得难以接受。这些工具在编码和解码期间引入的延时可以改善常规视频回放的性能，但是它们破坏了实时通信。
技术实现思路
总之，【具体实施方式】部分提出了用于降低视频编码和解码中的延迟的技术和工具。该技术和工具可以降低延迟以便改善实时通信中的响应性。例如，该技术和工具通过约束由于视频帧重排序导致的延迟，并且通过利用伴随用于该视频帧的编码数据的一个或多个语法元素指示对帧重排序延迟的约束来降低总延迟。根据本文描述的技术和工具的一个方面，诸如视频编码器之类的工具、具有视频编码器的实时通信工具或其它工具设置指示对延迟的约束(例如与视频序列的多帧之间的帧间相关性一致的对帧重排序延迟的约束)的一个或多个语法元素。该工具输出该(多个)语法元素，从而促进更简单和更快速地确定按照帧的输出顺序重建帧何时为输出做好准备。根据本文描述的技术和工具的另一个方面，诸如视频解码器之类的工具、具有视频解码器的实时通信工具或其它工具接收并解析指示对延迟的约束(例如对帧重排序延迟的约束)的一个或多个语法元素。该工具还接收用于视频序列的多个帧的编码数据。解码该编码数据中的至少一些来重建多帧中的一个。该工具可以基于该(多个)语法元素确定对延迟的约束，然后使用对延迟的约束来确定重建帧何时为输出做好准备(按照输出顺序)O该工具输出该重建帧。本专利技术前述的和其它的目的、特征和优点将在下文参考附图进行的详细描述中变得更加显而易见。【附图说明】图1是其中可以实现一些所描述的实施例的示例计算系统的图示。图2a和2b是其中可以实现一些所描述的实施例的示例网络环境的图示。图3是与之结合可以实现一些所描述的实施例的示例编码器系统的图示。图4是与之结合可以实现一些所描述的实施例的示例解码器系统的图示。图5a_5e是示出了用于若干示例系列中的帧的编码顺序和输出顺序的图示。图6是示出了用于设置和输出指示对延迟的约束的一个或多个语法元素的示例技术的流程图。图7是示出用于降低延迟的解码的示例技术的流程图。【具体实施方式】【具体实施方式】部分提出了用于减低视频编码和解码中的延迟的技术和工具。该技术和工具可以帮助降低延迟以便改善实时通信中的响应性。在视频编码/解码情境中，接收到输入视频帧的时间与回放该帧的时间之间的一些延时是不可避免的。该帧由编码器编码，被输送到解码器并且由解码器解码，并且一些量的延迟由关于编码资源、解码资源和/或网络带宽的实际限制所导致。但是，其它的延迟是可以避免的。例如，为了改善速率失真性能(例如为了采用来自序列中更前面的图像的帧间相关性)，编码器和译码器可能引入延迟。这样的延迟可以被降低，尽管可能在速率失真性能、处理器使用或回放平滑度方面有所损失。利用本文所描述的技术和工具，通过约束延迟(因此，限制帧间相关性的时间范围)并且向解码器指示对延迟的该约束来减少延迟。例如，对延迟的该约束是对帧重排序延迟的约束。可替换地，对延迟的该约束是按照秒、毫秒或另一种时间量度的约束。解码器之后可以确定对延迟的该约束并且当确定哪些帧为输出做好准备时使用该约束。这样，可以为远程桌面会议、视频电话、视频监控、摄像头视频和其它实时通信应用降低延时。本文描述的一些创新通过参考专用于H.264和/或HEVC标准的语法元素和操作来说明。这样的创新也可以被实现用于其它标准或格式。更一般地，对本文描述的示例的各种替换是可能的。可以通过改变流程图中示出的阶段排序，通过拆分、重复或忽略某些阶段等等来变更参考流程图描述的某些技术。针对视频编码和解码的延迟降低的各方面可以组合使用或者单独使用。不同的实施例使用一种或多种所描述的技术和工具。本文描述的一些技术和工具解决了
技术介绍
中指出的一个或多个问题。典型地，一种给定的技术/工具不能解决所有这样的问题。1.示例计算系统 图1图示了合适的计算系统(100)的一般化示例，其中可以实现若干所描述的技术和工具。计算系统(100)并不旨在暗示对使用或功能性的范围的任何限制，这是因为该技术和工具可以被实现在多种多样的通用或专用计算系统中。参考图1，该计算系统(100)包含一个或多个处理单元(I 10，115)和存储器(120，125)。在图1中，这种最基本的配置(130)被包含在虚线内。该处理单元(110，115)运行计算机可执行指令。处理单元可以是通用中央处理单元(CPU)、专用集成电路(ASIC)中的处理器或其它类型的处理器。在多路处理系统中，多个处理单元运行计算机可执行指令来增加处理能力。例如，图1示出了中央处理单元(110)以及图形处理单元或协处理单元(115)。有形存储器(120，125)可以是该(多个)处理单元可访问的易失性存储器(例如寄存器、高速缓存、RAM)、非易失性存储器(例如R0M、EEPR0M、闪速存储器等等)，或这二者的一些组合。该存储器(120，125)以适于由该(多个)处理单元运行的计算机可执行指令的形式存储了实现用于降低视频编码和解码中的延迟的一个或多个创新的软件(180)。本文档来自技高网...
【技术保护点】
在实现视频解码器的计算系统中，一种方法，包括：接收和解析一个或多个指示对帧重排序延迟的约束的语法元素，其中对帧重排序延迟的约束用按照输出顺序可以先于视频序列的任何一个帧但是按照编码顺序跟随那个帧的帧的最大计数来表示；接收视频序列的多个帧的编码数据；利用该视频解码器，至少解码该编码数据中的一些来重建该多个帧中的一个；以及输出重建帧。
【技术特征摘要】
...
【专利技术属性】
技术研发人员：GJ萨利文，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。