低时延速率控制系统和方法技术方案

在视频传输系统内的编码器在子帧级别上控制比特分配。帧被分成更小的块，被称为速率控制块。速率控制块被用作比特分配的基本单元。这种比特分配实现系统所期望的目标比特速率以及满足时延限制。该编码器使用片分割功能以使用图像帧的一个或多个片生成该速率控制块。这种特征允许译码器对该速率控制块独立地进行译码，并且保证针对每个速率控制块已编码的数据大小被分配。该编码器还针对缓冲器检测溢出状况，并且基于图像帧是否是帧间还是帧内执行用于避免所述溢出状况的操作。

【技术实现步骤摘要】
【国外来华专利技术】低时延速率控制系统和方法
本专利技术涉及在网络上传输视频信号。更具体地，本专利技术涉及在具有低时延限制的网络上发送和接收复杂的视频信号。
技术介绍
在已知的视频发送/接收系统中，来自数字媒体服务器的数据内容被编码，并且被发送以被译码，用于在数字媒体渲染器上播放。但是，视频内容可能是相当复杂的，因为它随着时间变化。由于复杂度变化，比特速率也需要变化以用于内容的高质量传输。对于给定的压缩质量级别，视频数据的复杂度导致更高的比特速率用于编码数据。但是，网络的容量可能在时间上保持不变，并且不会由于视频数据的复杂度或增加的比特速率而变化。为了适应在视频编码器处的这个比特速率波动，速率控制被使用以创建在网络上在所有的时间上不变的比特速率。即使在视频的复杂度剧烈地变化时，诸如在场景变化或视频捕捉许多移动或精细特征时，不变的比特速率对于数据的传输仍然有效。速率控制努力保持视频播放质量尽可能的稳定。速率控制尽力在质量稳定性和不变的比特速率要求之间达到折中。由于速率控制的限制以及满足网络容量所带来的限制，已知系统在传输之前缓冲数据。已编码数据被缓冲，以使得瞬时视频编码器比特速率能够更高，并且低于网络容量，但是发送给网络的已缓冲数据的速率常常等于或低于网络容量。由于比特速率可能大大地增加超过网络容量，所以已知的系统实施更大的缓冲器以适应这些可能的大的增加。但是，更大的缓冲器将时延引入到数据的传输中，以使得延迟出现。例如，已知的系统可以在编码之后、经过网络发送数据之前缓冲多个帧。大的缓冲器容量导致系统内高的时延。在一些应用中，这种时延是不可接受的。实时视频播放和交互式应用可能不会承担高的时延，并且，所以不能只增加缓冲器的容量来处理复杂的视频传输。实际上，一些应用可能不允许网络中任何显著的时延。因此，缓冲器容量可以被最小化以降低时延，但是之后系统可能不能够处理由于复杂的数据而增加的比特速率波动。
技术实现思路
本专利技术的实施例针对要求传输时延低于网络中单个帧的持续时间的场景，控制视频编码器输出比特流速率。本专利技术的实施例不实施大的缓冲器以处理由于复杂的视频数据编码而带来的比特速率增加，而是转而执行允许在低时延下进行编码的过程。根据所公开的实施例，一个帧或更少可以被缓冲。所提出的速率控制还可以在更高的时延下工作，以还覆盖不要求低时延的系统。所公开的实施例在帧内分配必要的比特以实现特定的最大比特速率。通过保持低于网络容量，视频发送/接收系统获得实时视频播放所期望的低时延。所公开的实施例在子帧级别上控制比特分配。帧被分成更小的块，被称为速率控制块。速率控制块被用作比特分配的基本单元。这种比特分配实现系统所期望的目标比特速率以及满足时延限制。所公开的实施例可以使用视频编码器的片分割能力。这种特征允许译码器独立地对速率控制块进行译码。每当针对每个速率控制块的已编码数据大小低于速率控制所分配的比特速率时，针对每个速率控制块的端到端时延将和特定的最大时延差不多。为了获得低网络时延，所公开的实施例使用能导致满意结果的估计和预测的数值。然而，产生错误估计的概率是存在的，其可以导致针对速率控制块的已分配比特没有被实现的实例。换句话说，比特速率可以高于目标比特速率并且超过缓冲器容量，因此使得时延要求处于危险中。为了避免这个缓冲器溢出的问题，所公开的实施例可以基于速率控制块的“非编码”部分实施缓冲器保护机制。其他的保护机制也可以被使用。根据优选的实施例，用于在视频传输系统内编码图像帧的方法被公开。该方法包括选择图像帧的速率控制块。该速率控制块包括多个宏块。该方法还包括根据比特速率对速率控制块的多个宏块进行编码。进一步根据优选的实施例，视频传输编码系统被公开。该视频传输编码系统包括片分割器，其保证来自图像帧的速率控制块将有整数个片。这个特征允许速率控制块被独立地译码。该速率控制块包括多个宏块。视频传输编码系统还包括针对速率控制块对多个宏块进行编码的编码器。视频传输编码系统还包括针对每个速率控制块存储已编码数据的缓冲器。根据针对速率控制块的参数集，视频传输系统的比特速率和缓冲器的容量被设置。进一步根据优选的实施例，用于在视频传输内对图像帧进行编码的方法被公开。该方法包括收集被用作帧和速率控制块初始设置二者的一部分的统计值。该方法还包括设置缓冲器的容量以接收速率控制的已编码数据。该方法还包括根据对应于缓冲器容量的比特速率，对在速率控制块内的多个宏块进行编码。附图说明附图被包括以提供对本专利技术的进一步理解，并且构成说明书的一部分。下面所列出的图示出本专利技术的实施例，并且和描述一起用来解释本专利技术的原理，如权利要求和它们的等效形式所公开的。图1图示根据所公开的实施例用于发送和接收视频信号数据的系统。图2A图示根据所公开的实施例示出系统内编码、传输和译码时间的图。图2B图示根据所公开的实施例示出系统内随着时间比特速率波动的图。图3图示根据所公开的实施例具有速率控制块的视频帧。图4图示根据所公开的实施例用于使用速率控制在视频传输编码器内控制比特速率的流程图。图5图示根据所公开的实施例用于执行宏块级别速率控制的流程图。具体实施方式本专利技术的方面在下面的描述中被公开。在不背离本专利技术的精神和范围的情况下，本专利技术的备选实施例和他们的等效形式被设计。将注意，下面所公开的相同的元件由图中相同的附图数字来指示。图1描绘了根据所公开的实施例用于发送和接收视频信号数据的系统100。系统100可以是任何系统或在网络上连接以共享信息的设备集合。视频信号内的图像帧被接收以在网络上被发送。图像帧内的数据被使用各种编码技术来编码用于传输。例如，系统100可以是游戏系统，其中视频内容在游戏控制台中被生成，然后被发送给高清晰度数字媒体渲染器，诸如平面电视。备选地，系统100可以是使用高清晰度（HD）视频的安全监控系统。这种实践在监视行业正成为规范，因为现在越来越多的安全摄像机制造商声称提供HD摄像机，这允许监控具有实时高质量视频。数字媒体服务器102生成带发送的视频内容。数字媒体服务器102可以是捕捉视频数据的任何设备、控制台、摄像机等。例如，数字媒体服务器102是播放存储在磁盘或其他介质上的视频游戏的游戏控制台。从玩游戏生成的内容被显示给用户以观看并且实时交互。备选地，数字媒体服务器102是捕捉数据的计算机、录像机、数字摄像机、扫描仪等。将无压缩数据信号104从数字媒体服务器102输出到编码器106。编码器106可以编码或压缩信号104用于在系统100内传输。编码器106可以使用有损压缩技术以对信号104进行编码。这些技术的强度可以基于信号104内数据的复杂度而变化。例如，游戏中向对手舞剑的角色的视频数据，比只是站着的角色的视频更加复杂或非常忙碌，并且可能需要不同编码过程以保持类似的质量。编码器106包括片分割器134，其在下面被更详细的公开。编码器106输出已压缩信号108到缓冲器110。缓冲器110存储来自信号108的数据，直到它能够通过系统100被传输。如果网络比特速率不允许信号108的传输，那么缓冲器110保留数据直到它能够被发收机114传输的这个时间。缓冲器110可以具有缓冲器容量的数值。被速率控制用于实现它的目标（时延和比特速率）的缓冲器容量的数值将直接地与所允许的最大的传输时延相关。缓冲器本文档来自技高网...

【技术保护点】
一种用于在视频传输系统内对图像帧进行编码的方法，所述方法包括：选择所述图像帧的速率控制块，其中所述速率控制块包括多个宏块；确定速率控制块设置以分配比特速率；以及根据所述比特速率对所述速率控制块的所述多个宏块进行编码。

【技术特征摘要】
【国外来华专利技术】2011.05.04 US 13/067,0511.一种用于在视频传输系统内对图像帧进行编码的方法，所述方法包括：选择所述图像帧的速率控制块，其中所述速率控制块包括多个宏块；确定速率控制块比特速率；指定缓冲器容量以对应于所述速率控制块的大小；根据所述比特速率对所述速率控制块的所述多个宏块进行编码；以及通过替换地跳过对所述速率控制块的所选择的帧内宏块的编码以及去除所述速率控制块中的帧内宏块的预测残...

【专利技术属性】
技术研发人员：A·杜纳斯，F·R·伊兹奎尔多，G·加西亚，
申请(专利权)人：凯为公司，
类型：发明
国别省市：美国;US