用于实时视频流式传输系统的缓冲区感知发射速率控制的方法和设备技术方案

本申请案涉及用于实时视频流式传输系统的缓冲区感知发射速率控制的方法和设备。一种实例方法包含：基于缓冲区的缓冲区填充比率而以一发射速率发射第一视频数据包，其中所述发射速率响应于所述缓冲区填充比率的改变而调整；响应于否定确认数据包而选择性地重新发射第二视频数据包，其中选择性地重新发射所述第二视频数据包是至少基于所述第二视频数据包先前是否已重新发射、所述缓冲区的缓冲区水平和重新发射速率；以及响应于在重新发射逾时内未接收到确认数据包而选择性地重新发射第三视频数据包，其中选择性地重新发射所述第三视频数据包是至少基于所述第三视频数据包先前是否已重新发射、所述缓冲区的所述缓冲区水平和所述重新发射速率。

Buffer-aware transmission rate control methods and devices for real-time video streaming systems

The present application relates to a method and device for buffer sensing transmission rate control in a real-time video streaming transmission system. An example method includes transmitting a first video packet at a transmission rate based on the buffer filling ratio of the buffer, where the transmission rate is adjusted in response to the change in the buffer filling ratio, and selectively re-transmitting a second video packet in response to a negative acknowledgment of the packet. Re-transmitting the second video packet is selectively re-transmitting the third video packet based at least on whether the second video packet has been re-transmitted previously, the buffer level of the buffer and the re-transmission rate, and in response to the failure to receive the acknowledgement packet within the re-transmission timeout, where selection is made. The ground re-transmitting of the third video packet is based at least on whether the third video packet has been re-transmitted previously, the buffer level of the buffer and the re-transmission rate.

【技术实现步骤摘要】
用于实时视频流式传输系统的缓冲区感知发射速率控制的方法和设备
本专利技术大体上涉及视频发射系统，且确切地说但非排它地，涉及实时视频通信系统。
技术介绍
经由不可靠通信网络的实时视频发射可能会引起各种图像质量问题，例如，帧缺失或失真、冻结、暂停、中断，等。这些问题可能由带宽波动、不充分带宽、丢包和/或发送器侧或接收器侧缓冲区下溢/溢位造成。举例来说，如果发送装置的瞬时发射速率大于可用网络带宽，则许多数据包可能会晚于最后期限到达目的地，这会诱发质量下降。此外，在长距离发射的情况下，带宽消耗可能增大，这会导致不必要的数据包重新发射。此外，缓冲区下溢/溢位可能由异常发射速率引起，且可能影响视频的质量。尽管多年来已提出许多尝试来缓解此类问题，但仍尚未实现有效的解决方案。因此，可能需要实时发射速率和调度方案来解决此类问题。
技术实现思路
在一个方面中，本申请案提供一种方法，所述方法包括：至少部分地基于缓冲区的缓冲区填充比率而以一发射速率发射第一视频数据包，其中所述发射速率响应于所述缓冲区填充比率的改变而调整；响应于否定确认(NAK)数据包而选择性地重新发射第二视频数据包，其中选择性地重新发射所述第二视频数据包是至少基于所述第二视频数据包先前是否已重新发射、所述缓冲区的缓冲区水平和重新发射速率；以及响应于在重新发射逾时内未接收到确认(ACK)数据包而选择性地重新发射第三视频数据包，其中选择性地重新发射所述第三视频数据包是至少基于所述第三视频数据包先前是否已重新发射、所述缓冲区的所述缓冲区水平和所述重新发射速率。在另一方面中，本申请案提供一种包含指令的非暂时性计算机可读存储媒体(CRM)，所述指令在由处理器执行时致使所述处理器：至少部分地基于缓冲区的缓冲区填充比率而以一发射速率发射第一视频数据包，其中所述发射速率响应于所述缓冲区填充比率的改变而调整；响应于否定确认(NAK)数据包而选择性地重新发射第二视频数据包，其中选择性地重新发射所述第二视频数据包是至少基于所述第二视频数据包先前是否已重新发射、所述缓冲区的缓冲区水平和重新发射速率；以及响应于在重新发射逾时内未接收到确认(ACK)数据包而选择性地重新发射第三视频数据包，其中选择性地重新发射所述第三视频数据包是至少基于所述第三视频数据包先前是否已重新发射、所述缓冲区的所述缓冲区水平和所述重新发射速率。附图说明参考以下图式描述本专利技术的非限制性且非穷尽性的实例，其中除非另外指定，否则遍布各图的相同的参考标号指代相同的部分。图1是根据本专利技术的实施例的实例视频发射系统。图2是根据本专利技术的实施例的发送器和接收器的实例说明。图3是根据本专利技术的实施例的实例基于NAK的视频数据包重新发射算法。图4是根据本专利技术的实施例的实例基于ACK的视频数据包重新发射算法。图5是根据本专利技术的实施例的发送器的功能框图。对应参考标号在图式的若干视图中始终指示对应组件。所属领域的技术人员应了解，图中的元件仅为简单和清晰起见而进行说明，但不一定按比例绘制。举例来说，图中的一些元件的尺寸可能相对于其它元件夸示以有助于改进对本专利技术的各种实施例的理解。并且，通常未描绘在商业可行的实施例中有用或必需的常见但众所周知的元件，以便促进本专利技术的这些各种实施例的遮挡较少的视图。具体实施方式本文中描述用于实时视频发射系统的设备和方法的实例，所述实时视频发射系统基于发送器侧缓冲区的填充水平调整发射速率，且进一步基于各种重新发射方案降低带宽消耗。在以下描述中，陈述众多特定细节以提供对特定实例的透彻描述。然而，相关领域的技术人员将认识到，可在没有所述特定细节中的一个或多个的情况下和使用其它方法、组件、材料等实践本文所述的技术。在其它情况下，未展示或详细描述众所周知的结构、材料或操作以免混淆某些方面。在本说明书通篇中参考“一个实例”或“一个实施例”指的是结合所述实例描述的特定特征、结构或特性包含于本专利技术的至少一个实例中。因此，贯穿本说明书在不同位置中出现短语“在一个实例中”或“在一个实施例中”未必都是指同一个实例。此外，在一个或多个实例中，特定特征、结构或特性可以任何合适方式组合。在整个本说明书中，使用若干技术术语。这些术语将采用其在它们所出现的领域中的普通含义，除非本文明确定义或其使用情境将明显表明其它含义。应注意，元件名称与符号在本文中可互换使用(例如，Si对硅)；然而，两者具有相同含义。图1是根据本专利技术的实施例的实例视频发射系统100。视频发射系统100(简称为系统100)可提供从发送器102到接收器104的实时视频。系统100可实施发射速率控制以使用最小带宽实现高质量视频。在一些实施例中，系统100可至少部分地基于发送器102的缓冲区的填充百分比来调整发射速率。此外，系统100可实施一个或多个重新发射方案来以不会不利地影响带宽使用率的方式限制数据包的重新发射。重新发射方案可为基于确认(例如，基于逾时)的重新发射速率控制方案和/或基于否定确认的选择性重新发射方案。在一些实施例中，两个重新发射方案将同时实施。在其它实施例中，所实施的重新发射方案可取决于发送器与接收器之间的距离。举例来说，系统100可由提供实时视频的应用实施，例如经由有线和/或无线通信系统将视频从远程摄像机提供到观看者的点到点系统。通信系统可包含因特网、wi-fi和/或蜂窝发射媒体。系统100的所说明实施例包含发送器102、接收器104、两个或更多个wi-fi点106、蜂窝网络点108和因特网110。发送器102可将视频数据包发射到接收器104。视频数据包可经过各种路径从发送器102传播到接收器104。举例来说，视频数据包可首先提供到wi-fi点106A，随后传播到且经过因特网110。在视频数据包在其途中退出因特网到接收器104时，视频数据包可经过wi-fi点106B或蜂窝网络(例如，LTE、HSDPA、3G，等)点108。在一些实施例中，蜂窝网络点108为4G基于LTE的协议。响应于所述视频数据包，接收器104可将确认(ACK)数据包和/或否定确认(NAK)数据包发射到发送器102。分别基于接收到或未接收到NAK和ACK数据包，发送器102可重新发射视频数据包。NAK数据包向发送器102通知未接收到特定视频数据包，接收器104可从所接收数据包确定所述特定视频数据包。更特定地说，每一视频数据包可具有唯一识别符，例如序号，其嵌入于视频数据包标头中。序号可为按顺序的(例如链接的)列表，其允许接收器104通过审阅所接收视频数据包的序号而快速地确定是否存在任何缺失的视频数据包。任何缺失的编号将指示损失的视频数据包。在一些实施例中，接收器104可将视频数据包暂时存储在缓冲区中。因此，在视频数据包由接收器104接收到时，接收器104可基于视频数据包的序号对视频数据包进行排序(在一些情况下，视频数据包可能无序地接收)，且进一步审阅所述序列以发现缺失的序号。作为响应，接收器104可基于缺失的序号来发射请求重新发射缺失的视频数据包的NAK数据包。在一些实施例中，序号可针对每一视频帧重设。举例来说，帧内编码的帧，例如i(内)-帧，可编码到大量数据包中，且用于i-帧的数据包可例如从零到255依次编号。一旦i-帧已成功地发射且任何损失的数据包已重新发射，下一帧可准备好发射，此时，序本文档来自技高网...

【技术保护点】
1.一种方法，其包括：至少部分地基于缓冲区的缓冲区填充比率而以一发射速率发射第一视频数据包，其中所述发射速率响应于所述缓冲区填充比率的改变而调整；响应于否定确认NAK数据包而选择性地重新发射第二视频数据包，其中选择性地重新发射所述第二视频数据包是至少基于所述第二视频数据包先前是否已重新发射、所述缓冲区的缓冲区水平和重新发射速率；以及响应于在重新发射逾时内未接收到确认ACK数据包而选择性地重新发射第三视频数据包，其中选择性地重新发射所述第三视频数据包是至少基于所述第三视频数据包先前是否已重新发射、所述缓冲区的所述缓冲区水平和所述重新发射速率。

【技术特征摘要】
2017.05.15 US 15/595,7461.一种方法，其包括：至少部分地基于缓冲区的缓冲区填充比率而以一发射速率发射第一视频数据包，其中所述发射速率响应于所述缓冲区填充比率的改变而调整；响应于否定确认NAK数据包而选择性地重新发射第二视频数据包，其中选择性地重新发射所述第二视频数据包是至少基于所述第二视频数据包先前是否已重新发射、所述缓冲区的缓冲区水平和重新发射速率；以及响应于在重新发射逾时内未接收到确认ACK数据包而选择性地重新发射第三视频数据包，其中选择性地重新发射所述第三视频数据包是至少基于所述第三视频数据包先前是否已重新发射、所述缓冲区的所述缓冲区水平和所述重新发射速率。2.根据权利要求1所述的方法，其中所述缓冲区填充比率是基于经缓冲数据包的数目除以最大缓冲区大小而确定。3.根据权利要求2所述的方法，其中所述发射速率进一步是基于网络发射速率而确定，其中所述网络发射速率受数据包大小、往返时间、所述重新发射逾时和丢包率影响。4.根据权利要求1所述的方法，其中响应于所述NAK数据包而选择性地重新发射第二视频数据包包含：确定所述第二视频数据包先前是否已重新发射；以及基于所述第二视频数据包先前尚未重新发射，重新发射所述第二视频数据包。5.根据权利要求1所述的方法，其中响应于所述NAK数据包而选择性地重新发射第二视频数据包包含：确定所述第二视频数据包先前是否已重新发射；以及基于所述第二视频数据包先前已重新发射，确定所述第二视频数据包是否为所述缓冲区中的最旧视频数据包。6.根据权利要求5所述的方法，其进一步包括：基于所述第二视频数据包为所述缓冲区中的最旧视频数据包，确定所述缓冲区水平是否高于第一阈值；以及基于所述缓冲区水平高于所述第一阈值，重新发射所述第二视频数据包。7.根据权利要求6所述的方法，其进一步包括：基于所述缓冲区水平不高于所述第一阈值，确定是否已针对所述第二视频数据包接收到三个重复的NAK数据包；基于已针对所述第二视频数据包接收到三个重复的NAK数据包，确定所述缓冲区水平是否高于第二阈值；基于所述发送器缓冲区高于所述第二阈值，确定所述重新发射速率是否小于最大限度；以及基于所述重新发射速率高于所述最大限度，重新发射所述第二视频。8.根据权利要求7所述的方法，其进一步包括：基于尚未接收到三个重复的NAK数据包、所述发送器水平高于所述第二阈值或所述重新发射速率小于最大限度，确定所述缓冲区水平是否小于高水平；基于所述缓冲区水平小于所述高水平，确定所述重新发射速率是否小于最低限度；基于所述重新发射速率小于所述最低限度，重新发射所述第二视频数据包。9.根据权利要求5所述的方法，其进一步包括：基于所述第二视频数据包不为所述缓冲区中的最旧视频数据包，确定所述缓冲区水平是否高于所述第二阈值；基于所述缓冲区水平高于所述第二阈值，确定所述重新发射速率是否小于所述最低限度；以及基于所述重新发射速率小于所述最低限度，重新发射所述第二视频数据包。10.根据权利要求1所述的方法，其中响应于在所述重新发射逾时内未接收到所述ACK数据包而选择性地重新发射第三视频数据包包括：确定所述第三视频数据包先前是否已重新发射；基于所述第三视频数据包先前尚未重新发射，重新发射所述第三视频数据包；以及基于所述第三视频数据包先前已重新发射，确定所述第三视频数据包是否为所述缓冲区中的最旧视频数据包。11.根据权利要求10所述的方法，其进一步包括：基于所述第三视频数据包不为所述缓冲区中的最旧视频数据包，确定所述缓冲区水平是否高于所述第二阈值；基于所述缓冲区水平高于所述第二阈值，确定所述重新发射速率是否小于所述最低限度；以及基于所述重新发射速率小于所述最低限度，重新发射所述第三视频数据包。12.根据权利要求10所述的方法，其进一步包括：基于所述第三视频数据包为所述缓冲区中的最旧视频数据包，确定是否已针对所述第三视频数据包出现三次重新发射逾时；基于已出现三次重新发射逾时，确定所述缓冲区是否高于所述第一阈值；基于所述缓冲区高于所述第一阈值，确定所述重新发射速率是否小于所述最大限度；以及基于所述重新发射速率小于所述最大限度，重新发射所述第三视频数据包。13.一种包含指令的非暂时性计算机可读存储媒体CRM，所述指令在由处理器执行时致使所述处理器：至少部分地基于缓冲区的缓冲区填充比率而以一发射速率发射第一视频数据包，其中所述发射速率响应于所述缓冲区填充比率的改变而调整；响应于否定确认NAK数...

【专利技术属性】
技术研发人员：吴冀衍，闻志专，魏军，潘辉，
申请(专利权)人：豪威科技股份有限公司，
类型：发明
国别省市：美国,US