一种自适应学习的网络实时视频传输方法及装置制造方法及图纸

本发明专利技术涉及一种自适应学习的网络实时视频传输方法及装置。该方法主要针对无线网络下，端到端的视频传输应用场景。该方法在发送端的数据追踪模块、网络状态感知模块和贝叶斯控制器协同作用下达到控制发送速率，避免拥塞的目的。接收端主要负责信息反馈，为发端的数据收集进行辅助。该方法能够对网络状态进行及时的感知，并通过基于历史数据和贝叶斯定理的速率决策机制，决策出最优的发送速率。在整个决策过程中，本发明专利技术充分考虑了无线网络具有高度变化性的特点，通过历史数据感知网络环境的长期变化，并且借助链路时延调整发送速率，适应网络的瞬时波动，从而达到提高带宽利用率、降低链路时延的目的，进而提高实时视频应用的用户体验。

【技术实现步骤摘要】
一种自适应学习的网络实时视频传输方法及装置
本专利技术涉及多媒体领域，尤其涉及一种自适应学习的网络实时视频传输方法及装置。
技术介绍
随着移动网络以及视频技术的发展，加之即将到来的5G时代，无线网络成为了一种越来越受欢迎的网络接入方式，同时实时视频应用也迎来了爆发式增长。无论是工业界还是学术界，针对无线网络环境的实时视频传输方法受到了广泛关注。无线网络的网络环境与传统的以太网相比较，具有明显的差异性，主要体现在网络链路的稳定性上。对于一条无线网络链路，不论是瓶颈带宽、链路传播时延，还是链路丢包率，都处在实时变化的过程中，有些时候甚至会产生链路中断的现象。这种链路的快速变化特性对端到端的传输协议具有显著影响，也使得传统的针对以太网的传输方法在无线网络上并不适用。除此之外，实时视频通信的应用场景对时间延迟也提出了更高的要求，为了保障用户的基本体验，网络链路的往返时延(RTT)必须保持在低于300毫秒的状态。除此之外，为了保证画面质量，还需要尽可能的保证高吞吐量、高稳定性，以及多条数据流共存时的良好的公平性，这些苛刻的要求更是许多传统传输方法难以保障的。因此，针对无线网络中实时视频应用的传输方法仍然存在严峻的挑战：1)实时视频应用对时延特性有着严苛的要求，但是无线网络的高速抖动特性增加了保障时延的难度。在任何时候，无线网络的瓶颈带宽都具有下降的可能，若瓶颈带宽下降到低于发送速率时，便会引起时延上升，用户体验下降。2)高信道利用率难以保障。发送速率恰好等于链路的瓶颈带宽是最理想的情况，但是因为无线网络的无规律抖动特性，使应用难以观测到真正的瓶颈带宽，也就增加了保证发送速率最优的难度。3)多条数据流共存时会有竞争现象。在一条无线链路中存在多条数据流时，理想情况是公平的分配瓶颈带宽，但是对于这些数据流，各自难以观测到真实的瓶颈带宽上限和共存的数据流数量，容易产生分配不均问题。
技术实现思路
本专利技术针对上述问题，提供一种自适应学习的网络实时视频传输方法及装置。本专利技术提供的一种基于端到端的、能够自适应网络状态的实时视频传输方法，用于无线网络中实时视频发送端的速率决策，包括以下步骤：1)获取每个视频数据包的单路时延信息，所述单路时延信息用于网络状态分析；2)计算统计周期内的平均单路时延和发送速率信息，所述平均单路时延和发送速率信息同样用于网络状态分析；3)根据所有统计周期内的平均单路时延和发送速率信息，建立当前网络状态的概率密度模型；4)在速率决策过程中，依据由概率密度模型得到的网络状态信息和当前的单路时延，基于贝叶斯定理进行速率决策。进一步地，考虑到网络状态具有时变特性，步骤3)使用了权重窗口和加权移动平均的方法提升算法的自适应能力。进一步地，步骤3)将平均单路时延和发送速率信息记录在一个顺序队列中，借助一个滑动时间窗口内的数据点作为有效数据的依据，依次进行加权处理，并使用高斯核密度估计的方法刻画出当前网络中链路状态的概率密度模型。另外，本专利技术也可以采用极大似然估计、高斯混合模型、K近邻估计等方法进行概率密度计算。本专利技术还提供一种自适应学习的网络实时视频传输装置，包括接收端和发送端：在接收端，获取数据包的时间戳、序列号等信息，经计算获得单路时延信息，并反馈回发送端；在发送端，首先根据接收端反馈的信息，进行周期性地均值统计，然后根据本专利技术上述的自适应网络状态分析方法和速率决策方法，决定下一周期内的发送速率。进一步地，所述发送端包括：数据追踪器，负责根据接收端反馈的单路时延信息，周期性地统计数据包的平均单路时延，并计算统计周期内的视频的发送速率信息；网络状态感知器，负责根据数据追踪模块得到的平均单路时延和发送速率信息，建立当前网络状态的概率密度模型；贝叶斯控制器，负责依据由概率密度模型得到的当前网络状态和当前的单路时延，采用贝叶斯定理实现速率决策。进一步地，所述接收端包括信息处理模块，所述信息处理模块负责获取视频数据包的单路时延信息，并反馈至所述发送端，以便所述发送端进行发送速率决策。本专利技术的有益效果是：本专利技术主要针对无线网络下，端到端的实时视频传输应用场景。在发送端的数据追踪模块、网络状态感知模块和贝叶斯控制器三大模块协同作用下达到控制发送速率，避免拥塞的目的。本专利技术能够充分地利用瓶颈带宽、有效地降低时延，并且快速适应无线网络高速抖动的特点，能够对网络状态的改变进行及时的感知。本专利技术通过基于历史数据和贝叶斯定理的速率决策机制，能够决策出最优的发送速率，在整个决策过程中充分考虑了无线网络具有高度变化性的特点，一方面通过历史数据感知网络环境的长期变化，另一方面借助时延目标调整发送速率，适应网络的瞬时波动，从而达到提高带宽利用率、降低链路时延的目的，进而提高了实时视频应用的用户体验。附图说明图1为一种自适应学习的网络实时视频传输框架示意图；图2中(a)图为某段统计窗口内发送速率S与单路时延D的数值散点示意图，图2中(b)图为由网络状态感知器刻画的、针对该窗口内数据的网络状态示意图(颜色越浅，表示散点集中度越高)；图3为在阶梯型带宽的链路中本专利技术方法与原有方法的吞吐量对比图，其中(a)图为原有方法(简称GCC)，(b)图为本专利技术方法(简称LCC)。具体实施方式下面通过具体实施例和附图，对本专利技术做进一步详细说明。本实施例提供一种自适应学习的网络实时视频传输方法。该自适应学习的无线网络实时视频传输框架如图1所示。该框架应用于端到端的视频传输过程。在接收端，设有信息处理模块，主要负责数据流的参数统计，包含了单路时延、丢包率等信息，并将此类信息周期性的反馈给发送端，辅助其进行发送速率决策。之所以在接收端去计算单路时延而不是采用发送端去计算往返时延，主要是因为单路时延与往返时延相比更具有抗干扰的能力，当接收端到发送端的反向链路存在背景流量时，单路时延的测量值不会产生变化而往返时延会显著增加。在发送端进行发送速率决策时，需要对当前的网络状态具有充分的认知，以此进行速率自适应。为了达到这个目的，本专利技术设计了一个数据追踪模块(或称为数据追踪器)和网络状态感知模块(或称为网络状态感知器)，两者相配合可以从统计学的角度自适应地追踪当前网络状态。具体而言，发送端在接收到接收端反馈的信息后，数据追踪模块将所有的信息按照数据包的序列号进行对齐处理，再以一定时间(例如50毫秒)作为周期统计均值信息，并将每个周期的结果分别发送至网络状态感知器和贝叶斯控制器。对于网络状态感知器，根据所有统计周期内的数据，进行核密度估计，刻画出时延与发送速率的关系，以此表示网络状态。对于贝叶斯控制器，根据目标时延与当前时延的关系，决策出在当前网络状态下最合适的发送速率。在接收端，每次接收到数据包时，需要根据数据包的时间戳以及接收时间进行计算，得到对应于该数据包的单路时延。该过程中涉及的相关概念如下：1、数据包的时间戳：定义TS为该数据包被发送时，由发送端记录在数据包中的时间。2、接收时间：定义TR为接收端接收到该数据包时，接收端的时钟记录的时间。3、单路时延：定义d为数据包从发送端到接收端经历的时间，可由TS和TR计算得出：d＝TR-TS。然后，当接收端计算出对应于每个数据包的单路时延后，会将该数据反馈回发送端，由发送端进行进一步处理。具体而言，就是像图1中那样，将所有本文档来自技高网...

【技术保护点】
1.一种自适应学习的网络实时视频传输方法，其特征在于，包括以下步骤：1)获取视频数据包的单路时延信息；2)计算统计周期内的平均单路时延和发送速率信息；3)根据所有统计周期内的平均单路时延和发送速率信息，建立当前网络状态的概率密度模型；4)依据由概率密度模型得到的当前网络状态和当前的单路时延，采用贝叶斯定理实现视频发送端的发送速率决策。

【技术特征摘要】
1.一种自适应学习的网络实时视频传输方法，其特征在于，包括以下步骤：1)获取视频数据包的单路时延信息；2)计算统计周期内的平均单路时延和发送速率信息；3)根据所有统计周期内的平均单路时延和发送速率信息，建立当前网络状态的概率密度模型；4)依据由概率密度模型得到的当前网络状态和当前的单路时延，采用贝叶斯定理实现视频发送端的发送速率决策。2.根据权利要求1所述的方法，其特征在于，步骤1)所述单路时延信息的计算方法是：接收端每次接收到数据包时，根据数据包的时间戳以及接收时间进行计算，得到对应于该数据包的单路时延信息：d＝TR-TS，其中d为数据包从发送端到接收端经历的时间，TS为该数据包被发送时由发送端记录在数据包中的时间，TR为接收端接收到该数据包时接收端的时钟记录的时间。3.根据权利要求1所述的方法，其特征在于，步骤2)所述平均单路时延的计算方法是：若发送端在统计周期i内收集到序列号为a到b的数据包的单路时延，则根据下式计算统计周期i内所有数据包的单路时延均值Dave,i：其中dj为序列号为j的数据包反馈回的单路时延。4.根据权利要求3所述的方法，其特征在于，每当发送端获得了最新统计周期i内的单路时延均值Dave,i，按照下式更新单路时延的平滑值Di：Di＝(1-α)Di-1+αDave,i，其中0＜α＜1是平滑系数，表示对最新的数据Dave,i的重视程度。5.根据权利要求1或4所述的方法，其特征在于，步骤3)将平均单路时延和发送速率信息记录在一个顺序队列中，借助一个滑动时间窗口内的数据点作为有效数据的依据，依次进行加权处理，并使用高斯核密度估计的方法刻画出当前网络中链路状态的概率密度模型。6.根据权利要求5所述的方法，其特征在于，所述加权处理...

【专利技术属性】
技术研发人员：张行功，戴统宇，郭宗明，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京,11