一种无线网络下视频实时传输的码率平滑方法技术

本发明专利技术提出一种无线网络下视频实时传输的码率平滑方法，该方法包括：周期性的统计视频帧的传输时延，当传输时延变小时，通过快进调小播放缓存，当传输时延变大时，通过慢放调大播放缓存，所述快进和所述慢放的调整步长由传输时延变化、播放缓存深度以及时间戳信息共同决定。本发明专利技术能够统计视频帧传输时延，根据时延信息来感知无线网络状态，进而根据实际网络状况找到最小的视频时延来达到平滑效果，实现了视频流在实时性和流畅性之间的平衡。

【技术实现步骤摘要】
一种无线网络下视频实时传输的码率平滑方法
本专利技术涉及无线通信领域，尤其涉及一种无线网络下视频实时传输的码率平滑方法。
技术介绍
目前对于视频会议等实时性要求高的应用，通常会采用接收到视频帧后直接播放的方法。该方法着重于实时性，然而在无线网络进行视频传输时，由于一些视频帧（例如I帧）较大，瞬时码率可能会变成平均码率的2倍甚至更多，突发数据大容易导致网络拥塞，传输这些帧所需的时间就相对很长，导致视频帧传输时出现明显抖动，在这种情况下，如果在接收端仍使用收到视频帧就显示的方法，就会出现视频定时卡顿的现象，严重影响了视频的流畅性，影响主观视频感受。为了克服无线信道变化等原因造成的不稳定性，传统流媒体系统会采用缓存帧的方法，用一定的时延来换取视频的流畅性。该方法使用一个播放缓冲区来缓存收到的媒体数据，在播放流媒体时，先将收到的媒体数据放到缓冲区中，当缓冲区中的数据量到达一定阈值后开始按照时间戳信息播放媒体。如果信道条件变差，缓冲区发生了下溢出，那么就暂停媒体播放，等待缓冲区数据量到达指定的阈值后继续播放。显然的，如果缓存较多的数据，这种数据缓存的方法可以有效减少客户端因为包丢失、包延时、抖动等产生的播放中断。但该方法无法统计网络延时状况，不能对缓存大小进行动态调节，由于存入读出数据速率的不一致，容易导致缓冲区变动较大，会出现缓存区存满或者播空的现象，造成视频播放的不流畅。即在时延小网络状况好的时候，无法调小缓冲区，导致引入不必要的缓存时间，在播放时产生相对大的时延，很难保证视频传输的实时性；在网络状况差的时候，不能动态调大缓存区，容易导致缓冲区空，播放停顿，影响用户体验，很难保证视频传输的流畅性。此外，对于嵌入式系统，若无法动态调整缓冲区大小，可能会造成设备存储空间的浪费。
技术实现思路
为了解决既要保证视频传输的实时性，又要尽量提升其传输质量、保证其流畅性的问题，本专利技术提出了一种无线网络下视频实时传输的码率平滑方法，在播放缓存机制的基础上，通过周期统计视频帧的传输时延来动态感知无线网络的变化情况，从而动态调节播放缓存的大小，尽量避免不必要的缓存时间，以较小的代价使得视频传输在实时性和流畅性之间更好的进行平衡，即在保证流畅性的前提下，在网络状态好的情况时，使用相对小的时延，而在网络状态差的情况下，则使用相对大的时延。该方法具体如下：周期性的统计视频帧的传输时延，当传输时延变小时，说明网络状况较好，则调小播放缓存，以减少视频时延；当传输时延变大时，说明网络状况较差，则调大播放缓存，以防止缓存区播空造成视频停顿。由于播放缓存的大小由写入和读出缓存区数据量之差决定，读出速度可控，可以进行快进或慢放，因此本专利技术通过快进和慢放来调整播放缓存的大小，快进和慢放的调整步长由传输时延变化、播放缓存深度以及时间戳信息共同决定。这样的调整不仅考虑到了传输时延变化的因素，同时还考虑到了播放缓存深度的因素：播放缓存大小越大，表明当前缓存区越接近最大缓存值，越需要进行快放，以保证缓存区能够有足够空间容纳后续数据；反之，播放缓存越小，表明缓存区越接近空，应该尽量慢放，以保证缓冲区非空。本专利技术方法首先需要周期性的统计视频帧的传输时延。优选的，每次周期性统计时可以采用以下的方法：将最近T时间内每个视频帧的传输时延加权平均得到传输时延的统计值为Di为最近时间T内到来的每个视频帧的传输时延，ai(i＝1,2,...,N)为权重因子，N为该最近时间T内总共到来的视频帧的个数，T为预先设置的统计窗口的大小。也可以采用其它的方法来统计视频帧的传输时延，只要能反映网络的变化情况即可。本方法在每个周期统计出传输时延后，可以利用当前周期统计的传输时延Dcurr与上一个周期统计的传输时延Dlast来估计下一个周期到来前的无线网络的状态。比较当前调整周期的Dcurr和Dlast值，若前者较大，说明传输时延变大，网络有变坏的趋势，则需要动态调大播放缓存；若后者较大，说明传输时延变小，网络有变好的趋势，故动态调小播放缓存，以尽量降低视频的时延。当然，也可以采用其它常见的方法来判断传输时延的变化情况，例如，采用前K个周期统计的传输时延进行比较判断等。为了更好的满足主观视频感受，可以通过小颗粒度的慢放和快进来分别增大和减小播放缓存。根据经验值，人眼的视觉特性在25%播放时间间隔范围内变化时，不会感觉出速度的变化，所以，优选的，快进和所述慢放速度保持在按时间戳播放速度的25%的范围内变化，即慢放的速度rslow范围为（0.75rnormal，rnormal），快放的速度rfast范围为（rnormal，1.25rnormal），rnormal为按照发送时间戳信息播放时的速度。当然，也可以根据实际情况在更大或更小的百分比范围内变化。在上述25%的调整范围内，进一步的，慢放的速度为rslow=(1-0.25pqslow)rnormal；快放的速度为rfast=(1+0.25pqfast)rnormal。其中，p为反映传输时延变化的因子，q为反映播放缓存深度的因子，考虑到缓存大小对快进慢放的影响，反映慢放缓存深度的因子为反映快放缓存深度的因子为buffer_num为当前播放缓存的大小，buffer_max为预定的最大播放缓存的大小，buffer_max的设置需要综合考虑帧率、缓存时间、存储空间等因素，缓存区过大会导致播放延时过大，影响视频播放的实时性，过小则会导致缓存的效果不明显，因而需合理设置buffer_max大小。优选的，上述快进和慢放可以细化到调整相邻两帧的播放间隔。例如，假设按照时间戳播放时相邻两帧的播放间隔为ΔTts，则进行快进慢放调整时，对于25%的调整范围，每帧调整的幅度为0.25pqΔTts。本专利技术适应于所有的视频帧，尤其适用于I帧，可以对I帧形成的较大时延进行平滑，解决由I帧的传输时延造成的视频卡顿问题，提高了视频播放的流畅性。与现有技术相比，本专利技术的优点在于：1，能够统计视频帧传输时延，根据时延信息来感知无线网络状态，进而根据实际网络状况找到最小的视频时延来达到平滑效果，实现了视频流在实时性和流畅性之间的平衡；2，采用小颗粒度慢放或快进机制，其步长由传输时延变化、缓存深度及时间戳信息动态控制，能快速调整缓存而不影响视频显示效果；3，对于嵌入式系统，通过适时调小播放缓存区，能够更好的节省设备的存储空间。附图说明图1是本专利技术实施例的接收端设备B进行解码存储的流程图；图2是本专利技术实施例的视频帧定时显示过程的流程图。具体实施方式下面结合附图，通过具体实施例对本专利技术做进一步详细说明。本实施例以无线网络下视频实时传输的I帧平滑为例，该实施例中通信设备A向通信设备B进行实时视频传输，在接收端设备B处进行处理，具体过程为：（1）通信设备A对采集编码后的码流进行打包并发送，每个包带有每帧的时间戳信息；（2）通信设备B开始进行接收，初始化播放缓存，统计每个I帧的传输时延Di，对接收到的包重排序，再进行解码，如图1所示；（3）用环形缓存来存储解码完的视频帧，刚解码完需缓存的帧从尾部进入，指针为tail，待播放的帧从环形缓存的头部输出，指针为head。一帧解码完后，先判断缓存是否已满，若满则tail指针不变，该帧无法存入，否则将该帧放入缓存，设置指向该帧的指针为tail本文档来自技高网...

【技术保护点】
一种无线网络下视频实时传输的码率平滑方法，其特征在于，该方法包括：周期性的统计视频帧的传输时延，当传输时延变小时，通过快进调小播放缓存，当传输时延变大时，通过慢放调大播放缓存，所述快进和所述慢放的调整步长由传输时延变化、播放缓存深度以及时间戳信息共同决定。

【技术特征摘要】
1.一种无线网络下视频实时传输的码率平滑方法，其特征在于，该方法包括：周期性的统计视频帧的传输时延，当传输时延变小时，通过快进调小播放缓存，当传输时延变大时，通过慢放调大播放缓存，所述快进和所述慢放的调整步长由传输时延变化、播放缓存深度以及时间戳信息共同决定；所述快进和所述慢放的速度在按时间戳播放速度的25％的范围内变化，所述慢放的速度为rslow＝(1-0.25pqslow)rnormal；所述快进的速度为rfast＝(1+0.25pqfast)rnormal；其中反映传输时延变化的因子反映慢放缓存深度的因子反映快进缓存深度的因子Dcurr为当前周期统计的传输时延，Dlast为上一个周期统计的传输时延，buffer_num为当前播放缓存大小...

【专利技术属性】
技术研发人员：许燕，徐正春，吴晓，李晓华，
申请(专利权)人：北京信威通信技术股份有限公司，北京信友达视讯技术有限公司，
类型：发明
国别省市：北京;11