一种适用于网络直播场景下的自适应低延时流媒体播放软件制造技术

本发明专利技术涉及计算机软件领域，具体涉及媒体播放。一种适用于网络直播场景下的自适应低延时流媒体播放软件，包括以下步骤：通过网络监测模块观测网络抖动，确定丢帧窗口；通过网络监测模块将丢帧窗口的信息发送给音频丢帧模块；通过音频丢帧模块根据丢帧窗口的信息判断丢帧；通过音频丢帧模块将丢帧信息发送给视频丢包模块；通过视频丢包模块进行视频丢包；视频解码。本发明专利技术通过此设计，实现根据播放器的网络波动情况自适应确定追帧阈值范围，在保证低延时的同时尽量平衡网络卡顿；音频播放根据追帧阈值范围进行丢帧处理，视频同步在解码前丢包，避免低延时追帧由于视频解码慢可能出现的卡顿现象。

An adaptive low latency streaming media player for webcast applications

The invention relates to the field of computer software, in particular to media playing. An adaptive low delay streaming media playback software suitable for network live broadcast scenarios includes the following steps: observing network jitter through network monitoring module to determine the lost frame window; transmitting the lost frame information to the audio frame loss module through network monitoring module; and transmitting the lost frame information to the audio frame loss module according to the lost frame information through the audio frame loss module. Judging frame loss; sending frame loss information to video packet loss module through audio frame loss module; video packet loss module through video packet loss module; video decoding. By this design, the frame-tracking threshold range can be adaptively determined according to the network fluctuation of the player, and the network card can be balanced as much as possible while ensuring the low delay; the audio player can lose the frame according to the frame-tracking threshold range, and the video synchronization can lose the packet before decoding, thus avoiding the possibility of low delay frame-tracking due to the slow video decoding speed. The phenomenon of carton appeared.

【技术实现步骤摘要】
一种适用于网络直播场景下的自适应低延时流媒体播放软件
本专利技术涉及计算机软件领域，具体地，涉及媒体播放。
技术介绍
直播是一种实时性、互动性显著的以互联网传播内容的形式。直播场景下由于播放的是实时流，因此会同时存在延时和卡顿的问题，卡顿和延时彼此影响，又相互矛盾，究其原因还是由于实时流在播放过程中网络线路上的抖动引起的，通常播放延时可以通过追帧的方法来解决，但这样做在网络条件不好的情况下又会造成较明显的卡顿，既影响用户体验，又可能加重播放端延时。
技术实现思路
本专利技术的目的是提供一种适用于网络直播场景下的自适应低延时流媒体播放软件，以解决上述至少一个技术问题。为了达到上述目的，本专利技术采用下述技术方案：一种适用于网络直播场景下的自适应低延时流媒体播放软件，其特征在于，包括以下步骤：步骤一，通过网络监测模块观测网络抖动，确定丢帧窗口；步骤二，通过网络监测模块将丢帧窗口的信息发送给音频丢帧模块；步骤三，通过音频丢帧模块根据丢帧窗口的信息判断丢帧；步骤四，通过音频丢帧模块将丢帧信息发送给视频丢包模块；步骤五，通过视频丢包模块进行视频丢包；步骤六，视频解码。步骤一中的网络监测模块在观测网络抖动时，处理过程包括：（1）定义N组滑动窗口；（2）记录各组滑动窗口的抖动值；（3）观测各组滑动窗口的网络稳定情况；（4）确定网络稳定的窗口大小；（5）确定丢帧触发条件。步骤一中的网络监测模块在观测网络抖动时，处理过程包括：（1）定义X组离散滑动窗口：X组中第N组滑动窗口大小分别为((N+2)/2)s，N取自1~X中的自然数，窗口的滑动时间间隔为1秒；（2）滑动窗口抖动值，即SlidingWindowJitter，单位为秒：其中，M为滑动窗口内接受到的音频帧个数TOAi+1为滑动窗口内第i+1帧音频帧数据的到达时间TOAi为滑动窗口内第i帧音频帧数据的到达时间PTSi+1为滑动窗口内第i+1帧音频帧数据的播放时间戳PTSi为滑动窗口内第i帧音频帧数据的播放时间戳（3）滑动窗口稳定的条件：第N组滑动窗口稳定的判断条件：其中，W为窗口按照滑动时间间隔连续滑动的次数（4）确定网络稳定的窗口大小：随着N组窗口的向前滑动进行网络情况观测，每次都从第1组滑动窗口开始观察，如果第N个滑动窗口满足上述滑动窗口稳定的条件，则认为网络在第N个窗口下稳定，网络稳定的窗口大小为((N+2)/2)s；（5）确定丢帧的触发条件：音频缓冲数据的丢帧阈值范围为[(N+2)/2,N+2]，单位为秒，即播放器音频缓冲数据累积达到(N+2)秒时，开始从前面丢帧，一直丢到剩下(N+2)/2秒缓冲数据为止。步骤三中的音频丢帧模块工作步骤包括：（1）准备音频丢帧；（2）判断音频数据缓冲时长>(N+2)s；（3）判断音频数据缓冲时长丢至((N+2)/2)s的时刻附近是否有视频关键帧；（4）开始音频丢帧，使音频数据缓冲时长丢至((N+2)/2)s。第（2）步中判断音频数据缓冲时长>(N+2)s，若是则进入步骤（3），若否则回至步骤（1）。第（3）步中判断音频数据缓冲时长丢至((N+2)/2)s的时刻附近是否有视频关键帧，若是则进入步骤（4），若否则回至步骤（1）。步骤五中的视频丢包模块工作步骤包括：（1）准备视频解码前丢包；（2）判断视频包是否是关键帧，若是则进行正常解码，若否则进入下一步骤；（3）判断该视频包是否靠近音频丢帧后的时刻，若是则进入下一步骤，若否则开始视频丢包，丢掉从该视频包开始的非关键帧；（4）停止视频解码前丢包。第（2）步中，在视频包正常解码后回至第（1）步继续处理。第（3）步中，开始视频丢包，丢掉从该视频包开始的非关键帧后，回至第（1）步继续处理。本专利技术通过此设计，实现根据播放器的网络波动情况自适应确定追帧阈值范围，在保证低延时的同时尽量平衡网络卡顿；音频播放根据追帧阈值范围进行丢帧处理，视频同步在解码前丢包，避免低延时追帧由于视频解码慢可能出现的卡顿现象。附图说明图1为本专利技术的音频丢帧模块的工作流程图；图2为本专利技术的视频丢包模块的工作流程图。具体实施方式以下结合附图对本专利技术的具体实施方式作进一步地说明。如图1和图2所示，一种适用于网络直播场景下的自适应低延时流媒体播放软件，包括以下步骤：步骤一，通过网络监测模块观测网络抖动，确定丢帧窗口；步骤二，通过网络监测模块将丢帧窗口的信息发送给音频丢帧模块；步骤三，通过音频丢帧模块根据丢帧窗口的信息判断丢帧；步骤四，通过音频丢帧模块将丢帧信息发送给视频丢包模块；步骤五，通过视频丢包模块进行视频丢包；步骤六，视频解码。通过网络监测模块观测网络抖动，确定丢帧窗口，将丢帧窗口的信息发送给音频丢帧模块，通过音频丢帧模块根据丢帧窗口的信息判断是否丢帧，确定丢帧后，通过音频丢帧模块将丢帧信息发送给视频丢包模块，通过视频丢包模块进行视频丢包，再进行视频解码。本专利技术通过此设计，实现根据播放器的网络波动情况自适应确定追帧阈值范围，在保证低延时的同时尽量平衡网络卡顿；音频播放根据追帧阈值范围进行丢帧处理，视频同步在解码前丢包，避免低延时追帧由于视频解码慢可能出现的卡顿现象。一种适用于网络直播场景下的自适应低延时流媒体播放软件包括三个模块，三个模块分别为网络监测模块、音频丢帧模块、视频丢包模块。本专利技术的播放流呈通过接收实时流数据，对网络数据解包，分别对音频码流数据、视频码流数据进行解码与采样，再达到音、视频同步播放的效果。步骤一中的网络监测模块在观测网络抖动时，处理过程包括：（1）定义N组滑动窗口；（2）记录各组滑动窗口的抖动值；（3）观测各组滑动窗口的网络稳定情况；（4）确定网络稳定的窗口大小；（5）确定丢帧触发条件。例如，步骤一中的网络监测模块在观测网络抖动时，处理过程包括：（1）定义X组（X=13）离散滑动窗口：13组中第N组滑动窗口大小分别为((N+2)/2)s，N取自1~13中的自然数，窗口的滑动时间间隔为1秒；（2）滑动窗口抖动值，即SlidingWindowJitter，单位为秒：其中，M为滑动窗口内接受到的音频帧个数TOAi+1为滑动窗口内第i+1帧音频帧数据的到达时间TOAi为滑动窗口内第i帧音频帧数据的到达时间PTSi+1为滑动窗口内第i+1帧音频帧数据的播放时间戳PTSi为滑动窗口内第i帧音频帧数据的播放时间戳（3）滑动窗口稳定的条件：第N组滑动窗口稳定的判断条件：其中，W为窗口按照滑动时间间隔连续滑动的次数（4）确定网络稳定的窗口大小：随着N组窗口的向前滑动进行网络情况观测，每次都从第1组滑动窗口开始观察，如果第N个滑动窗口满足上述滑动窗口稳定的条件，则认为网络在第N个窗口下稳定，网络稳定的窗口大小为((N+2)/2)s，如果观察发现最大窗口(N=13)也无法满足稳定条件，则姑且认为网络在最大窗口下稳定，网络稳定的窗口大小为7.5s；（5）确定丢帧的触发条件：音频缓冲数据的丢帧阈值范围为[(N+2)/2,N+2]，单位为秒，即播放器音频缓冲数据累积达到(N+2)秒时，开始从前面丢帧，一直丢到剩下(N+2)/2秒缓冲数据为止。步骤三中的音频丢帧模块工作步骤包括：（1）准备音频丢帧；（2）判断音频数据缓冲时长>(N+2)s；（3）判断音频数据缓冲时长丢至((N+2)本文档来自技高网...

【技术保护点】
1.一种适用于网络直播场景下的自适应低延时流媒体播放软件，其特征在于，包括以下步骤：步骤一，通过网络监测模块观测网络抖动，确定丢帧窗口；步骤二，通过网络监测模块将丢帧窗口的信息发送给音频丢帧模块；步骤三，通过音频丢帧模块根据丢帧窗口的信息判断丢帧；步骤四，通过音频丢帧模块将丢帧信息发送给视频丢包模块；步骤五，通过视频丢包模块进行视频丢包；步骤六，视频解码。

【技术特征摘要】
1.一种适用于网络直播场景下的自适应低延时流媒体播放软件，其特征在于，包括以下步骤：步骤一，通过网络监测模块观测网络抖动，确定丢帧窗口；步骤二，通过网络监测模块将丢帧窗口的信息发送给音频丢帧模块；步骤三，通过音频丢帧模块根据丢帧窗口的信息判断丢帧；步骤四，通过音频丢帧模块将丢帧信息发送给视频丢包模块；步骤五，通过视频丢包模块进行视频丢包；步骤六，视频解码。2.如权利要求1的一种适用于网络直播场景下的自适应低延时流媒体播放软件，其特征在于，步骤一中的网络监测模块在观测网络抖动时，处理过程包括：（1）定义N组滑动窗口；（2）记录各组滑动窗口的抖动值；（3）观测各组滑动窗口的网络稳定情况；（4）确定网络稳定的窗口大小；（5）确定丢帧触发条件。3.如权利要求1或2的一种适用于网络直播场景下的自适应低延时流媒体播放软件，其特征在于，步骤一中的网络监测模块在观测网络抖动时，处理过程包括：（1）定义X组离散滑动窗口：X组中第N组滑动窗口大小分别为((N+2)/2)s，N取自1~X中的自然数，窗口的滑动时间间隔为1秒；（2）滑动窗口抖动值，即SlidingWindowJitter，单位为秒：其中，M为滑动窗口内接受到的音频帧个数TOAi+1为滑动窗口内第i+1帧音频帧数据的到达时间TOAi为滑动窗口内第i帧音频帧数据的到达时间PTSi+1为滑动窗口内第i+1帧音频帧数据的播放时间戳PTSi为滑动窗口内第i帧音频帧数据的播放时间戳（3）滑动窗口稳定的条件：第N组滑动窗口稳定的判断条件：其中，W为窗口按照滑动时间间隔连续滑动的次数（4）确定网络稳定的窗口大小：随着N组窗口的向前滑动进行网络情况观测，每次都从第1组滑动窗口开始观察，如果第N个滑动窗口满足上述滑动窗口稳定的条件，则认为网络在第N个窗口下稳定，网络稳定的窗口大小为((N+2)/2)s；（5）确定丢帧的触发条...

【专利技术属性】
技术研发人员：王健，
申请(专利权)人：王健，
类型：发明
国别省市：上海,31