音视频直播追流方法及装置制造方法及图纸

本申请实施例提供一种音视频直播追流方法及装置，应用于直播用户端，方法包括：接收待解码视频包，对待解码视频包进行解码以获取待播放视频帧和待播放音频帧；根据待解码视频包的数量和直播用户端的上层传递的参数计算出第一音频帧播放速度；判断直播用户端中当前播放音频帧的播放速度是否等于第一音频帧播放速度，若当前播放音频帧的播放速度不等于第一音频帧播放速度，则将当前播放音频帧的播放速度设置为与第一音频帧播放速度一致；基于直播用户端中当前播放视频帧的时间参数和当前播放音频帧的时间参数计算出第一间隔时间；等待第一间隔时间后对待播放视频帧进行渲染。如此，本申请提供实时性高、更流畅的音视频直播。

Audio-Video Live Broadcasting Tracking Method and Device

The embodiment of this application provides an audio-video live broadcasting method and device, which is applied to the live broadcasting client. The method includes: receiving the decoded video packet, decoding the decoded video packet to obtain the video frame to be played and the audio frame to be played; calculating the playback speed of the first audio frame according to the number of video packets to be decoded and the parameters transmitted by the upper layer of the live broadcasting user; Whether the playback speed of the current playback audio frame in the client is equal to the playback speed of the first audio frame or not, if the playback speed of the current playback audio frame is not equal to the playback speed of the first audio frame, the playback speed of the current playback audio frame is set to be the same as the playback speed of the first audio frame; based on the time parameters of the current playback video frame in the live user and the time of the current playback audio frame The first interval time is calculated by the interval parameters, and the video frames are rendered after waiting for the first interval time. In this way, the application provides live audio and video broadcasting with high real-time performance and smoother performance.

【技术实现步骤摘要】
音视频直播追流方法及装置
本申请涉及直播
，具体而言，涉及一种音视频直播追流方法及装置。
技术介绍
随着信息技术的迅速发展，直播技术与各行各业不断融合，受到了越来越多人的喜好，在一定程度上带动了经济发展。直播具有实时性，然而在目前的直播技术中，存在直播不流畅、实时性低的问题。如何提升直播的实时性有待解决。
技术实现思路
有鉴于此，本申请实施例提供了一种音视频直播追流方法及装置。本申请实施例采用的技术方案如下：第一方面，本申请实施例提供了一种音视频直播追流方法，应用于直播用户端，所述方法包括：接收待解码视频包，对所述待解码视频包进行解码以获取待播放视频帧和待播放音频帧。根据所述待解码视频包的数量和所述直播用户端的上层传递的参数计算出第一音频帧播放速度。获取所述直播用户端中当前播放音频帧的播放速度。判断所述当前播放音频帧的播放速度是否等于所述第一音频帧播放速度，若所述当前播放音频帧的播放速度不等于所述第一音频帧播放速度，则将所述当前播放音频帧的播放速度设置为与所述第一音频帧播放速度一致。获取所述直播用户端中的当前播放音频帧的时间参数和当前播放视频帧的时间参数，基于所述当前播放视频帧的时间参数和所述当前播放音频帧的时间参数计算出第一间隔时间。等待所述第一间隔时间后对所述待播放视频帧进行渲染。可选地，根据所述待解码视频包的数量和所述直播用户端的上层传递的参数计算出第一音频帧播放速度的步骤，包括：获取所述直播用户端中上层传递的直播类型参数、速度调节系数和单位时间内实时传输的视频帧数，对所述待解码视频包的数量、所述单位时间内实时传输的视频帧数、所述直播类型参数和所述速度调节系数进行运算，获得音频修正率。根据所述直播用户端存储的各音频修正率与各音频帧播放速度的映射关系，得到与所获得的音频修正率对应的音频速度作为第一音频帧播放速度。可选地，对所述待解码视频包的数量、所述单位时间内实时传输的视频帧数、所述直播类型参数和所述速度调节系数进行运算，获得音频修正率的步骤，包括：采用第一函数对所述待解码视频包的数量、所述直播类型参数、所述单位时间内实时传输的视频帧数和所述速度调节系数进行运算，获得音频修正率。所述第一函数为：其中，f为所述音频修正率，n为所述待解码视频包的数量，λ为所述速度调节系数，Fps为所述单位时间内实时传输的视频帧数，Type为所述直播类型参数。可选地，将所述当前播放音频帧的播放速度设置为与所述第一音频帧播放速度一致的步骤，包括：若采用重采样方式将所述当前播放音频帧的播放速度设置为与所述第一音频帧播放速度一致，则改变对所述待播放音频帧采样的采样频率，以将所述当前播放音频帧的播放速度设置为与所述第一音频帧播放速度一致。若不采用重采样方式将所述当前播放音频帧的播放速度设置为与所述第一音频帧播放速度一致，则采用所述直播用户端自带的系统调速方式将所述当前播放音频帧的播放速度提与所述第一音频帧播放速度一致。可选地，获取所述直播用户端中的当前播放音频帧的时间参数和当前播放视频帧的时间参数，基于所述当前播放视频帧的时间参数和所述当前播放音频帧的时间参数计算出第一间隔时间的步骤，包括：获取所述当前播放视频帧的第一时钟和所述直播用户端中当前播放音频帧的第二时钟，基于所述第一时钟和所述第二时钟计算出第一间隔时间。可选地，基于所述第一时钟和所述第二时钟计算出第一间隔时间的步骤，包括；采用第二函数对所述单位时间内实时传输的视频帧数、所述第一时钟和所述第二时钟进行运算处理，计算出第一间隔时间。所述第二函数为：diff＝t1-t2其中，delay为所述第一间隔时间，Fps为所述单位时间内实时传输的视频帧数，t1为所述第一时钟，t2为所述第二时钟，diff为所述第一时钟t1和所述第二时钟t2的差值。可选地，在根据所述待解码视频包的数量和所述直播用户端的上层传递的参数计算出第一音频帧播放速度之前，所述方法还包括：判断是否需要对述待播放视频帧进行丢弃处理。若不需要对述待播放视频帧进行丢弃处理，则根据所述待解码视频包的数量和所述直播用户端的上层参数计算出第一音频帧播放速度。若需要对述待播放视频帧进行丢弃处理，则进行视频帧丢弃处理。可选地，进行视频帧丢弃处理的步骤，包括：判断所述待播放视频帧的帧数是否大于1。若解码后的视频包中所述待播放视频帧的帧数大于1，则获取所述待播放视频帧的时间戳和所述直播用户端中当前播放音频帧的时间戳，将所述待播放视频帧的时间戳落后于所述当前播放音频帧的时间戳的所述待播放视频帧丢弃。若解码后的视频包中所述待播放视频帧的帧数不大于1，则结束丢弃所述待播放视频帧。可选地，等待所述第一间隔时间后对所述待播放视频帧进行渲染之后，所述方法还包括，播放渲染后的所述待播放视频帧。第二方面，本申请实施例还提供了一种音视频直播追流装置，所述音视频直播追流装置包括接收模块、解码模块、第一处理模块、第二处理模块、第三处理模块和渲染模块。所述接收模块用于接收待解码视频包。所述解码模块用于对所述待解码视频包进行解码以获取待播放视频帧和待播放音频帧。所述第一处理模块用于根据所述待解码视频包的数量和所述直播用户端的上层传递的参数计算出第一音频帧播放速度。所述第二处理模块用于获取所述直播用户端中当前播放音频帧的播放速度，并判断所述当前播放音频帧的播放速度是否等于所述第一音频帧播放速度，若所述当前播放音频帧的播放速度不等于所述第一音频帧播放速度，则所述第二处理模块将所述当前播放音频帧的播放速度设置为与所述第一音频帧播放速度一致。所述第三处理模块用于获取所述当前播放音频帧的时间参数和所述直播用户端中当前播放视频帧的时间参数，并基于所述当前播放视频帧的时间参数和所述当前播放音频帧的时间参数计算出第一间隔时间。所述渲染模块用于等待所述第一间隔时间后对所述待播放视频帧进行渲染。本申请实施例提供一种音视频直播追流方法及装置，通过对待解码视频包进行解码以获取待播放视频帧和待播放音频帧，根据待解码视频包的数量和直播用户端的上层传递的参数计算出第一音频帧播放速度。在当前播放音频帧的播放速度不等于第一音频帧播放速度时，则将当前播放音频帧的播放速度设置为与第一音频帧播放速度一致。再基于直播用户端中当前播放视频帧的时间参数和当前播放音频帧的时间参数计算出第一间隔时间，等待第一间隔时间后对待播放视频帧进行渲染，以实时改变当前播放音频帧的播放速度，实现直播追流，使得直播中的音视频更为流畅，实时性更高，给直播观看者良好的观影感受。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。图1为本申请实施例提供的一种音视频直播追流方法的流程示意图。图2为本申请实施例提供的另一种音视频直播追流方法的流程示意图。图3为本申请实施例提供的又一种音视频直播追流方法的流程示意图。图4为本申请实施例提供的一种音视频直播追流装置的功能模块示意图之。图标：100-音视频直播追流装置；10-接收模块；20-解码模块；31-第一处理模块；32-第二处理模块；33-第三处理模块；40-本文档来自技高网...

【技术保护点】
1.一种音视频直播追流方法，应用于直播用户端，其特征在于，所述方法包括：接收待解码视频包，对所述待解码视频包进行解码以获取待播放视频帧和待播放音频帧；根据所述待解码视频包的数量和所述直播用户端的上层传递的参数计算出第一音频帧播放速度；获取所述直播用户端中当前播放音频帧的播放速度；判断所述当前播放音频帧的播放速度是否等于所述第一音频帧播放速度，若所述当前播放音频帧的播放速度不等于所述第一音频帧播放速度，则将所述当前播放音频帧的播放速度设置为与所述第一音频帧播放速度一致；获取所述直播用户端中的当前播放音频帧的时间参数和当前播放视频帧的时间参数，基于所述当前播放视频帧的时间参数和所述当前播放音频帧的时间参数计算出第一间隔时间；等待所述第一间隔时间后对所述待播放视频帧进行渲染。

【技术特征摘要】
1.一种音视频直播追流方法，应用于直播用户端，其特征在于，所述方法包括：接收待解码视频包，对所述待解码视频包进行解码以获取待播放视频帧和待播放音频帧；根据所述待解码视频包的数量和所述直播用户端的上层传递的参数计算出第一音频帧播放速度；获取所述直播用户端中当前播放音频帧的播放速度；判断所述当前播放音频帧的播放速度是否等于所述第一音频帧播放速度，若所述当前播放音频帧的播放速度不等于所述第一音频帧播放速度，则将所述当前播放音频帧的播放速度设置为与所述第一音频帧播放速度一致；获取所述直播用户端中的当前播放音频帧的时间参数和当前播放视频帧的时间参数，基于所述当前播放视频帧的时间参数和所述当前播放音频帧的时间参数计算出第一间隔时间；等待所述第一间隔时间后对所述待播放视频帧进行渲染。2.根据权利要求1所述音视频直播追流方法，其特征在于，根据所述待解码视频包的数量和所述直播用户端的上层传递的参数计算出第一音频帧播放速度的步骤，包括：获取所述直播用户端中上层传递的直播类型参数、速度调节系数和单位时间内实时传输的视频帧数，对所述待解码视频包的数量、所述单位时间内实时传输的视频帧数、所述直播类型参数和所述速度调节系数进行运算，获得音频修正率；根据所述直播用户端存储的各音频修正率与各音频帧播放速度的映射关系，得到与所获得的音频修正率对应的音频速度作为第一音频帧播放速度。3.根据权利要求2所述音视频直播追流方法，其特征在于，对所述待解码视频包的数量、所述单位时间内实时传输的视频帧数、所述直播类型参数和所述速度调节系数进行运算，获得音频修正率的步骤，包括：采用第一函数对所述待解码视频包的数量、所述直播类型参数、所述单位时间内实时传输的视频帧数和所述速度调节系数进行运算，获得音频修正率；所述第一函数为：其中，f为所述音频修正率，n为所述待解码视频包的数量，λ为所述速度调节系数，Fps为所述单位时间内实时传输的视频帧数，Type为所述直播类型参数。4.根据权利要求1所述音视频直播追流方法，其特征在于，将所述当前播放音频帧的播放速度设置为与所述第一音频帧播放速度一致的步骤，包括：若采用重采样方式将所述当前播放音频帧的播放速度设置为与所述第一音频帧播放速度一致，则改变对所述待播放音频帧采样的采样频率，以将所述当前播放音频帧的播放速度设置为与所述第一音频帧播放速度一致；若不采用重采样方式将所述当前播放音频帧的播放速度设置为与所述第一音频帧播放速度一致，则采用所述直播用户端自带的系统调速方式将所述当前播放音频帧的播放速度提与所述第一音频帧播放速度一致。5.根据权利要求2所述音视频直播追流方法，其特征在于，获取所述直播用户端中的当前播放音频帧的时间参数和当前播放视频帧的时间参数，基于所述当前播放视频帧的时间参数和所述当前播放音频帧的时间参数计算出第一间隔时间...

【专利技术属性】
技术研发人员：刘海波，甘岱杉，刘朝晖，
申请(专利权)人：深圳市云威物联科技有限公司，
类型：发明
国别省市：广东,44