校正流媒体音视频同步的方法及装置制造方法及图纸

本发明专利技术公开了一种校正流媒体音视频同步的方法及装置，该装置包括：同步检测模块，用于实时检测流媒体的音频和视频是否同步；第一判断模块，用于在音频和视频不同步时，判断视频的图像解码时常是否大于图像显示时常；数据获取模块，用于获取视频的视频源帧率、实际播放帧率以及移动终端的解码性能和渲染性能；参考帧率评估模块，用于根据解码性能和渲染性能评估视频的参考帧率；丢帧间隔计算模块，用于根据视频源帧率、实际播放帧率及参考帧率计算丢帧间隔；丢帧控制模块，用于按照丢帧间隔丢弃视频中的B帧。与现有技术相比，本发明专利技术实现了以一定的间隔丢弃视频中的B帧来进行音、视频的同步调整，保证了音频和视频同步播放，提高了用户收看体验。

Method and apparatus for correcting streaming media audio and video synchronization

The invention discloses a method for correction of streaming audio and video synchronization method and device, the device comprises a synchronous detection module for audio and video streaming media real-time synchronization; a first judging module used in audio and video synchronization, video image decoding judgment often is greater than the image display frequently; data acquisition module for obtaining video frame rate, video source actual broadcast frame rate and mobile terminal decoding performance and rendering performance; reference frame rate evaluation module, according to the decoding performance and rendering performance evaluation reference video frame rate; frame interval calculation module, according to the actual frame rate, video source broadcast frame rate and reference frame interval frame rate calculation; frame control module, according to frame in the video frame discard B interval. Compared with the prior art, the invention realizes the synchronous adjustment of the audio and video in a certain interval of the B frame in the video, and ensures the synchronization of audio and video playback, and improves the user's viewing experience.

【技术实现步骤摘要】

本专利技术涉及移动通信
，尤其涉及一种校正流媒体音视频同步的方法及装置。
技术介绍
在移动互联网时代，随着智能终端的推广和普及，用户不断追求高品质的音视体验，高压缩比、高码率、高分辨率、多声道、无损音源渐渐成为标配，人们对多媒体的音源的无损和视频画面的质量要求越来越高。网络视频点播(Video-on-demand，简称为VOD)和直播已成为人们生活中休闲娱乐的一部分，根据用户的需要播放相应的视频节目，从根本上改变了用户过去被动式看电视的不足，可以随时直接点播希望收看的视频内容。其中，视频点播(VOD)的实现过程为：当用户发出点播请求时，流媒体服务系统根据点播请求，将存放在片源库中的节目信息检索出来，以视频和音频流文件的形式通过高速传输网络传送到用户终端。在线视频流媒体片源库提供商提供了不同文件类型、编码类型的视频源，以及相同编码类型不同level、不同profile的视频源，以满足用户对音视频源需求的多样性。然而，受到服务器带宽、网络传输性能、终端硬件性能等因素的制约，VOD在终端上播放时，视频难以达到源文件所要求的FPS(视频播放帧率)，在播放过程中会出现跳帧现象，表现为图像显示不连贯；甚至出现音视频不同步，如音频滞后视频或音频领先于视频，严重影响了用户收看体验。因此，有必要提供一种校正流媒体音视频同步的方法及装置来解决上述技术问题。
技术实现思路
本专利技术的主要目的在于提出一种校正流媒体音视频同步的方法及装置，旨在解决现有技术中流媒体播放过程中音频和视频不同步、影响用户收看体验的问题。为实现上述目的，本专利技术提供一种校正流媒体音视频同步的装置，应用于移动终端，所述装置包括：同步检测模块，用于在流媒体播放过程中，实时检测所述流媒体的音频和视频是否同步；第一判断模块，用于在所述音频和所述视频不同步时，判断所述视频的图像解码时常是否大于图像显示时常；数据获取模块，用于在所述第一判断模块的判断结果为是时，获取所述视频的视频源帧率、实际播放帧率以及所述移动终端的解码性能和渲染性能；参考帧率评估模块，用于根据所述解码性能和所述渲染性能评估所述视频的参考帧率；丢帧间隔计算模块，用于根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔；丢帧控制模块，用于按照所述丢帧间隔丢弃所述视频中的B帧。进一步地，所述丢帧间隔计算模块包括：待设置帧率计算单元，用于根据所述实际播放帧率和所述参考帧率计算待设置帧率；丢帧间隔计算单元，用于根据所述视频源帧率和所述待设置帧率计算丢帧间隔，所述丢帧间隔的计算公式为Ti＝1000/(Fs–Fset)，其中所述Fs为视频源帧率，所述Fset为待设置帧率，所述Ti为丢帧间隔。进一步地，所述待设置帧率计算单元具体用于：实时判断所述实际播放帧率是否大于等于待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率，其中所述待设置帧率的初始化值为零；若所述实际播放帧率大于或等于所述待设置帧率，则将所述待设置帧率的取值加1，并重复所述实时判断所述实际播放帧率是否大于等于所述待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤，若所述实际播放帧率小于所述待设置帧率，则执行判断所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤；若所述实际播放帧率与预设值之和小于或等于所述参考帧率，则将所述待设置帧率的取值减1，并重复所述实时判断所述实际播放帧率是否大于等于所述待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤；当所述实际播放帧率与预设值之和大于所述参考帧率时，将当前时刻的所述实际播放帧率和所述参考帧率的平均值作为所述待设置帧率。进一步地，所述校正流媒体音视频同步的装置还包括：网络拥塞控制模块，用于在按照所述丢帧间隔丢弃所述视频中的B帧之后检测到所述音频和所述视频不同步时，检测当前网络是否拥塞，并在当前网络拥塞时，由当前的视频帧跳至下一个I帧；渲染控制模块，用于在当前的视频帧跳至下一个I帧后检测到所述音频和所述视频不同步时，检测所述移动终端是否采用硬件解码，并在所述移动终端采用硬件解码时，跳过渲染当前的视频帧。进一步地，所述同步检测模块具体用于：实时获取当前时刻的音频帧时间和视频帧时间；判断所述音频帧时间与所述视频帧时间的差值的绝对值是否不小于两个视频帧的显示时长；若判断结果为是，则判定所述音频和所述视频不同步。相较于现有技术，本专利技术所提出的校正流媒体音视频同步的装置在流媒体播放过程中，当检测到音频和视频不同步且视频的图像解码时常大于图像显示时常时，获取所述视频的视频源帧率、实际播放帧率以及所述移动终端的解码性能和渲染性能，然后根据所述解码性能和所述渲染性能评估所述视频的参考帧率，最后根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔，并按照所述丢帧间隔丢弃所述视频中的B帧，从而实现了以一定的间隔丢弃视频中的B帧来进行音视和视频的同步调整，保证了音频和视频同步播放，提高了用户收看体验。此外，为实现上述目的，本专利技术还提供一种校正流媒体音视频同步的方法，应用于移动终端，所述方法包括以下步骤：流媒体播放过程中，实时检测所述流媒体的音频和视频是否同步；若所述音频和所述视频不同步，则判断所述视频的图像解码时常是否大于图像显示时常；若判断结果为是，则获取所述视频的视频源帧率、实际播放帧率以及所述移动终端的解码性能和渲染性能；根据所述解码性能和所述渲染性能评估所述视频的参考帧率；根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔，并按照所述丢帧间隔丢弃所述视频中的B帧。进一步地，所述根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔的步骤包括：根据所述实际播放帧率和所述参考帧率计算待设置帧率；根据所述视频源帧率和所述待设置帧率计算丢帧间隔，所述丢帧间隔的计算公式为Ti＝1000/(Fs–Fset)，其中所述Fs为视频源帧率，所述Fset为待设置帧率，所述Ti为丢帧间隔。进一步地，所述实际播放帧率和所述参考帧率是实时变化的，所述根据所述实际播放帧率和所述参考帧率计算待设置帧率的步骤包括：实时判断所述实际播放帧率是否大于等于待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率，其中所述待设置帧率的初始化值为零；若所述实际播放帧率大于或等于所述待设置帧率，则将所述待设置帧率的取值加1，并重复所述实时判断所述实际播放帧率是否大于等于所述待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤，若所述实际播放帧率小于所述待设置帧率，则执行判断所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤；若所述实际播放帧率与预设值之和小于或等于所述参考帧率，则将所述待设置帧率的取值减1，并重复所述实时判断所述实际播放帧率是否大于等于所述待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤；当所述实际播放帧率与预设值之和大于所述参考帧率时，将当前时刻的所述实际播放帧率和所述参考帧率的平均值作为所述待设置帧率。进一步地，所述按照所述丢帧间隔丢弃所述视频中的B帧的步骤之后还包括：判断所述音频和所述视频是否同步；若所述音频和所述视频不同步，则检测当前网络是否拥塞，并在当前本文档来自技高网...

【技术保护点】
一种校正流媒体音视频同步的装置，应用于移动终端，其特征在于，所述装置包括：同步检测模块，用于在流媒体播放过程中，实时检测所述流媒体的音频和视频是否同步；第一判断模块，用于在所述音频和所述视频不同步时，判断所述视频的图像解码时常是否大于图像显示时常；数据获取模块，用于在所述第一判断模块的判断结果为是时，获取所述视频的视频源帧率、实际播放帧率以及所述移动终端的解码性能和渲染性能；参考帧率评估模块，用于根据所述解码性能和所述渲染性能评估所述视频的参考帧率；丢帧间隔计算模块，用于根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔；丢帧控制模块，用于按照所述丢帧间隔丢弃所述视频中的B帧。

【技术特征摘要】
1.一种校正流媒体音视频同步的装置，应用于移动终端，其特征在于，所述装置包括：同步检测模块，用于在流媒体播放过程中，实时检测所述流媒体的音频和视频是否同步；第一判断模块，用于在所述音频和所述视频不同步时，判断所述视频的图像解码时常是否大于图像显示时常；数据获取模块，用于在所述第一判断模块的判断结果为是时，获取所述视频的视频源帧率、实际播放帧率以及所述移动终端的解码性能和渲染性能；参考帧率评估模块，用于根据所述解码性能和所述渲染性能评估所述视频的参考帧率；丢帧间隔计算模块，用于根据所述视频源帧率、实际播放帧率以及所述参考帧率计算丢帧间隔；丢帧控制模块，用于按照所述丢帧间隔丢弃所述视频中的B帧。2.如权利要求1所述的校正流媒体音视频同步的装置，其特征在于，所述丢帧间隔计算模块包括：待设置帧率计算单元，用于根据所述实际播放帧率和所述参考帧率计算待设置帧率；丢帧间隔计算单元，用于根据所述视频源帧率和所述待设置帧率计算丢帧间隔，所述丢帧间隔的计算公式为Ti＝1000/(Fs–Fset)，其中所述Fs为视频源帧率，所述Fset为待设置帧率，所述Ti为丢帧间隔。3.如权利要求2所述的校正流媒体音视频同步的装置，其特征在于，所述待设置帧率计算单元具体用于：实时判断所述实际播放帧率是否大于等于待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率，其中所述待设置帧率的初始化值为零；若所述实际播放帧率大于或等于所述待设置帧率，则将所述待设置帧率的取值加1，并重复所述实时判断所述实际播放帧率是否大于等于所述待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤，若所述实际播放帧率小于所述待设置帧率，则执行判断所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤；若所述实际播放帧率与预设值之和小于或等于所述参考帧率，则将所述待设置帧率的取值减1，并重复所述实时判断所述实际播放帧率是否大于等于所述待设置帧率、以及所述实际播放帧率与预设值之和是否小于等于所述参考帧率的步骤；当所述实际播放帧率与预设值之和大于所述参考帧率时，将当前时刻的所述实际播放帧率和所述参考帧率的平均值作为所述待设置帧率。4.如权利要求1所述的校正流媒体音视频同步的装置，其特征在于，还包括：网络拥塞控制模块，用于在按照所述丢帧间隔丢弃所述视频中的B帧之后检测到所述音频和所述视频不同步时，检测当前网络是否拥塞，并在当前网络拥塞时，由当前的视频帧跳至下一个I帧；渲染控制模块，用于在当前的视频帧跳至下一个I帧后检测到所述音频和所述视频不同步时，检测所述移动终端是否采用硬件解码，并在所述移动终端采用硬件解码时，跳过渲染当前的视频帧。5.如权利要求1至4任一项所述的校正流媒体音视频同步的装置，其特征在于，所述同步检测模块具体用于：实时获取当前时刻的音频帧时间和视频帧时间；判断所述音频帧时间与所述视频帧时间的差值的绝对值是否不小于两个视频帧的显示时长；若判断结果为是，则判定所述音频和所述...

【专利技术属性】
技术研发人员：马子平，
申请(专利权)人：努比亚技术有限公司，
类型：发明
国别省市：广东;44