音视频同步误差的确定方法、装置、电子设备和存储介质制造方法及图纸

本申请公开了一种音视频同步误差的确定方法、装置、电子设备和存储介质，涉及多媒体和直播领域中的图像处理和声音处理技术。具体实现方案为：获取直播流地址；根据直播流地址从流媒体服务器获取直播数据流的音频帧数据和视频帧数据；根据音频帧数据对应的显示时间信息和视频帧数据对应的显示时间信息，确定直播数据流中音频与视频的同步误差；或者，将音频帧数据和视频帧数据各自对应的显示时间信息进行可视化展示，以根据展示信息确定同步误差。由此，根据直播数据流的音频帧数据和视频帧数据各自对应的显示时间信息，直接计算同步误差或者根据显示时间信息展示结果确定同步误差，实现了量化展示直播数据流中音频和视频的同步误差的目的。

【技术实现步骤摘要】
音视频同步误差的确定方法、装置、电子设备和存储介质
本申请涉及计算机
，尤其涉及多媒体和直播领域中的图像处理和声音处理技术，具体涉及一种音视频同步误差的确定方法、装置、电子设备和存储介质。
技术介绍
在各大视频/游戏/电商直播平台观看直播时，经常会发现直播间内，主播的声音与动作出现不同步的情况。造成声音和动作不同步的原因是：音频帧和视频帧在播放时，其时间轴发生同步误差，因此解决不同步的问题，主要在于定位同步误差在直播数据流中的引入阶段和进行同步误差的量化。但是目前都是采用主观评估方法来判断音频和视频是否同步，无法对音频和视频的同步误差进行量化。
技术实现思路
本申请实施例提供一种音视频同步误差的确定方法、装置、电子设备和存储介质，以达到量化同步误差的目的。第一方面，本申请实施例提供了一种音视频同步误差的确定方法，包括：获取直播流地址；根据所述直播流地址从流媒体服务器获取直播数据流的音频帧数据和视频帧数据；根据所述音频帧数据对应的显示时间信息和所述视频帧数据对应的显示时间信息，确定所述直播本文档来自技高网...

【技术保护点】
1.一种音视频同步误差的确定方法，包括：/n获取直播流地址；/n根据所述直播流地址从流媒体服务器获取直播数据流的音频帧数据和视频帧数据；/n根据所述音频帧数据对应的显示时间信息和所述视频帧数据对应的显示时间信息，确定所述直播数据流中音频与视频的同步误差；或者，将所述音频帧数据对应的显示时间信息和所述视频帧数据对应的显示时间信息进行可视化展示，以根据展示信息确定所述直播数据流中音频与视频的同步误差。/n

【技术特征摘要】
1.一种音视频同步误差的确定方法，包括：
获取直播流地址；
根据所述直播流地址从流媒体服务器获取直播数据流的音频帧数据和视频帧数据；
根据所述音频帧数据对应的显示时间信息和所述视频帧数据对应的显示时间信息，确定所述直播数据流中音频与视频的同步误差；或者，将所述音频帧数据对应的显示时间信息和所述视频帧数据对应的显示时间信息进行可视化展示，以根据展示信息确定所述直播数据流中音频与视频的同步误差。


2.根据权利要求1所述的方法，其中，根据所述音频帧数据对应的显示时间信息和所述视频帧数据对应的显示时间信息，确定所述直播数据流中音频与视频的同步误差，包括：
根据所述音频帧数据和所述视频帧数据的到达顺序，对所述音频帧数据和所述视频帧数据进行配对，获得至少一个音视频帧对；
对于各音视频帧对，确定所述音视频帧对包含的音频帧数据对应的显示时间信息与视频帧数据对应的显示时间信息之间的差值，根据所述差值确定所述直播数据流中音频与视频的同步误差。


3.根据权利要求1所述的方法，其中，将所述音频帧数据对应的显示时间信息和所述视频帧数据对应的显示时间信息进行可视化展示，包括：
根据所述音频帧数据和所述视频帧数据的到达顺序，对所述音频帧数据和所述视频帧数据进行配对，获得至少一个音视频帧对；
对于各音视频帧对，将所述音视频帧对包含的音频帧数据对应的显示时间信息和视频帧数据对应的显示时间信息进行对比化展示。


4.根据权利要求3所述的方法，其中，获取直播流地址，根据所述直播流地址从流媒体服务器获取直播数据流的音频帧数据和视频帧数据，包括：
通过UI交互模块获取用户输入的直播流地址；
通过WebSocketServer模块，将所述直播流地址发送至采集任务模块；
通过所述采集任务模块基于所述直播流地址，从流媒体服务器获取直播数据流的音频帧数据和视频帧数据；和
通过UI交互模块，将各所述音视频帧对包含的音频帧数据对应的显示时间信息和视频帧数据对应的显示时间信息，进行对比化展示。


5.根据权利要求2或3所述的方法，其中，根据所述音频帧数据和所述视频帧数据的到达顺序，对所述音频帧数据和所述视频帧数据进行配对，获得至少一个音视频帧对，包括：
对于接收到的所述流媒体服务器发送的当前帧数据，若所述当前帧数据为音频帧数据，则将该音频帧数据与第一缓存单元缓存的视频帧数据进行配对；若所述当前帧数据为视频帧数据，则将该视频帧数据与第二缓存单元缓存的音频帧数据进行配对；
其中，所述第一缓存单元用于缓存最近到达的视频帧数据，所述第二缓存单元用于缓存最近到达的音频帧数据。


6.根据权利要求1-4中任一项所述的方法，其中，所述直播流地址为推流地址；所述直播数据流为推流端向所述流媒体服务器推送的直播数据流。


7.根据权利要求6所述的方法，其中，所述方法还包括：
若确定所述直播数据流中音频与视频的同步误差不为零，则确定所述同步误差的引入阶段为推流阶段。


8.根据权利要求1-4中任一项所述的方法，其中，所述直播流地址为拉流地址；所述直播数据流为拉流端从所述流媒体服务器拉取的直播数据流。


9.根据权利要求8所述的方法，其中，所述方法还包括：
若确定所述直播数据流中音频与视频的同步误差不为零，...

【专利技术属性】
技术研发人员：王伟，刘一卓，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11