音视频同步的检测方法和装置、存储介质及电子设备制造方法及图纸

本发明专利技术公开了一种音视频同步的检测方法和装置、存储介质及电子设备。其中，该方法包括：接收音频流和视频流，其中，音频流为基于时间顺序构建的音频数据包序列，视频流为基于时间顺序构建的视频数据包序列；在从视频流中确定出当前待播放的目标视频数据包的情况下，提取目标视频数据包中携带的参考音频参数，其中，参考音频参数是与目标视频数据包中的目标视频数据同时生成的参考音频数据的音频参数；在参考音频参数与待播放音频序列中的目标音频数据包相匹配的情况下，确定视频流与音频流当前处于播放同步状态。本发明专利技术解决了未能及时发现音视频不同步导致的用户观看体验差的技术问题。术问题。术问题。

【技术实现步骤摘要】
音视频同步的检测方法和装置、存储介质及电子设备


[0001]本专利技术涉及多媒体
，具体而言，涉及一种音视频同步的检测方法和装置、存储介质及电子设备。

技术介绍

[0002]音视频同步是多媒体播放非常重要的播放要求。在网络上传输多媒体数据时，会由于播放终端对数据的处理方式，以及网络中的延时、抖动，而引起音视频的不同步，出现播放声音与显示画面不同步的缺陷。在对于音视频同步性要求较高的播放终端，会大大降低用户体验。
[0003]而现有的播放终端都是依赖于视频帧和音频帧的时间戳进行音视频对齐，通常是以音频帧的时间戳作为基准，然后查找在时间戳上与音频帧对应的视频帧。在查找匹配后，依旧可能因为网络问题、缓存区问题等，导致所播放的音视频不同步。而对于播放的音视频是否同步，通常是在播出后，才能通过反馈发现，但此时不同步的音视频已经播出，大大降低了了用户的观看体验。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种音视频同步的检测方法和装置、存储介质及电子设备，以至少解决未能及时发现音视频不同步导致的用户观看体验差的技术问题。
[0006]根据本专利技术实施例的一个方面，提供了一种音视频同步的检测方法，包括：接收音频流和视频流，其中，上述音频流为基于时间顺序构建的音频数据包序列，上述视频流为基于上述时间顺序构建的视频数据包序列；在从上述视频流中确定出当前待播放的目标视频数据包的情况下，提取上述目标视频数据包中携带的参考音频参数，其中，上述参考音频参数是与上述目标视频数据包中的目标视频数据同时生成的参考音频数据的音频参数；在上述参考音频参数与上述待播放音频序列中的目标音频数据包相匹配的情况下，确定上述视频流与上述音频流当前处于播放同步状态。
[0007]根据本专利技术实施例的另一方面，还提供了一种音视频同步的检测装置，包括：接收单元，用于接收音频流和视频流，其中，上述音频流为基于时间顺序构建的音频数据包序列，上述视频流为基于上述时间顺序构建的视频数据包序列；获取单元，用于在从上述视频流中确定出当前待播放的目标视频数据包的情况下，提取上述目标视频数据包中携带的参考音频参数，其中，上述参考音频参数是与上述目标视频数据包中的目标视频数据同时生成的参考音频数据的音频参数；确定单元，用于在上述参考音频参数与上述待播放音频序列中的目标音频数据包相匹配的情况下，确定上述视频流与上述音频流当前处于播放同步状态。
[0008]根据本专利技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述音视
频同步的检测方法。
[0009]根据本专利技术实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的音视频同步的检测方法。
[0010]在本专利技术实施例中，采用在接收到基于时间顺序构建的音频数据包序列的音频流和基于时间顺序构建的视频数据包序列的视频流的情况下，从视频流中确定出的待播放的目标音频数据包中携带的参考音频参数，在参考音频参数与待播放音频序列中的目标音频数据包相匹配的情况下，确定音频流与视频流在当前处于播放同步状态的方式，通过在播放前提取待播放的目标视频数据包中的参考音频参数，通过指示与秒视频数据同时生成的参考音频数据的音频参数，确定参考音频参数与目标音频数据包相匹配以确定视频流和音频流当前处于播放同步状态，达到了在目标视频数据包播放之前，进行视频流与音频流当前播放是否同步的检测的目的，从而实现了在视频播放之前对音频与视频的播放同步进行检测以及时确定音频与视频播放是否处于播放同步状态的技术效果，进而解决了未能及时发现音视频不同步导致的用户观看体验差的技术问题。
附图说明
[0011]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0012]图1是根据本专利技术实施例的一种可选的音视频同步的检测方法的应用环境的示意图；
[0013]图2是根据本专利技术实施例的一种可选的音视频同步的检测方法的流程示意图；
[0014]图3是根据本专利技术实施例的一种可选的音视频同步的检测方法的流程示意图；
[0015]图4是根据本专利技术实施例的一种可选的音视频同步的检测方法的流程示意图；
[0016]图5是根据本专利技术实施例的一种可选的音视频同步的检测方法的待播放序列示意图；
[0017]图6是根据本专利技术实施例的一种可选的音视频同步的检测方法的流程示意图；
[0018]图7是根据本专利技术实施例的一种可选的音视频同步的检测方法的待播放序列示意图；
[0019]图8是根据本专利技术实施例的一种可选的音视频同步的检测装置的结构示意图；
[0020]图9是根据本专利技术实施例的一种可选的电子设备的结构示意图。
具体实施方式
[0021]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0022]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0023]根据本专利技术实施例的一个方面，提供了一种音视频同步的检测方法，可选地，上述音视频同步的检测方法可以但不限于应用于如图1所示的环境中。播放终端110通过网络110接收服务器120发送的音频流和视频流，以在播放终端110中播放音频和视频。播放终端110在播放前对音频流和视频流当前播放是否同步进行检测，并将同步检测结果通过网络110发送给服务器120。
[0024]播放终端100对音频流和视频流的播放同步检测不限于通过依次执行 S102至S106实现。S102，接收音频流和视频流。音频流为基于时间顺序构建的音频数据包序列，视频流为基于时间顺序构建的视频数据包序列。 S104，提取参考音频参数。在从视频流中确定出当前待播放的目标视频数据包的情况下，提取目标视频数据包中携带的参考音频参，参考音频参数是与目标视频数据包中的目标视频数据同时生成的参考音频数据的音频参数。S106本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音视频同步的检测方法，其特征在于，包括：接收音频流和视频流，其中，所述音频流为基于时间顺序构建的音频数据包序列，所述视频流为基于所述时间顺序构建的视频数据包序列；在从所述视频流中确定出当前待播放的目标视频数据包的情况下，提取所述目标视频数据包中携带的参考音频参数，其中，所述参考音频参数是与所述目标视频数据包中的目标视频数据同时生成的参考音频数据的音频参数；在所述参考音频参数与所述待播放音频序列中的目标音频数据包相匹配的情况下，确定所述视频流与所述音频流当前处于播放同步状态。2.根据权利要求1所述的方法，其特征在于，所述提取所述目标视频数据包中携带的参考音频参数包括：从所述目标视频数据包的扩展区中提取所述参考音频参数，其中，所述参考音频参数是所述参考音频数据的音频指纹参数。3.根据权利要求1所述的方法，其特征在于，在提取所述目标视频数据包中携带的参考音频参数之后，还包括：确定所述音频流的待播放音频序列中位于目标序位上的目标音频数据包；获取所述目标音频数据包中包括的目标音频数据；计算所述目标音频数据的音频指纹参数，得到所述目标音频数据包的目标音频参数。4.根据权利要求3所述的方法，其特征在于，在得到所述目标音频数据包的目标音频参数之后，还包括：比对所述目标音频参数和所述参考音频参数；在所述目标音频参数与所述参考音频参数一致的情况下，确定所述参考音频参数与所述目标音频数据包相匹配。5.根据权利要求3所述的方法，其特征在于：在所述目标序位包括多个候选序位的情况下，依次确定位于所述多个候选序位上的候选音频数据包；计算所述候选音频数据包的候选音频参数。6.根据权利要求5所述的方法，其特征在于，在计算所述候选音频数据包的候选音频参数之后...

【专利技术属性】
技术研发人员：刘海涛，
申请(专利权)人：广州繁星互娱信息科技有限公司，
类型：发明
国别省市：