音视频同步的方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请公开了一种音视频同步的方法，包括接收主频和辅频，播放主频；分别提取主频对应的第一主帧，辅频对应的第一辅帧，并记录相应的主时间戳和辅时间戳；判断主时间戳是否大于辅时间戳；若主时间戳大于辅时间戳，则计算二者的差值，判断其是否超出预设差值，若是，则删除第一辅帧，提取下一辅帧，重新比较，若否，则播放辅频；若主时间戳不大于辅时间戳，则计算二者的差值，判断其是否超出预设差值；若是，则保存第一辅帧，播放下一主帧，重新比较；若否，则播放辅频。该方法减少了媒体流在播放过程中音视频不同步的问题，极大提高了音视频播放的流畅性。本申请还公开了一种音视频同步的装置、设备及计算机可读存储介质，均具有上述有益效果。

【技术实现步骤摘要】
音视频同步的方法、装置、设备及计算机可读存储介质
本申请涉及计算机
，特别涉及一种音视频同步的方法，还涉及一种音视频同步的装置、设备及计算机可读存储介质。
技术介绍
在当今的多媒体交互系统中，其传输具有信息传送服务不可靠的特点，由此在数据传输过程中会遇到数据包丢失的问题，以致相应的数据信息到达的时延不同，最终会造成媒体流在播放时发生声像不同步的现象。目前为止已有多种对应的同步方案和模型，如时间戳同步信道法，该方法是将媒体流与同步信号分开进行传输，即需要两个不同的信道，则会导致数据在传输时需要增加额外的信道话费；再如基于RTP/RTCP的同步机制，该方法在数据通信过程中，极易改变媒体流的发送过程，进一步导致媒体流在接收端的播放过程发生改变。因此，如何提供一种解决上述问题的技术方案，是本领域技术人员亟待解决的问题。
技术实现思路
本申请的目的是提供一种音视频同步的方法，该方法可以有效减少媒体流在播放过程中出现的音视频不同步的问题以及马赛克现象，极大地提高了音视频播放的流畅性；本申请的另一目的是提供一种音视频同步的装置、设备及计算机可读存储介质，均具有上述有益效果。为解决上述技术问题，本申请提供了一种音视频同步的方法，该方法包括：接收发送端发送的主频和辅频，并播放所述主频；提取所述主频对应的第一主帧，并记录所述第一主帧的主时间戳；提取所述辅频对应的第一辅帧，并记录所述第一辅帧的辅时间戳；判断所述主时间戳是否大于所述辅时间戳；若所述主时间戳大于所述辅时间戳，则计算所述主时间戳与所述辅时间戳的差值，判断所述差值是否超出预设差值；若是，则删除所述第一辅帧，并提取下一辅帧，重新进行比较；若否，则播放所述辅频；若所述主时间戳不大于所述辅时间戳，则计算所述主时间戳与所述辅时间戳的差值，判断所述差值是否超出所述预设差值；若是，则保存所述第一辅帧，并播放下一主帧，重新进行比较；若否，则播放所述辅频。优选的，所述接收发送端发送的主频和辅频之前还包括：所述发送端通过主线程采集所述主频，并保存至主缓存队列；通过辅线程采集所述辅频，并保存至辅缓存队列。优选的，所述接收发送端发送的主频和辅频包括：接收所述发送端通过发送线程交替发送的所述主频和所述辅频；将所述主频保存至主缓存链表，将所述辅频保存至辅缓存链表。为解决上述技术问题，本申请还提供了一种音视频同步的装置，包括：接收模块，用于接收发送端发送的主频和辅频，并播放所述主频；提取模块，用于提取所述主频对应的第一主帧，并记录所述第一主帧的主时间戳；提取所述辅频对应的第一辅帧，并记录所述第一辅帧的辅时间戳；第一判断模块，用于判断所述主时间戳是否大于所述辅时间戳；第二判断模块，用于若所述主时间戳大于所述辅时间戳，则计算所述主时间戳与所述辅时间戳的差值，判断所述差值是否超出预设差值；若是，则删除所述第一辅帧，并提取下一辅帧，重新进行比较；若否，则播放所述辅频；第三判断模块，用于若所述主时间戳不大于所述辅时间戳，则计算所述主时间戳与所述辅时间戳的差值，判断所述差值是否超出所述预设差值；若是，则保存所述第一辅帧，并播放下一主帧，重新进行比较；若否，则播放所述辅频。优选的，还包括：采集模块，用于所述发送端通过主线程采集所述主频，并保存至主缓存队列；通过辅线程采集所述辅频，并保存至辅缓存队列。优选的，所述接收模块包括：接收子模块，用于接收所述发送端通过发送线程交替发送的所述主频和所述辅频；保存子模块，用于将所述主频保存至主缓存链表，将所述辅频保存至辅缓存链表。为解决上述技术问题，本申请还提供了一种音视频同步的设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述任意一种所述的音视频同步的方法的步骤。为解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述音视频同步的方法的步骤。本申请所提供的一种音视频同步的方法，包括接收发送端发送的主频和辅频，并播放所述主频；提取所述主频对应的第一主帧，并记录所述第一主帧的主时间戳；提取所述辅频对应的第一辅帧，并记录所述第一辅帧的辅时间戳；判断所述主时间戳是否大于所述辅时间戳；若所述主时间戳大于所述辅时间戳，则计算所述主时间戳与所述辅时间戳的差值，判断所述差值是否超出预设差值；若是，则删除所述第一辅帧，并提取下一辅帧，重新进行比较；若否，则播放所述辅频；若所述主时间戳不大于所述辅时间戳，则计算所述主时间戳与所述辅时间戳的差值，判断所述差值是否超出所述预设差值；若是，则保存所述第一辅帧，并播放下一主帧，重新进行比较；若否，则播放所述辅频。可见，本申请所提供的技术方案，分别对视频和音频的时间戳进行了相应的比较，根据比较结果执行了相应的指令，有效减少了媒体流在播放过程中出现的音视频不同步的问题以及马赛克现象，极大地提高了音视频播放的流畅性；此外，该技术方案的实现也无需同步信号的传输，避免了额外的信道话费。本申请还提供了一种音视频同步的装置、设备及计算机可读存储介质，均具有上述有益效果，在此不再赘述。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请所提供的一种音视频同步的方法的流程示意图；图2为本申请所提供的一种音视频同步的装置的示意图；图3为本申请所提供的一种音视频同步的设备的示意图。具体实施方式本申请的核心是提供一种音视频同步的方法，该方法可以有效减少媒体流在播放过程中出现的音视频不同步的问题以及马赛克现象，极大地提高了音视频播放的流畅性；本申请的另一核心是提供一种音视频同步的装置、设备及计算机可读存储介质，均具有上述有益效果。为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。请参考图1，图1为本申请所提供的一种音视频同步的方法的流程示意图，该方法可以包括：S101：接收发送端发送的主频和辅频，并播放主频；S102：提取主频对应的第一主帧，并记录第一主帧的主时间戳；提取辅频对应的第一辅帧，并记录第一辅帧的辅时间戳；具体的，发送端将采集到的音频和视频发送至接收端，将其中一个作为主频，另一个则作为辅频，并对主频进行播放。进一步，分别对主频对应的第一主帧和辅频对应的第一辅帧进行提取，同时分别记录第一主帧对应的主时间戳，和第一辅帧对应的辅时间戳，即可根据获得的主时间戳和辅时间戳进行后续音视频的同步处理。例如，可以将音频作为主频，视频作为辅频，先对音频进行播放，进一步，提取音频对应的第一音频帧，同时记录第一音频帧对应的音频戳Ta，提取视频对应的第一视频帧，同时记录第一视频帧对应的视频戳Tv，根据获取的Ta和Tv进行音视频的同步处理。其中，对于音频戳Ta和视频戳Tv获取的顺序，本本文档来自技高网...

【技术保护点】
一种音视频同步的方法，其特征在于，包括：接收发送端发送的主频和辅频，并播放所述主频；提取所述主频对应的第一主帧，并记录所述第一主帧的主时间戳；提取所述辅频对应的第一辅帧，并记录所述第一辅帧的辅时间戳；判断所述主时间戳是否大于所述辅时间戳；若所述主时间戳大于所述辅时间戳，则计算所述主时间戳与所述辅时间戳的差值，判断所述差值是否超出预设差值；若是，则删除所述第一辅帧，并提取下一辅帧，重新进行比较；若否，则播放所述辅频；若所述主时间戳不大于所述辅时间戳，则计算所述主时间戳与所述辅时间戳的差值，判断所述差值是否超出所述预设差值；若是，则保存所述第一辅帧，并播放下一主帧，重新进行比较；若否，则播放所述辅频。

【技术特征摘要】
1.一种音视频同步的方法，其特征在于，包括：接收发送端发送的主频和辅频，并播放所述主频；提取所述主频对应的第一主帧，并记录所述第一主帧的主时间戳；提取所述辅频对应的第一辅帧，并记录所述第一辅帧的辅时间戳；判断所述主时间戳是否大于所述辅时间戳；若所述主时间戳大于所述辅时间戳，则计算所述主时间戳与所述辅时间戳的差值，判断所述差值是否超出预设差值；若是，则删除所述第一辅帧，并提取下一辅帧，重新进行比较；若否，则播放所述辅频；若所述主时间戳不大于所述辅时间戳，则计算所述主时间戳与所述辅时间戳的差值，判断所述差值是否超出所述预设差值；若是，则保存所述第一辅帧，并播放下一主帧，重新进行比较；若否，则播放所述辅频。2.如权利要求1所述的方法，其特征在于，所述接收发送端发送的主频和辅频之前还包括：所述发送端通过主线程采集所述主频，并保存至主缓存队列；通过辅线程采集所述辅频，并保存至辅缓存队列。3.如权利要求2所述的方法，其特征在于，所述接收发送端发送的主频和辅频包括：接收所述发送端通过发送线程交替发送的所述主频和所述辅频；将所述主频保存至主缓存链表，将所述辅频保存至辅缓存链表。4.一种音视频同步的装置，其特征在于，包括：接收模块，用于接收发送端发送的主频和辅频，并播放所述主频；提取模块，用于提取所述主频对应的第一主帧，并记录所述第一主帧的主时间戳；提取所述辅频对应的第一辅帧，并...

【专利技术属性】
技术研发人员：代艺超，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41