媒体文件中音视频的校准方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种媒体文件中音视频的校准方法及装置。其中，该方法包括：获取媒体文件，媒体文件包括：多个源视频数据包和多个源音频数据包；对多个源视频数据包和多个源音频数据包进行解码，并在对每个源视频数据包和每个源音频数据包进行解码的同时，从每个源视频数据包中读取源视频时间戳，得到视频时间戳列表；检测解码多个源视频数据包之后返回的多个视频时间戳的排列顺序；在检测到多个视频时间戳的排序顺序错误的情况下，采用视频时间戳列表中的源视频时间戳与对应的基准时间戳执行同步校准。本发明专利技术解决了由于硬件解码带来的时间戳异常，导致的在显示过程中音视频无法同步的技术问题。

【技术实现步骤摘要】

本专利技术涉及计算机应用
，具体而言，涉及一种媒体文件中音视频的校准方法及装置。
技术介绍
随着计算机应用技术的发展，尤其是对视频、音频的品质处理技术也越来越先进，其中，随着各个类型移动终端的发展，如何在各个类型移动终端将视频中的视频图像与对应音频同步播放成为了需要解决的问题。在相关的解决上述问题的技术中，以安卓手机为例进行说明，由于安卓手机拥有海量用户，机型各不相同，而视频解码属于计算密集型业务，所以在播放视频时，需要先通过硬件解码视频数据包，进一步的通过视频数据包中的时间戳进行显示，其中，正常的音视频播放需要声音和视频按照预设的时间顺序输出，这样在播放时能够保证音视频是同步播放的，每一个音频和视频的每一个解码单元都含有响应的时间戳，这样解码完毕后，就能决定是立即输出、延迟输出或者丢弃。由上可知，在相关技术中，硬件解码过程中由于硬件解码可以达到流畅清晰的播放画质，并且在数据处理过程中相比软件解码更加省电，但是不是每个手机都能稳定的支持硬件解码，虽然硬件解码会使播放视频变得省电流畅，但是硬件时间戳有时候发生异常，如果不处理，则会造成媒体文件播放时，视频画面与对应音频无法同步播放的问题。针对上述由于硬件解码带来的时间戳异常，导致的在显示过程中音视频无法同步的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种媒体文件中音视频的校准方法及装置，以至少解决由于硬件解码带来的时间戳异常，导致的在显示过程中音视频无法同步的技术问题。根据本专利技术实施例的一个方面，提供了一种媒体文件中音视频的校准方法，包括：获取媒体文件，媒体文件包括：多个源视频数据包和多个源音频数据包；对多个源视频数据包和多个源音频数据包进行解码，并在对每个源视频数据包和每个源音频数据包进行解码的同时，从每个源视频数据包中读取源视频时间戳，得到视频时间戳列表；检测解码多个源视频数据包之后返回的多个视频时间戳的排列顺序；在检测到多个视频时间戳的排序顺序错误的情况下，采用视频时间戳列表中的源视频时间戳与对应的基准时间戳执行同步校准。根据本专利技术实施例的另一个方面，提供了一种媒体文件中音视频的校准方法，包括：获取媒体文件，媒体文件包括：多个源视频数据包和多个源音频数据包；对多个源视频数据包和多个源音频数据包进行解码，并在对每个源视频数据包和每个源音频数据包进行解码的同时，从每个源音频数据包中读取源音频时间戳，得到音频时间戳列表；检测解码多个音视频数据包之后返回的多个音频时间戳的排列顺序；在检测到多个音频时间戳的排序顺序错误的情况下，采用音频时间戳列表中的音视频时间戳与对应的基准时间戳执行同步校准。根据本专利技术实施例的又一方面，还提供了一种媒体文件中音视频的校准装置，包括：获取模块，用于获取媒体文件，媒体文件包括：多个源视频数据包和多个源音频数据包；解码模块，用于对获取模块获取的多个源视频数据包和多个源音频数据包进行解码，并在对每个源视频数据包和每个源音频数据包进行解码的同时，从每个源视频数据包中读取源视频时间戳，得到视频时间戳列表；检测模块，用于检测解码多个源视频数据包之后返回的多个视频时间戳的排列顺序；校准模块，用于在检测到多个视频
时间戳的排序顺序错误的情况下，采用视频时间戳列表中的源视频时间戳与对应的基准时间戳执行同步校准。根据本专利技术实施例的再一方面，还提供了一种媒体文件中音视频的校准装置，包括：获取模块，用于获取媒体文件，媒体文件包括：多个源视频数据包和多个源音频数据包；解码模块，用于对获取模块获取的多个源视频数据包和多个源音频数据包进行解码，并在对每个源视频数据包和每个源音频数据包进行解码的同时，从每个源音频数据包中读取源音频时间戳，得到音频时间戳列表；检测模块，用于检测解码多个音视频数据包之后返回的多个音频时间戳的排列顺序；校正模块，用于在检测到多个音频时间戳的排序顺序错误的情况下，采用音频时间戳列表中的音视频时间戳与对应的基准时间戳执行同步校准。在本专利技术实施例中，采用获取媒体文件，媒体文件包括：多个源视频数据包和多个源音频数据包；对多个源视频数据包和多个源音频数据包进行解码，并在对每个源视频数据包和每个源音频数据包进行解码的同时，从每个源视频数据包中读取源视频时间戳，得到视频时间戳列表；检测解码多个源视频数据包之后返回的多个视频时间戳的排列顺序；在检测到多个视频时间戳的排序顺序错误的情况下，采用视频时间戳列表中的源视频时间戳与对应的基准时间戳执行同步校准。达到了解决硬件解码带来的时间戳混乱的目的，从而实现了音视频同步播放的技术效果，进而解决了由于硬件解码带来的时间戳异常，导致的在显示过程中音视频无法同步的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是本专利技术实施例的一种媒体文件中音视频的校准方法的移动终端
的硬件结构框图；图2是根据本专利技术实施例一的媒体文件中音视频的校准方法的流程图；图3是根据本专利技术实施例二的媒体文件中音视频的校准方法的流程图；图4是本专利技术实施例提供的一种媒体文件中音视频的校准方法的流程图；图5是根据本专利技术实施例一的媒体文件中音视频的校准的装置结构示意图；图6是根据本专利技术实施例一的一种媒体文件中音视频的校准的装置结构示意图；图7是根据本专利技术实施例一的另一种媒体文件中音视频的校准的装置结构示意图；图8是根据本专利技术实施例一的又一种媒体文件中音视频的校准的装置结构示意图；图9是根据本专利技术实施例二的媒体文件中音视频的校准的装置结构示意图；图10是根据本专利技术实施例二的一种媒体文件中音视频的校准的装置结构示意图；以及，图11是根据本专利技术实施例二的另一种媒体文件中音视频的校准的装置结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施
例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其它步骤或单元。下面就本申请涉及到的部分名词解释如下：解码单元：这里可以改为解码数据包。通常是指一帧(frame)。衡量一个视频的速率的是帧率即frame rate per second，简写为fps，如果fps为25，则视频每秒钟播放25个画面。人眼觉得流畅的标准是15fps以上，通常电影是25fps或者30fps。音频也有同样的概念。硬件解码：是指利用手机的芯片的多媒体本文档来自技高网...

【技术保护点】
一种媒体文件中音视频的校准方法，其特征在于，包括：获取媒体文件，所述媒体文件包括：多个源视频数据包和多个源音频数据包；对所述多个源视频数据包和所述多个源音频数据包进行解码，并在对每个源视频数据包和每个源音频数据包进行解码的同时，从所述每个源视频数据包中读取源视频时间戳，得到视频时间戳列表；检测解码所述多个源视频数据包之后返回的多个视频时间戳的排列顺序；在检测到所述多个视频时间戳的排序顺序错误的情况下，采用所述视频时间戳列表中的源视频时间戳与对应的基准时间戳执行同步校准。

【技术特征摘要】
1.一种媒体文件中音视频的校准方法，其特征在于，包括：获取媒体文件，所述媒体文件包括：多个源视频数据包和多个源音频数据包；对所述多个源视频数据包和所述多个源音频数据包进行解码，并在对每个源视频数据包和每个源音频数据包进行解码的同时，从所述每个源视频数据包中读取源视频时间戳，得到视频时间戳列表；检测解码所述多个源视频数据包之后返回的多个视频时间戳的排列顺序；在检测到所述多个视频时间戳的排序顺序错误的情况下，采用所述视频时间戳列表中的源视频时间戳与对应的基准时间戳执行同步校准。2.根据权利要求1所述的方法，其特征在于，在所述源视频数据包包括：解码时间戳和显示时间戳的情况下，读取所述源视频数据包中的解码时间戳作为所述源视频时间戳，其中，所述视频时间戳列表中保存的多个源视频时间戳为依次递增排序。3.根据权利要求1所述的方法，其特征在于，所述基准时间戳包括以下任意一种类型：音频基准时间戳、第三方预设基准时间戳和视频基准时间戳，其中，不同类型的基准时间戳的调用优先级顺序为：所述音频基准时间戳、所述第三方预设基准时间戳和所述视频基准时间戳。4.根据权利要求3所述的方法，其特征在于，在所述基准时间戳的类型为所述音频基准时间戳的情况下，其中，在采用所述视频时间戳列表中的源视频时间戳与基准时间戳执行同步校准之前，所述方法还包括：获取解码所述多个源音频数据包之后返回的多个音频时间戳，其中，
\t采用软件解码的方式对所述源音频数据包进行解码；保存所述多个音频时间戳，其中，每个音频时间戳作为用于执行所述同步校准的所述基准时间戳。5.根据权利要求3所述的方法，其特征在于，在采用硬件解码的方式对所述源音频数据包进行解码的情况下，调用所述第三方预设基准时间戳作为所述基准时间戳，其中，所述第三方预设基准时间戳为所述源视频数据包中携带的显示时间戳或所述源音频数据包中携带的显示时间戳。6.根据权利要求1所述的方法，其特征在于，采用所述视频时间戳列表中的源视频时间戳与对应的基准时间戳执行同步校准的步骤包括：按顺序依次读取所述视频时间戳列表中的每个源视频时间戳；将所述每个源视频时间戳分别与对应的基准时间戳进行比对；在任意一个源视频时间戳与对应的基准时间戳的差值大于等于播放阈值的情况下，调整所述任意一个源视频时间戳对应的源视频数据包的播放时间；在任意一个源视频时间戳与对应的基准时间戳的差值小于所述播放阈值的情况下，将按照所述任意一个源视频时间戳对应的播放时间来播放对应的源视频数据包。7.一种媒体文件中音视频的校准方法，其特征在于，包括：获取媒体文件，所述媒体文件包括：多个源视频数据包和多个源音频数据包；对所述多个源视频数据包和所述多个源音频数据包进行解码，并在对所述每个源视频数据包和所述每个源音频数据包进行解码的同时，从所述
\t每个源音频数据包中读取源音频时间戳，得到音频时间戳列表；检测解码所述多个音视频数据包之后返回的多个音频时间戳的排列顺序；在检测到所述多个音频时间戳的排序顺序错误的情况下，采用所述音频时间戳列表中的音视频时间戳与对应的基准时间戳执行同步校准。8.根据权利要求7所述的方法，其特征在于，在所述源音频数据包包括：解码时间戳和显示时间戳的情况下，读取所述源音频数据包中的解码时间戳作为所述源音频时间戳，其中，所述音频时间戳列表中保存的多个源音频时间戳为依次递增排序。9.根据权利要求7所述的方法，其特征在于，所述基准时间戳包括以下任意一种类型：音频基准时间戳、第三方预设基准时间戳和视频基准时间戳，其中，不同类型的基准时间戳的调用优先级顺序为：所述视频基准时间戳、所述第三方预设基准时间戳和所述音频基准时间戳。10.根据权利要求9所述的方法，其特征在于，在采用硬件解码的方式对所述源音频数据包进行解码的情况下，调用所述第三方预设基准时间戳作为所述基准时间戳，其中，所述第三方预设基准时间戳为所述源视频数据包中携带的显示时间戳或所述源音频数据包中携带的显示时间戳。11.根据权利要求7所述的方法，其特征在于，采用所述音频时间戳列表中的源音频时间戳与对应的基准时间戳执行同步校准的步骤包括：按顺序依次读取所述音频时间戳列表中的每个源音频时间戳；将所述每个源音频时间戳分别与对应的基准时间戳进行比对；在任意一个源音频时间戳与对应的基准时间戳的差值大于等于播放阈值的情况下，调整所述任意一个源音频时间戳对应的源音频数据包的播
\t放时间；在任意一个源音频时间戳与对应的基准时间戳的差值小于所述播放阈值的情况下，将按照所述任意一个源音频时间戳对应的播放时间来播放对应的源音频数据包。12.一种媒体文件中音视频的校准装置，其特征在于，包括：获取模块，用于获取媒体文件，所述媒体文件包括：多个源视频数据包和多个源音频数据包；解码模块，用于对所述获取模块获取的所...

【专利技术属性】
技术研发人员：陈俊峰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44