一种音视频同步方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种音视频同步方法、装置、电子设备及存储介质，方法包括：将车载终端传输的复合流数据剥离为音频数据和视频数据；对音频数据中的原始音频帧进行AAC转码，且每转码得到一帧AAC音频帧，从参与所述AAC音频帧转码的原始音频帧所对应的时间戳中选择一个时间戳作为AAC音频帧的时间戳；将视频数据、转码得到的ACC音频帧和AAC音频帧的时间戳发送到视频平台，以供客户端拉取播放。本发明专利技术AAC音频帧采用参与AAC音频帧转码的原始音频帧的原始时间戳，也即车载终端采集的原始时间戳，而后将剥离出来的视频数据和转码后的音频数据一起发送至视频平台，由于视频数据和音频数据均采用的是车载终端采集的原始时间戳，因此可以保证客户端查看时音视频同步。保证客户端查看时音视频同步。保证客户端查看时音视频同步。

【技术实现步骤摘要】
一种音视频同步方法、装置、电子设备及存储介质


[0001]本专利技术涉及音视频处理
，具体涉及一种音视频同步方法、装置、电子设备及存储介质。

技术介绍

[0002]目前车联网领域中的车载终端厂商比较多，每家厂商出厂的车载终端输出的视频编码格式比较统一(一般为H264)，但是输出的音频格式不尽相同，主要有G711、G726、mp3等多种格式，但主流使用的音频格式为AAC(Advanced Audio Coding，高级音频编码)格式。为了适配不同厂商的车载终端，需要将音频数据进行AAC转码，由于AAC转码会出现多帧转一帧的情况，因此会出现转码后的音频帧与原始帧的时间戳错位，造成客户端查看时存在音视频不同步的问题。

技术实现思路

[0003]本专利技术的目的是针对上述现有技术的不足提出的一种音视频同步方法、装置、电子设备及存储介质，该目的是通过以下技术方案实现的。
[0004]本专利技术的第一方面提出了一种音视频同步方法，所述方法包括：
[0005]将车载终端传输的复合流数据剥离为音频数据和视频数据,所述音频数据包括原始音频帧和对应的时间戳；
[0006]对所述音频数据中的原始音频帧进行AAC转码，且每转码得到一帧AAC音频帧，从参与所述AAC音频帧转码的原始音频帧所对应的时间戳中选择一个时间戳作为所述AAC音频帧的时间戳；
[0007]将所述视频数据、转码得到的ACC音频帧和所述AAC音频帧的时间戳发送到视频平台，以供客户端拉取播放。
[0008]在本申请的一些实施例中，所述从参与所述AAC音频帧转码的原始音频帧所对应的时间戳中选择一个时间戳作为所述AAC音频帧的时间戳，包括：
[0009]从参与所述AAC音频帧转码的原始音频帧所对应的时间戳中，选择第一个原始音频帧对应的时间戳作为所述AAC音频帧的时间戳。
[0010]在本申请的一些实施例中，所述对所述音频数据中的原始音频帧进行AAC转码，且每转码得到一帧AAC音频帧，从参与所述AAC音频帧转码的原始音频帧所对应的时间戳中选择一个时间戳作为所述AAC音频帧的时间戳，包括：
[0011]获取音频解码器和AAC编码器，并将所述音频数据中的原始音频帧输入所述音频解码器，以将所述原始音频帧解码为PCM数据并输出；所述音频解码器每输入一帧音频帧，检查预设标志是否为真；如果为真，则记录当前输入原始音频帧对应的时间戳，并将所述预设标志赋值为假；将所述音频解码器输出的PCM数据输入所述AAC编码器，以将所述PCM数据编码为AAC音频帧；所述AAC编码器每输出一帧AAC音频帧，将最近一次记录的时间戳确定为所述AAC音频帧的时间戳，并将所述预设标志赋值为真。
[0012]在本申请的一些实施例中，所述音频数据还包括音频编码格式；所述获取音频解码器和AAC编码器，包括：
[0013]获取与所述音频编码格式对应的音频解码器和AAC编码器。
[0014]在本申请的一些实施例中，在将所述音频解码器输出的PCM数据输入所述AAC编码器之前，所述方法还包括：
[0015]对所述PCM数据进行降噪处理。
[0016]本专利技术的第二方面提出了一种音视频同步装置，所述装置包括：
[0017]剥离模块，用于将车载终端传输的复合流数据剥离为音频数据和视频数据,所述音频数据包括原始音频帧和对应的时间戳；
[0018]转码模块，用于对所述音频数据中的原始音频帧进行AAC转码，且每转码得到一帧AAC音频帧，从参与所述AAC音频帧转码的原始音频帧所对应的时间戳中选择一个时间戳作为所述AAC音频帧的时间戳；
[0019]发送模块，用于将所述视频数据、转码得到的ACC音频帧和所述AAC音频帧的时间戳发送到视频平台，以供客户端拉取播放。
[0020]本专利技术的第三方面提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所述方法的步骤。
[0021]本专利技术的第四方面提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述第一方面所述方法的步骤。
[0022]基于上述第一方面和第二方面所述的音视频同步方法及装置，本专利技术至少具有如下有益效果或优点：
[0023]在将音视频复合流剥离为音频数据和视频数据后，在对音频数据中的音频帧进行AAC转码过程中，转码后的AAC音频帧采用参与AAC音频帧转码的音频帧的原始时间戳，也即车载终端采集的原始时间戳，而后将剥离出来的视频数据和转码后的音频数据一起发送至视频平台，由于视频数据和音频数据均采用的是车载终端采集的原始时间戳，因此可以保证客户端查看时音视频同步。
附图说明
[0024]此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0025]图1为本专利技术根据一示例性实施例示出的一种音视频同步方法的实施例流程图；
[0026]图2为本专利技术根据一示例性实施例示出的一种音视频同步装置的结构示意图；
[0027]图3为本专利技术根据一示例性实施例示出的一种电子设备的硬件结构示意图图；
[0028]图4为本专利技术根据一示例性实施例示出的一种存储介质的结构示意图。
具体实施方式
[0029]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附
权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。
[0030]在本专利技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0031]应当理解，尽管在本专利技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本专利技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0032]在相关技术中，为了解决音视频不同步的问题，通过使用系统时间对音频帧和视频帧重新打时间戳，然而由于网络传输速度的不稳定，这种打时间戳方式受网络抖动影响比较大，会出现时间戳打点分布不均匀的情况，造成客户端播放卡顿或者某时段播放速度较快的问题，影响用户体验。
[0033]为解决上述技术问题，本申请提出一种音视频同步方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音视频同步方法，其特征在于，所述方法包括：将车载终端传输的复合流数据剥离为音频数据和视频数据,所述音频数据包括原始音频帧和对应的时间戳；对所述音频数据中的原始音频帧进行高级音频编码AAC转码，且每转码得到一帧AAC音频帧，从参与所述AAC音频帧转码的原始音频帧所对应的时间戳中选择一个时间戳作为所述AAC音频帧的时间戳；将所述视频数据、转码得到的ACC音频帧和所述AAC音频帧的时间戳发送到视频平台，以供客户端拉取播放。2.根据权利要求1所述的方法，其特征在于，所述从参与所述AAC音频帧转码的原始音频帧所对应的时间戳中选择一个时间戳作为所述AAC音频帧的时间戳，包括：从参与所述AAC音频帧转码的原始音频帧所对应的时间戳中，选择第一个原始音频帧对应的时间戳作为所述AAC音频帧的时间戳。3.根据权利要求1或2所述的方法，其特征在于，所述对所述音频数据中的原始音频帧进行AAC转码，且每转码得到一帧AAC音频帧，从参与所述AAC音频帧转码的原始音频帧所对应的时间戳中选择一个时间戳作为所述AAC音频帧的时间戳，包括：获取音频解码器和AAC编码器，并将所述音频数据中的原始音频帧输入所述音频解码器，以将所述原始音频帧解码为脉冲调制编码PCM数据并输出；所述音频解码器每输入一帧音频帧，检查预设标志是否为真；如果为真，则记录当前输入原始音频帧对应的时间戳，并将所述预设标志赋值为假；将所述音频解码器输出的PCM数据输入所述AAC编码器，以将所述PCM数据编码为AAC音频帧；所述AAC编码器每输出一帧AAC音频帧，将最近一次记录的时间戳确定为所述AAC音频帧的时间戳，并将所述预设标志赋值为真。4.根据权利要求3所述的方法，其特征在于，所述音频数据还包括音频编码格式；所述获取音频解码器和AAC编码器，包括：获取与所述音频编码格式对应的音频解码器和AAC编码器。5.根据权利要求3所述的方法，其特征在于，在将所述音频解码器输出的PCM数据输入所述AAC编码器之前，所述方法还包括：对所...

【专利技术属性】
技术研发人员：吴洪成，李忠敏，夏曙东，孙智彬，张志平，
申请(专利权)人：北京中交兴路信息科技有限公司，
类型：发明
国别省市：