一种音视频码流时间校准方法及电子设备技术

本申请公开了一种音视频码流时间校准方法及电子设备，用以保障音频解码与视频解码的精确同步，进而保障播放画面与声音内容匹配，提高用户感受。本申请提供的音视频码流时间校准方法，包括：在第一工作模式下，获取当前输入的利用第一系统时钟生成的音频码流帧，以及当前输入的利用第二系统时钟生成的视频码流帧；其中，所述第一系统时钟和所述第二系统时钟位于不同系统中，并且所述第一系统时钟和所述第二系统时钟不同；提取所述音频码流帧或视频码流帧的时间戳；并且，基于在第二工作模式下采用预设的标准图像和标准音频确定的时间戳校准值，对所述时间戳进行校准，使得所述音频码流帧和所述视频码流帧的时间戳同步。流帧和所述视频码流帧的时间戳同步。流帧和所述视频码流帧的时间戳同步。

【技术实现步骤摘要】
一种音视频码流时间校准方法及电子设备


[0001]本申请涉及音视频
，尤其涉及一种音视频码流时间校准方法及电子设备。

技术介绍

[0002]为了节省网络传输带宽，在传输多媒体数据时，需要对原始数字音频、视频数据进行压缩，这种针对数字音频、视频进行压缩的方法称为音频编码、视频编码。常见的音频编码格式有G711A、G711U、AAC等等。常见的视频编码格式有H264、H265、MPEG
‑
4等。不同的编码格式压缩效果不同。
[0003]在多媒体应用领域，视频与音频信息一般是成对出现的，例如播放电影、录像等，音频是视频的伴音，与视频内容相匹配。音频编码数据和视频编码数据一般是交替混合在一起进行打包传输的，例如TS流(Transport Stream，传输流)。在解码时，音频码流与视频码流是独立流程处理的，同一时刻分别给到音频解码器的待解码音频数据、和给到视频解码器的待解码视频数据，可能不是编码时同一时刻的内容，因此需要一种机制保障音频与视频解码的精确同步，进而保障播放画面与声音内容匹配。但是，若两个系统仅通过时间进行同步，大多数无法满足音视频同步需求，因为时间同步大体上是秒级的；而音视频同步需要同步至毫秒级的；并且，若在编码后进行同步，会引入编码带来的处理时间误差。

技术实现思路

[0004]本申请实施例提供了一种音视频码流时间校准方法及电子设备，用以保障音频解码与视频解码的精确同步，进而保障播放画面与声音内容匹配，提高用户感受。
[0005]本申请实施例提供的一种音视频码流时间校准方法，包括：
[0006]在第一工作模式下，获取当前输入的利用第一系统时钟生成的音频码流帧，以及当前输入的利用第二系统时钟生成的视频码流帧；其中，所述第一系统时钟和所述第二系统时钟位于不同系统中，并且所述第一系统时钟和所述第二系统时钟不同；
[0007]提取所述音频码流帧和/或视频码流帧的时间戳；并且，基于在第二工作模式下采用预设的标准图像和标准音频确定的时间戳校准值，对所述时间戳进行校准，使得所述音频码流帧和所述视频码流帧的时间戳同步。
[0008]本申请实施例通过在第一工作模式下，获取当前输入的利用第一系统时钟生成的音频码流帧，以及当前输入的利用第二系统时钟生成的视频码流帧，并提取所述音频码流帧和/或视频码流帧的时间戳；基于在第二工作模式下采用预设的标准图像和标准音频确定的时间戳校准值，对所述时间戳进行校准，使得所述音频码流帧和所述视频码流帧的时间戳同步，从而保障了音频解码与视频解码的精确同步，进而保障播放画面与声音内容匹配，提高了用户感受。
[0009]在一些实施例中，所述时间戳校准值是采用如下方式确定的：
[0010]在第二工作模式下，同时触发音频采集系统和视频采集系统对预设的校准设备进
行信息采集，分别得到利用第一系统时钟生成的音频码流，以及利用第二系统时钟生成的采集视频码流；其中，所述校准设备上设置有预设形状的灯，并且所述校准设备周期性发出持续预设时长的声音，并且在发出声音的同时点亮所述预设形状的灯；
[0011]根据预设的标准音频，对通过对所述校准设备采集得到的音频码流进行声音识别，通过所述声音识别确定所述标准音频对应的音频帧序列；并且，根据预设的标准图像，对通过对所述校准设备采集得到的视频码流进行图像识别，通过所述图像识别确定所述标准图像对应的视频帧序列；
[0012]根据所述音频帧序列和所述视频帧序列，确定所述时间戳校准值。
[0013]在一些实施例中，根据所述音频帧序列和所述视频帧序列，确定所述时间戳校准值，具体包括：
[0014]分别确定所述音频帧序列的最后一帧的时间戳，以及所述视频帧序列的最后一帧的时间戳；
[0015]将所述视频帧序列的最后一帧的时间戳，与所述音频帧序列的最后一帧的时间戳之差，作为所述时间戳校准值。
[0016]在一些实施例中，所述视频帧序列，为连续N帧的包含所述标准图像的视频帧序列，其中，t*f
‑
c<N<t*f+c,c为预设常数，f为所述第二系统视频编码的帧率，t为所述预设时长。
[0017]在一些实施例中，根据预设的标准音频，对通过第一系统对所述校准设备采集的音频码流进行声音识别，通过所述声音识别确定所述标准音频对应的音频帧序列，具体包括：
[0018]将通过对所述校准设备采集得到的音频码流，经解码后放入预设的先入先出FIFO缓存队列中，所述FIFO缓存队列的大小等于所述的标准音频的数据大小；
[0019]将所述FIFO缓存队列中的数据与所述的标准音频进行数据匹配，当匹配成功时，确定所述FIFO缓存队列中的音频帧序列为所述标准音频对应的音频帧序列。
[0020]在一些实施例中，通过输出给用户的用户界面接收用户指令，实现所述第一工作模式与所述第二工作模式的切换。
[0021]在一些实施例中，提取所述音频码流帧和/或视频码流帧的时间戳；并且，基于在第二工作模式下采用预设的标准图像和标准音频确定的时间戳校准值，对所述时间戳进行校准，具体包括：
[0022]提取所述音频码流帧的时间戳；
[0023]将所述时间戳与所述时间戳校准值的和作为新的时间戳，并更新到所述音频码流帧中。
[0024]本申请另一实施例提供了一种电子设备，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一种方法。
[0025]此外，根据实施例，例如提供了一种用于计算机的计算机程序产品，其包括软件代码部分，当所述产品在计算机上运行时，这些软件代码部分用于执行上述所定义的方法的步骤。该计算机程序产品可以包括在其上存储有软件代码部分的计算机可读介质。此外，该计算机程序产品可以通过上传过程、下载过程和推送过程中的至少一个经由网络直接加载
到计算机的内部存储器中和/或发送。
[0026]本申请另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。
附图说明
[0027]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0028]图1为本申请实施例提供的音视频编码传输处理流程示意图；
[0029]图2为本申请实施例提供的录播主机在正常模式下的工作流程示意图；
[0030]图3为本申请实施例提供的录播主机在校准模式下的工作流程示意图；
[0031]图4为本申请实施例提供的视频匹配过程示意图；
[0032]图5为本申请实施例提供的音频匹配过程示意图；
[0033]图6为本申请实施例提供的一种音视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音视频码流时间校准方法，其特征在于，该方法包括：在第一工作模式下，获取当前输入的利用第一系统时钟生成的音频码流帧，以及当前输入的利用第二系统时钟生成的视频码流帧；其中，所述第一系统时钟和所述第二系统时钟位于不同系统中，并且所述第一系统时钟和所述第二系统时钟不同；提取所述音频码流帧和/或视频码流帧的时间戳；并且，基于在第二工作模式下采用预设的标准图像和标准音频确定的时间戳校准值，对所述时间戳进行校准，使得所述音频码流帧和所述视频码流帧的时间戳同步。2.根据权利要求1所述的方法，其特征在于，所述时间戳校准值是采用如下方式确定的：在第二工作模式下，同时触发音频采集系统和视频采集系统对预设的校准设备进行信息采集，分别得到利用第一系统时钟生成的音频码流，以及利用第二系统时钟生成的采集视频码流；其中，所述校准设备上设置有预设形状的灯，并且所述校准设备周期性发出持续预设时长的声音，并且在发出声音的同时点亮所述预设形状的灯；根据预设的标准音频，对通过对所述校准设备采集得到的音频码流进行声音识别，通过所述声音识别确定所述标准音频对应的音频帧序列；并且，根据预设的标准图像，对通过对所述校准设备采集得到的视频码流进行图像识别，通过所述图像识别确定所述标准图像对应的视频帧序列；根据所述音频帧序列和所述视频帧序列，确定所述时间戳校准值。3.根据权利要求2所述的方法，其特征在于，根据所述音频帧序列和所述视频帧序列，确定所述时间戳校准值，具体包括：分别确定所述音频帧序列的最后一帧的时间戳，以及所述视频帧序列的最后一帧的时间戳；将所述视频帧序列的最后一帧的时间戳，与所述音频帧序列的最后一帧的时间戳之差，作为所述时间戳校准值。4.根据权利要求2所述的方法，其特征在于，所述视频帧序列，为连续N帧的包含所述标准图像的视频帧序列，其中，t*...

【专利技术属性】
技术研发人员：冯亮，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：