音视频数据的处理方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种音视频数据的处理方法、装置、设备及存储介质，用以解决目前对于音视频设备缓存的音频数据及视频数据，难以实现音视频同步的问题。方法包括：获取缓存的至少一帧音频源数据和至少一帧视频源数据；各帧音频源数据携带有该帧音频源数据对应的音频采集时间；各帧视频源数据携带有该帧视频源数据对应的视频采集时间；分别对各帧音频源数据和各帧视频源数据进行编码，得到各帧音频源数据对应的音频编码数据以及各帧视频源数据对应的视频编码数据；根据音频采集时间和视频采集时间，对各音频编码数据和各视频编码数据进行排序，得到目标音视频数据。该技术方案能够对无序的音视频数据进行重新排列，从而实现音视频同步的效果。音视频同步的效果。音视频同步的效果。

【技术实现步骤摘要】
音视频数据的处理方法、装置、设备及存储介质


[0001]本申请涉及音视频处理
，尤其涉及一种音视频数据的处理方法、装置、设备及存储介质。

技术介绍

[0002]传统的长电类智能设备，由于通过外部电源供电，设备能长期处于工作状态。但在一些特定的场景下，长电类智能设备并不适用，针对这些场景，衍生出了电池类智能设备。如智能猫眼、智能门铃、智能门锁等带有音视频功能的安防设备。电池类智能设备依赖于内部电池供电，由于其电池容量的限制，无法像长电类智能设备那样始终处于工作状态，其大部分时间都处于休眠状态。而在休眠状态下，上述带有音视频功能的安防设备中的音视频采集处理模块不工作，仅在通过特定方式触发后，才会被唤醒。例如，在电池类智能设备为带有音视频功能的安防设备时，可通过PIR(Passive Infrared detectors，热释电红外传感器)、按键等特定方式触发，以唤醒该设备进行音视频采集及处理。
[0003]其中，在带有音视频功能的设备(以下简称为“音视频设备”)处于休眠状态的情况下，CPU(Central Processing Unit，中央处理器)、音频采集、视频采集等模块都是断电的。当音视频设备被唤醒后会立即给上述模块上电。而音视频设备从上电到正常工作通常需要经过这些过程：上电加载、系统引导、内核启动、驱动加载、正常工作。从上电加载到正常工作之间的这段过程中(一般称作“快速启动阶段”)，由于码流的处理业务还未正常工作，音视频设备无法对码流数据进行处理，因此只能将音频数据及视频数据进行缓存，待音视频设备正常工作后再进行处理。这就导致音视频设备在快速启动阶段缓存下大量的音频数据及视频数据，而音频采集模块与视频采集模块一般不是同时启动的，因此快速启动阶段所缓存下的音频数据及视频数据难以实现音视频同步。
[0004]为解决音视频设备缓存的音频数据及视频数据难以实现音视频同步的问题，目前的做法主要有以下两种：一种是在快速启动阶段仅保存视频数据，而不保存音频数据。这种做法虽然无需考虑快速启动阶段的音视频同步问题，但也因此丢失了快速启动阶段的音频数据，导致用户的使用体验较差。另一种是将快速启动阶段的音频数据及视频数据，按照音视频的帧间隔进行排序。这种音视频同步方式是通过理论上的音视频帧率进行排序，而未考虑音频采集模块与视频采集模块的启动时间差，因此这种方式只在音频采集模块与视频采集模块的启动时间相差极小的情况下才有效。

技术实现思路

[0005]本申请实施例的目的是提供一种音视频数据的处理方法、装置、设备及存储介质，用以解决目前对于音视频设备缓存的音频数据及视频数据，难以实现音视频同步的问题。
[0006]为解决上述技术问题，本申请实施例是这样实现的：
[0007]一方面，本申请实施例提供一种音视频数据的处理方法，应用于音视频设备，包括：
[0008]获取缓存的至少一帧音频源数据和至少一帧视频源数据；各帧所述音频源数据携带有该帧音频源数据对应的音频采集时间；各帧所述视频源数据携带有该帧视频源数据对应的视频采集时间；
[0009]分别对各帧所述音频源数据和各帧所述视频源数据进行编码，得到各帧所述音频源数据对应的音频编码数据以及各帧所述视频源数据对应的视频编码数据；
[0010]根据所述音频采集时间和所述视频采集时间，对各所述音频编码数据和各所述视频编码数据进行排序，得到目标音视频数据。
[0011]另一方面，本申请实施例提供一种音视频数据的处理装置，应用于音视频设备，包括：
[0012]音频采集模块，用于采集音频源数据；
[0013]视频采集模块，用于采集视频源数据；
[0014]内存模块，用于缓存采集到的所述音频源数据和所述视频源数据；
[0015]处理模块，用于获取缓存的至少一帧音频源数据和至少一帧视频源数据；各帧所述音频源数据携带有该帧音频源数据对应的音频采集时间；各帧所述视频源数据携带有该帧视频源数据对应的视频采集时间；分别对各帧所述音频源数据和各帧所述视频源数据进行编码，得到各帧所述音频源数据对应的音频编码数据以及各帧所述视频源数据对应的视频编码数据；根据所述音频采集时间和所述视频采集时间，对各所述音频编码数据和各所述视频编码数据进行排序，得到目标音视频数据。
[0016]再一方面，本申请实施例提供一种音视频数据的处理设备，包括处理器和与所述处理器电连接的存储器，所述存储器存储有计算机程序，所述处理器用于从所述存储器调用并执行所述计算机程序以实现上述的音视频数据的处理方法。
[0017]再一方面，本申请实施例提供一种存储介质，用于存储计算机程序，所述计算机程序能够被处理器执行以实现上述的音视频数据的处理方法。
[0018]采用本申请实施例的技术方案，通过获取缓存的至少一帧音频源数据和至少一帧视频源数据，分别对各帧音频源数据和各帧视频源数据进行编码，得到各帧音频源数据对应的音频编码数据以及各帧视频源数据对应的视频编码数据。由于各帧音频源数据携带有该帧音频源数据对应的音频采集时间，各帧视频源数据携带有该帧视频源数据对应的视频采集时间，因此各音频编码数据携带有对应的音频采集时间，各视频编码数据携带有对应的视频采集时间。从而根据音频采集时间和视频采集时间，对各音频编码数据和各视频编码数据进行排序，得到目标音视频数据。可见，该技术方案能够根据缓存的音视频数据所对应的采集时间，对无序的音视频数据进行重新排列，实现了音视频同步的效果。例如，针对音视频设备在快速启动阶段所采集到的无序的音视频数据，通过该技术方案将无序的音视频数据排列为同步的音视频数据，使得得到的音视频数据能够准确的反映音视频设备在快速启动阶段对于音视频数据的实际采集情况，从而使得音视频设备输出数据的效果更优。
附图说明
[0019]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提
下，还可以根据这些附图获得其他的附图。
[0020]图1是根据本申请一实施例的一种音视频数据的处理方法的示意性流程图；
[0021]图2a是根据本申请一实施例的一种媒体内存中缓存的音视频源数据的示意图；
[0022]图2b是根据本申请一实施例的一种系统内存中缓存的音视频编码数据的示意图；
[0023]图2c是根据本申请一实施例的一种音视频数据的同步过程示意图；
[0024]图3是根据本申请另一实施例的一种音视频数据的处理方法的示意性流程图；
[0025]图4是根据本申请一实施例的一种音视频数据的处理装置的结构示意图；
[0026]图5是根据本申请一实施例的一种音视频数据的处理设备的结构示意图。
具体实施方式
[0027]本申请实施例的目的是提供一种音视频数据的处理方法、装置、设备及存储介质，用以解决目前对于音视频设备缓本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音视频数据的处理方法，其特征在于，应用于音视频设备，所述方法包括：获取缓存的至少一帧音频源数据和至少一帧视频源数据；各帧所述音频源数据携带有该帧音频源数据对应的音频采集时间；各帧所述视频源数据携带有该帧视频源数据对应的视频采集时间；分别对各帧所述音频源数据和各帧所述视频源数据进行编码，得到各帧所述音频源数据对应的音频编码数据以及各帧所述视频源数据对应的视频编码数据；根据所述音频采集时间和所述视频采集时间，对各所述音频编码数据和各所述视频编码数据进行排序，得到目标音视频数据。2.根据权利要求1所述的方法，其特征在于，所述音视频设备包括媒体内存；所述获取缓存的至少一帧音频源数据和至少一帧视频源数据之前，还包括：采集所述音频源数据和所述视频源数据；将采集到的所述音频源数据和所述视频源数据分别缓存至所述媒体内存中。3.根据权利要求2所述的方法，其特征在于，所述音视频设备还包括系统内存；所述分别对各帧所述音频源数据和各帧所述视频源数据进行编码，得到各帧所述音频源数据对应的音频编码数据以及各帧所述视频源数据对应的视频编码数据，包括：按照各帧所述音频源数据分别对应的所述音频采集时间，依次对各帧所述音频源数据执行：对所述音频源数据进行编码，得到所述音频源数据对应的音频编码数据，并将所述音频编码数据缓存至所述系统内存中的第一缓存空间；以及，按照各帧所述视频源数据分别对应的所述视频采集时间，依次对各帧所述视频源数据执行：对所述视频源数据进行编码，得到所述视频源数据对应的视频编码数据，并将所述视频编码数据缓存至所述系统内存中的第二缓存空间。4.根据权利要求3所述的方法，其特征在于，所述根据所述音频采集时间和所述视频采集时间，对各所述音频编码数据和各所述视频编码数据进行排序，得到目标音视频数据，包括：根据各所述音频编码数据对应的所述音频采集时间以及各所述视频编码数据对应的所述视频采集时间，依次将各所述音频编码数据和各所述视频编码数据封装为指定格式的媒体流数据，并将所述媒体流数据缓存至所述系统内存中的第三缓存空间。5.根据权利要求4所述的方法，其特征在于，所述根据各所述音频编码数据对应的所述音频采集时间以及各所述视频编码数据对应的所述视频采集时间，依次将各所述音频编码数据和各所述视频编码数据封装为指定格式的媒体流数据，并将所述媒体流数据缓存至所述系统内存中的第三缓存空间，包括：根据各所述音频编码数据对应的所述音频采集时间以及各所述视频编码数据对应的所述视频采集时间，分别获取所述第一缓存空间中所述音频采集时间最早的目标音频编码数据，以及所述第二缓存空间中所述视频采集...

【专利技术属性】
技术研发人员：邓旺强，
申请(专利权)人：杭州萤石软件有限公司，
类型：发明
国别省市：