音频处理方法技术

本申请提供了一种音频处理方法

【技术实现步骤摘要】
音频处理方法、装置、设备及存储介质


[0001]本申请涉及音频处理
，具体而言，涉及一种音频处理方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]随着车联网行业的飞速发展，安全驾驶的日益重视，车队管理者对司机驾驶过程遇到危险驾驶时能提供通过免按键接听的语音对讲进行实时干预的需求越来越多，通话录音作为干预记录的重要凭证要求内容齐全
、
同步性高
。
[0003]当前，终端设备记录通话录音时，通常将通话各方的音频缓存至通话应用程序，再对缓存后的通话多方音频直接进行混音，得到通话录音再进行存储
。
[0004]但是，真实应用环境中由于发起语音通话后通话各方开始推送音频存在时间差
、
通话各方缓存的音频在网络传输过程中存在不同程度的延迟或丢包情况，导致对通话各方缓存的音频直接进行混音得到的通话录音存在严重的时序不同步问题
。

技术实现思路

[0005]本申请的目的在于，针对上述现有技术中的不足，提供一种音频处理方法
、
装置
、
设备及存储介质，以实现音频混音后时序同步，保证了混音后音频的完整性
。
[0006]为实现上述目的，本申请实施例采用的技术方案如下：
[0007]第一方面，本申请一实施例提供了一种音频处理方法，所述方法包括：
[0008]对多个语音通话方对应的音频流进行分帧，得到各所述音频流对应的至少一个音频帧；
[0009]依次将各所述音频流对应的至少一个音频帧缓存至对应的所述缓存队列中，并确定各所述缓存队列之间的总音频帧时间差是否大于预设时间阈值；其中，所述缓存队列为以音频帧时间戳为顺序对各音频帧进行排序的有序队列；
[0010]若是，则对总音频帧时间最小的目标缓存队列的时间帧进行补充，直至各所述缓存队列之间的总音频帧时间差小于预设时间阈值；
[0011]对基于补充后的各所述缓存队列对所述多个音频流进行混音
。
[0012]在一种可能的实现方式中，确定接收到的音频流是否为来自一个语音通话方的音频流；
[0013]若是，则丢弃所述接收到的音频流
。
[0014]在一种可能的实现方式中，根据预设起始时间，对各所述音频流中的起始音频帧进行标记
。
[0015]在一种可能的实现方式中，分别从补充后的各所述缓存队列中逐帧获取多个待混音音频帧，对多个所述待混音音频帧进行混音
。
[0016]在一种可能的实现方式中，基于预设补充帧数，将所述预设补充帧数的补充音频帧补充至所述目标缓存队列中
。
[0017]在一种可能的实现方式中，基于所述预设补充帧数，将所述补充音频帧补充至所述目标缓存队列的最后一个音频帧中
。
[0018]在一种可能的实现方式中，基于预设单帧时间，对获取的多个语音通话方对应的音频流进行分帧，得到各所述音频流对应的至少一个音频帧
。
[0019]第二方面，本申请另一实施例提供了一种音频处理装置，所述装置包括：
[0020]分帧模块，用于对多个语音通话方对应的音频流进行分帧，得到各所述音频流对应的至少一个音频帧；
[0021]确定模块，用于依次将各所述音频流对应的至少一个音频帧缓存至对应的所述缓存队列中，并确定各所述缓存队列之间的总音频帧时间差是否大于预设时间阈值；其中，所述缓存队列为以音频帧时间戳为顺序对各音频帧进行排序的有序队列；
[0022]补充模块，用以若是，则对总音频帧时间最小的目标缓存队列的时间帧进行补充，直至各所述缓存队列之间的总音频帧时间差小于预设时间阈值；
[0023]处理模块，用于对基于补充后的各所述缓存队列对所述多个音频流进行混音
。
[0024]第三方面，本申请另一实施例提供了一种电子设备，包括：处理器
、
存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述第一方面任一所述音频处理方法的步骤
。
[0025]第四方面，本申请另一实施例提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面任一所述音频处理方法的步骤
。
[0026]本申请的有益效果是：
[0027]本申请提供一种音频处理方法
、
装置
、
设备及存储介质，首先对获取到的多个语音通话方对应的音频流进行分帧，得到各音频流对应的至少一个音频帧；然后依次将各所述音频流对应的至少一个音频帧缓存至对应的缓存队列中，并确定各缓存队列之间的总音频帧时间差是否大于预设时间阈值；其中，缓存队列为以音频帧时间戳为顺序对各音频帧进行排序的有序队列；若总音频帧时间差是否大于预设时间阈值则对总音频帧时间最小的目标缓存队列的时间帧进行补充，直至各缓存队列之间的总音频帧时间差小于预设时间阈值；最后对基于补充后的各缓存队列对多个音频流进行混音
。
本申请通过将获取的多个语音通话方对应的音频流进行分帧存储对应的缓存队列，通过监控各缓存队列的总音频帧时间差，并在音频帧时间差大于预设时间阈值则对总音频帧时间最小的目标缓存队列的时间帧进行补充，并对补充后的各缓存队列进行混音处理，使得各缓存队列的总音频帧时间差保持在小于预设时间阈值的状态，也即通过上述处理后的各缓存队列进行经过混音处理后的多个语音通话方的通话音频文件时序同步，保证了混音后音频的完整性
。
附图说明
[0028]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图
。
[0029]图1为本申请实施例提供的一种音频处理框架图；
[0030]图2为本申请实施例提供的一种音频处理方法的流程图；
[0031]图3为本申请实施例提供的另一种音频流处理方法的流程图；
[0032]图4为本申请实施例提供的一种音频处理的原理图；
[0033]图5为本申请实施例提供的一种音频处理装置的示意图；
[0034]图6为本申请实施例提供的一种电子设备结构示意图
。
具体实施方式
[0035]为使本申请实施例的目的
、
技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚
、
完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围
。
另外，应当理解，示意性的附图并未按实物比例绘本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种音频处理方法，其特征在于，所述方法包括：对多个语音通话方对应的音频流进行分帧，得到各所述音频流对应的至少一个音频帧；依次将各所述音频流对应的至少一个音频帧缓存至对应的缓存队列中，并确定各所述缓存队列之间的总音频帧时间差是否大于预设时间阈值；其中，所述缓存队列为以音频帧时间戳排序的有序队列；若是，则对总音频帧时间最小的目标缓存队列的时间帧进行补充，直至各所述缓存队列之间的总音频帧时间差小于预设时间阈值；对基于补充后的各所述缓存队列对所述多个音频流进行混音
。2.
如权利要求1所述的方法，其特征在于，所述对多个语音通话方对应的音频流进行分帧之前，所述方法包括：确定接收到的音频流是否为来自一个语音通话方的音频流；若是，则丢弃所述接收到的音频流
。3.
如权利要求1所述的方法，其特征在于，依次将各所述音频流对应的至少一个音频帧缓存至对应的所述缓存队列中之前，所述方法还包括：根据预设起始时间，对各所述音频流中的起始音频帧进行标记
。4.
如权利要求1所述的方法，其特征在于，对基于补充后的各所述缓存队列对所述多个音频流进行混音，包括：分别从补充后的各所述缓存队列中逐帧获取多个待混音音频帧，对多个所述待混音音频帧进行混音
。5.
如权利要求1所述的方法，其特征在于，所述对总音频帧时间最小的目标缓存队列的时间帧进行补充，包括：基于预设补充帧数，将所述预设补充帧数的补充音频帧补充至所述目标缓存队列中
。6.
如权利要求5所述的方法，其特征在于，所述基于预设补充帧数，...

【专利技术属性】
技术研发人员：袁建平，
申请(专利权)人：北京汇通天下物联科技有限公司，
类型：发明
国别省市：