音频处理方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:35061927 阅读:26 留言:0更新日期:2022-09-28 11:16
本申请涉及一种音频处理方法、装置、计算机设备和存储介质。该方法包括:获取目标音频的频谱特征图;基于频谱特征图进行至少一次的降采样组合处理,得到降采样的中间特征矩阵;基于中间特征矩阵进行至少一次的特征提取组合处理,得到目标特征矩阵;根据目标特征矩阵进行音频处理,得到针对目标音频的音频处理结果。由于仅需要使用与输入数据的通道数量相同的卷积核,且作卷积处理次数与输入数据的通道数量相同,从而可降低计算量。另外,由于位于中间的拓展通道数量的卷积处理,其输出数据的通道数量比深度卷积处理与收缩通道数量的卷积处理的输出数据通道数量均要多,从而可避免因先对数据维度进行压缩而带来信息损失,进而可提高处理精准程度。提高处理精准程度。提高处理精准程度。

【技术实现步骤摘要】
音频处理方法、装置、计算机设备和存储介质


[0001]本申请涉及音频处理
,特别是涉及一种音频处理方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着网络技术的发展,移动终端等设备的输入方式除了手写输入和键盘输入以外,还可以通过语音输入来实现。结合实际应用需求,在获取到音频数据后,可以对音频数据进行处理,如对音频数据进行识别。
[0003]在相关技术中,主要是对音频数据作传统卷积处理,提取卷积特征,再基于提取到的卷积特征进行特征识别,得到识别结果。由于仅作传统卷积提取到的特征有限且计算量较大,从而处理效率和准确性较低。

技术实现思路

[0004]基于此,有必要针对上述技术问题,提供一种提高处理效率和准确性的音频处理方法、装置、计算机设备、存储介质和计算机程序产品。
[0005]一方面,本申请提供了一种音频处理方法,该方法包括:
[0006]获取目标音频的频谱特征图;
[0007]基于频谱特征图进行至少一次的降采样组合处理,得到降采样的中间特征矩阵;降采样组合处理包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频处理方法,其特征在于,所述方法包括:获取目标音频的频谱特征图;基于所述频谱特征图进行至少一次的降采样组合处理,得到降采样的中间特征矩阵;所述降采样组合处理包括至少一次的降采样卷积组合处理,所述降采样卷积组合处理包括依次进行的深度卷积处理、拓展通道数量的卷积处理和收缩通道数量的卷积处理;基于所述中间特征矩阵进行至少一次的特征提取组合处理,得到目标特征矩阵;所述特征提取组合处理包括依次进行的第一前馈处理、多头自注意力处理、卷积处理和第二前馈处理;根据所述目标特征矩阵进行音频处理,得到针对所述目标音频的音频处理结果。2.根据权利要求1所述的方法,其特征在于,所述获取目标音频的频谱特征图,包括:采用窗口长度为预设音频帧长并按照预设步长移动的窗口,从目标音频采集获得多个音频帧;所述预设步长小于所述预设音频帧长;获取所述多个音频帧中每一音频帧在不同频率区间分布的频率特征并表示为像素值序列,将所述每一音频帧的像素值序列按音频帧时序拼合,获得所述目标音频的频谱特征图。3.根据权利要求1所述的方法,其特征在于,所述至少一次的降采样组合处理中的目标降采样组合处理,还包括在所述目标降采样组合处理中的首次降采样卷积组合处理之前进行的降采样预处理;所述降采样预处理用于对通过所述目标降采样组合处理的数据进行降采样并输出适配所述首次降采样卷积组合处理的中间数据,使得所述中间数据经过所述目标降采样组合处理中的降采样卷积组合处理以进行再次降采样。4.根据权利要求3所述的方法,其特征在于,所述降采样预处理包括归一化处理以及至少一次的降采样卷积处理;所述降采样卷积处理用于对通过所述降采样卷积处理的数据进行卷积处理以进行降采样;所述归一化处理用于对通过所述归一化处理的数据进行特征值归一化。5.根据权利要求4所述的方法,其特征在于,针对所述至少一次的降采样组合处理中目标降采样组合处理所包括的目标降采样预处理,所述目标降采样预处理中的目标降采样卷积处理,是针对频域维度的;除所述目标降采样预处理之外,所述至少一次的降采样组合处理中涉及到的剩余降采样卷积处理,针对的维度在时域维度和频域维度中至少包括频域维度;所述频谱特征图中所述目标音频的多个音频帧的频率特征按照所述多个音频帧的时序排布。6.根据权利要求1至5任一项所述的方法,其特征在于,所述基于所述频谱特征图进行至少一次的降采样组合处理,得到降采样的中间特征矩阵,包括:基于所述频谱特征图,串行进行多次降采样组合处理,得到降采样的中间特征矩阵;其中,每次的降采样组合处理包括串行进行的多次降采样卷积组合处理。7.根据权利要求6所述的方法,其特征在于,每次的降采样组合处理均包括降采样预处理和在所述降采样预处理之后的多次降采样卷积组合处理;每次的降采样组合处理中降采样卷积组合处理的输出数据,相比本次的降采样组合处理中降采样卷积组合处理的输入数据通道数相同,相比下一次的降采样组合处理中降采样卷积组合处理的输入数据的通道数小。
8.根据权利要求1所述的方法,其特征在于,所述至少一次的特征提取组合处理中的目标特征提取组合处理之前进行有中间降采样处理;所述中间降采样处理包括归一化处理、非线性映射处理以及至少一次降采样卷积处理。9.根据权利要求8所述的方法,其特征在于,所述基于所述中间特征矩阵进行至少一次的特征提取组合处理,得到目标特征矩阵,包括:基于所述中间特征矩阵,串行进行多批次的特征提取组合处理,得到目标特征矩阵;其中,每批次的特征提取组合处理包括串行进行的特征提取组合处理...

【专利技术属性】
技术研发人员:江勇军余健
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1