音频信号处理方法和装置、训练方法、设备及介质制造方法及图纸

音频信号处理方法和装置、训练方法、设备及介质。本公开提供了一种利用神经网络进行时频域回声消除处理的音频信号处理方法，包括：获取参考音频信号和待处理音频信号；获得该参考音频信号的幅度谱矩阵以及该待处理音频信号的幅度谱矩阵和相位谱矩阵；利用第一神经网络对该待处理音频信号进行频域回声消除处理，生成第一处理后音频信号；获得该参考音频信号的实部数据矩阵和虚部数据矩阵以及该第一处理后音频信号的实部数据矩阵和虚部数据矩阵；利用第二神经网络对该第一处理后音频信号进行时域回声消除处理，生成第二处理后音频信号。本公开还提供了一种神经网络训练方法、音频信号处理装置、计算设备、计算机可读存储介质以及计算机程序产品。质以及计算机程序产品。质以及计算机程序产品。

【技术实现步骤摘要】
音频信号处理方法和装置、训练方法、设备及介质


[0001]本公开涉及计算机
，具体而言，涉及一种音频信号处理方法，以及一种应用了该音频信号处理方法的音频信号处理装置，此外还涉及一种神经网络模型的训练方法、计算设备、计算机可读存储介质以及计算机程序产品。

技术介绍

[0002]随着音频信号处理技术的不断发展，使用终端设备的目标对象对音频质量的要求也越来越高。如果通话过程中出现回声，那么通话质量将会受到严重影响。回声产生的原理是：音频信号在扬声器中播放以及在封闭或半封闭环境中经过多次反射而导致信号失真，最后与本地音频一起被麦克风采集从而形成回声。回声会干扰本地音频的传递，严重影响通信体验。
[0003]传统技术中一般使用自适应滤波器来消除回声中的线性部分，然而回声中的非线性部分往往难以被消除。近来，神经网络模型开始被应用于回声消除。神经网络模型可以与自适应滤波器组合使用，以便对自适应滤波器处理后的音频信号进行后处理，以去除信号中的非线性残留和少量的线性残留；或者，神经网络模型也可以用于替代自适应滤波器，以消除回声中的线性和非线性部分。目前所用的基于神经网络模型的回声消除处理通常将音频信号转换到频域，获得相应的幅度谱和相位谱，基于幅度谱进行回声消除处理，然后再结合相位谱变换到时域，以生成处理后的音频信号。然而，该处理方式中仅针对音频信号的幅度谱进行处理，而摒弃了相位，因此会对音频信号的回声消除质量带来不利影响。

技术实现思路

[0004]根据本公开的第一个方面，提供了一种音频信号处理方法，包括：获取参考音频信号和待处理音频信号，其中，该参考音频信号是通过本地扬声器播放的音频信号，该待处理音频信号是通过本地麦克风采集的音频信号；获得该参考音频信号的幅度谱矩阵，以及获得该待处理音频信号的幅度谱矩阵和相位谱矩阵；基于该参考音频信号的幅度谱矩阵、该待处理音频信号的幅度谱矩阵和相位谱矩阵，利用第一神经网络对该待处理音频信号进行频域回声消除处理，并且生成第一处理后音频信号；获得该参考音频信号的实部数据矩阵和虚部数据矩阵，以及获得该第一处理后音频信号的实部数据矩阵和虚部数据矩阵；基于该参考音频信号的实部数据矩阵和虚部数据矩阵以及该第一处理后音频信号的实部数据矩阵和虚部数据矩阵，利用第二神经网络对该第一处理后音频信号进行时域回声消除处理，并且生成第二处理后音频信号。
[0005]根据本公开的一些示例性实施例，该获得该参考音频信号的幅度谱矩阵包括：对该参考音频信号进行快速傅里叶变换，以获得该参考音频信号的幅度谱矩阵；以及，该获得该待处理音频信号的幅度谱矩阵和相位谱矩阵包括：对该待处理音频信号进行快速傅里叶变换，以获得该待处理音频信号的幅度谱矩阵和相位谱矩阵。
[0006]根据本公开的一些示例性实施例，该基于该参考音频信号的幅度谱矩阵、该待处
理音频信号的幅度谱矩阵和相位谱矩阵，利用第一神经网络对该待处理音频信号进行频域回声消除处理，并且生成第一处理后音频信号包括：将该参考音频信号的幅度谱矩阵与该待处理音频信号的幅度谱矩阵拼接，生成拼接幅度谱矩阵；将该拼接幅度谱矩阵输入该第一神经网络，生成幅度谱过滤矩阵；基于该幅度谱过滤矩阵和该待处理音频信号的幅度谱矩阵，生成过滤后幅度谱矩阵；以该过滤后幅度谱矩阵和该待处理音频信号的相位谱矩阵共同作为输入参数，进行快速傅里叶逆变换，以生成该第一处理后音频信号。
[0007]根据本公开的一些示例性实施例，该幅度谱过滤矩阵的大小与该待处理音频信号的幅度谱矩阵的大小相同，并且其中，该基于该幅度谱过滤矩阵和该待处理音频信号的幅度谱矩阵，生成过滤后幅度谱矩阵包括：将该待处理音频信号的幅度谱矩阵中每一个元素与该幅度谱过滤矩阵中对应位置的一个元素相乘，以生成该过滤后幅度谱矩阵。
[0008]根据本公开的一些示例性实施例，该基于该幅度谱过滤矩阵和该待处理音频信号的幅度谱矩阵，生成过滤后幅度谱矩阵包括：将该待处理音频信号的幅度谱矩阵与该幅度谱过滤矩阵进行卷积，以生成该过滤后幅度谱矩阵。
[0009]根据本公开的一些示例性实施例，该获得该参考音频信号的实部数据矩阵和虚部数据矩阵，以及获得该第一处理后音频信号的实部数据矩阵和虚部数据矩阵包括：对该参考音频信号进行快速傅里叶变换，以获得该参考音频信号的实部数据矩阵和虚部数据矩阵；对该第一处理后音频信号进行快速傅里叶变换，以获得该第一处理后音频信号的实部数据矩阵和虚部数据矩阵。
[0010]根据本公开的一些示例性实施例，该基于该参考音频信号的实部数据矩阵和虚部数据矩阵以及该第一处理后音频信号的实部数据矩阵和虚部数据矩阵，利用第二神经网络对该第一处理后音频信号进行时域回声消除处理，并且生成第二处理后音频信号包括：将该参考音频信号的实部数据矩阵与该第一处理后音频信号的实部数据矩阵拼接，生成拼接实部数据矩阵，并且将该参考音频信号的虚部数据矩阵与该第一处理后音频信号的虚部数据矩阵拼接，生成拼接虚部数据矩阵；将该拼接实部数据矩阵和该拼接虚部数据矩阵输入该第二神经网络，生成实部数据过滤矩阵和虚部数据过滤矩阵；基于该第一处理后音频信号的实部数据矩阵和该实部数据过滤矩阵，生成过滤后实部数据矩阵，基于该第一处理后音频信号的虚部数据矩阵和该虚部数据过滤矩阵，生成过滤后虚部数据矩阵；以该过滤后实部数据矩阵和该过滤后虚部数据矩阵共同作为输入参数，进行快速傅里叶逆变换，以生成该第二处理后音频信号。
[0011]根据本公开的一些示例性实施例，该实部数据过滤矩阵的大小与该第一处理后音频信号的实部数据矩阵的大小相同，该虚部数据过滤矩阵的大小与该第一处理后音频信号的虚部数据矩阵的大小相同，并且其中，该基于该第一处理后音频信号的实部数据矩阵和该实部数据过滤矩阵，生成过滤后实部数据矩阵，基于该第一处理后音频信号的虚部数据矩阵和该虚部数据过滤矩阵，生成过滤后虚部数据矩阵包括：将该第一处理后音频信号的实部数据矩阵中每一个元素与该实部数据过滤矩阵中对应位置的一个元素相乘，以生成该过滤后实部数据矩阵；将该第一处理后音频信号的虚部数据矩阵中每一个元素与该虚部数据过滤矩阵中对应位置的一个元素相乘，以生成该过滤后虚部数据矩阵。
[0012]根据本公开的一些示例性实施例，该基于该第一处理后音频信号的实部数据矩阵和该实部数据过滤矩阵，生成过滤后实部数据矩阵包括：将该第一处理后音频信号的实部
数据矩阵与该实部数据过滤矩阵进行卷积，以生成该过滤后实部数据矩阵；以及，该基于该第一处理后音频信号的虚部数据矩阵和该虚部数据过滤矩阵，生成过滤后虚部数据矩阵包括：将该第一处理后音频信号的虚部数据矩阵与该虚部数据过滤矩阵进行卷积，以生成该过滤后虚部数据矩阵。
[0013]根据本公开的一些示例性实施例，该第一神经网络和该第二神经网络都是长短期记忆神经网络。
[0014]根据本公开的第二个方面，提供了一种神经网络训练方法，包括：获取参考音频信号和待处理音频信号，其中，该参考音频信号是通过本地扬声器播放的音频信号，该待处理音频信号是将本地麦克风采集的音频信号与真实音频信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频信号处理方法，包括：获取参考音频信号和待处理音频信号，其中，所述参考音频信号是通过本地扬声器播放的音频信号，所述待处理音频信号是通过本地麦克风采集的音频信号；获得所述参考音频信号的幅度谱矩阵，以及获得所述待处理音频信号的幅度谱矩阵和相位谱矩阵；基于所述参考音频信号的幅度谱矩阵、所述待处理音频信号的幅度谱矩阵和相位谱矩阵，利用第一神经网络对所述待处理音频信号进行频域回声消除处理，并且生成第一处理后音频信号；获得所述参考音频信号的实部数据矩阵和虚部数据矩阵，以及获得所述第一处理后音频信号的实部数据矩阵和虚部数据矩阵；基于所述参考音频信号的实部数据矩阵和虚部数据矩阵以及所述第一处理后音频信号的实部数据矩阵和虚部数据矩阵，利用第二神经网络对所述第一处理后音频信号进行时域回声消除处理，并且生成第二处理后音频信号。2.如权利要求1所述的音频信号处理方法，其中，所述获得所述参考音频信号的幅度谱矩阵包括：对所述参考音频信号进行快速傅里叶变换，以获得所述参考音频信号的幅度谱矩阵，以及所述获得所述待处理音频信号的幅度谱矩阵和相位谱矩阵包括：对所述待处理音频信号进行快速傅里叶变换，以获得所述待处理音频信号的幅度谱矩阵和相位谱矩阵。3.如权利要求1所述的音频信号处理方法，其中，所述基于所述参考音频信号的幅度谱矩阵、所述待处理音频信号的幅度谱矩阵和相位谱矩阵，利用第一神经网络对所述待处理音频信号进行频域回声消除处理，并且生成第一处理后音频信号包括：将所述参考音频信号的幅度谱矩阵与所述待处理音频信号的幅度谱矩阵拼接，生成拼接幅度谱矩阵；将所述拼接幅度谱矩阵输入所述第一神经网络，生成幅度谱过滤矩阵；基于所述幅度谱过滤矩阵和所述待处理音频信号的幅度谱矩阵，生成过滤后幅度谱矩阵；以所述过滤后幅度谱矩阵和所述待处理音频信号的相位谱矩阵共同作为输入参数，进行快速傅里叶逆变换，以生成所述第一处理后音频信号。4.如权利要求3所述的音频信号处理方法，其中，所述幅度谱过滤矩阵的大小与所述待处理音频信号的幅度谱矩阵的大小相同，并且其中，所述基于所述幅度谱过滤矩阵和所述待处理音频信号的幅度谱矩阵，生成过滤后幅度谱矩阵包括：将所述待处理音频信号的幅度谱矩阵中每一个元素与所述幅度谱过滤矩阵中对应位置的一个元素相乘，以生成所述过滤后幅度谱矩阵。5.如权利要求3所述的音频信号处理方法，其中，所述基于所述幅度谱过滤矩阵和所述待处理音频信号的幅度谱矩阵，生成过滤后幅度谱矩阵包括：将所述待处理音频信号的幅度谱矩阵与所述幅度谱过滤矩阵进行卷积，以生成所述过滤后幅度谱矩阵。6.如权利要求1所述的音频信号处理方法，其中，所述获得所述参考音频信号的实部数据矩阵和虚部数据矩阵，以及获得所述第一处理后音频信号的实部数据矩阵和虚部数据矩
阵包括：对所述参考音频信号进行快速傅里叶变换，以获得所述参考音频信号的实部数据矩阵和虚部数据矩阵；对所述第一处理后音频信号进行快速傅里叶变换，以获得所述第一处理后音频信号的实部数据矩阵和虚部数据矩阵。7.如权利要求1所述的音频信号处理方法，其中，所述基于所述参考音频信号的实部数据矩阵和虚部数据矩阵以及所述第一处理后音频信号的实部数据矩阵和虚部数据矩阵，利用第二神经网络对所述第一处理后音频信号进行时域回声消除处理，并且生成第二处理后音频信号包括：将所述参考音频信号的实部数据矩阵与所述第一处理后音频信号的实部数据矩阵拼接，生成拼接实部数据矩阵，并且将所述参考音频信号的虚部数据矩阵与所述第一处理后音频信号的虚部数据矩阵拼接，生成拼接虚部数据矩阵；将所述拼接实部数据矩阵和所述拼接虚部数据矩阵输入所述第二神经网络，生成实部数据过滤矩阵和虚部数据过滤矩阵；基于所述第一处理后音频信号的实部数据矩阵和所述实部数据过滤矩阵，生成过滤后实部数据矩阵，基于所述第一处理后音频信号的虚部数据矩阵和所述虚部数据过滤矩阵，生成过滤后虚部数据矩阵；以所述过滤后实部数据矩阵和所述过滤后虚部数据矩阵共同作为输入参数，进行快速傅里叶逆变换，以生成所述第二处理后音频信号。8.如权利要求7所述的音频信号处理方法，其中，所述实部数据过滤矩阵的大小与所述第一处理后音频信号的实部数据矩阵的大小相同，所述虚部数据过滤矩阵的大小与所述第一处理后音频信号的虚部数据矩阵的大小相同，并且其中，所述基于所述第一处理后音频信号的实部数据矩阵和所述实部数据过滤矩阵，生成过滤后实部数据矩阵，基于所述第一处理后音频信号的虚部数据矩阵和所述虚部数据过滤矩阵，生成过滤后虚部数据矩阵包括：将所述第一处理后音频信号的实部数据矩阵中每一个元素与所述实部数据过滤矩阵中对应位置的一个元素相乘，以生成所述过滤后实部数据矩阵；将所述第一处理后音频信号的虚部数据矩阵中每一个元素与所述虚部数据过滤矩阵中对应位置的一个元素相乘，以生成所述过滤后虚部数据矩阵。9.如权利要求7所述的音频信号处理方法，其中，所述基于所述第一处理后音频信号的实部数据矩阵和所述实部...

【专利技术属性】
技术研发人员：马东鹏，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：