音频处理方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请实施例提供了一种音频处理的方法、装置、电子设备及计算机可读存储介质，涉及语音增强技术领域，该方法包括：获取空气传导音频采集设备采集的第一音频信号以及体传导音频采集设备采集到的第二音频信号，然后基于第一音频信号以及第二音频信号之间的信号相关性，对第一音频信号以及第二音频信号进行语音增强处理，得到语音增强处理后待输出的音频信号。本申请实施例实现了对耳机的音频采集设备采集到的信号进行音频增强，可以得到效果更好的音频信号，以进行语音传输或者语音识别等应用。

Audio processing method, device, electronic equipment and computer readable storage medium

【技术实现步骤摘要】
音频处理方法、装置、电子设备及计算机可读存储介质
本申请涉及语音增强
，具体而言，本申请涉及一种音频处理方法、装置、电子设备及计算机可读存储介质。
技术介绍
随着信息技术的发展，耳机技术也随之发展。拥有两个音频采集设备(空气传导音频采集设备和体传导音频采集设备)的耳机应运而生。其中空气传导音频采集设备采集到的声音容易受到周围环境的干扰，因此采集到的声音中可能包含很多噪声，而体传导音频采集设备采集到的声音是通过身体组织传导(如骨传导)得到的，因此体传导音频采集设备采集到噪声较少，甚至不会采集到噪声。由于空气传导音频采集设备采集到的声音容易受到环境噪声的影响，因此空气传导采集到的声音为全频带的。而体传导音频采集设备采集到的声音是通过身体组织传导采集到的，因此即体传导音频采集设备采集到的声音高频部分丢失。因此设置有两个音频采集设备的耳机如何利用两个音频采集设备的不同特性得到效果更好的语音信号，并进行语音传输或者语音识别等应用成为一个关键问题。
技术实现思路
本申请提供了一种音频处理方法、装置、电子设备及计算机可读存储介质，用于利用耳机的两个音频采集设备的不同特性得到效果更好的语音信号，以进行语音传输或者语音识别等应用。具体技术方案如下所示：第一方面，提供了一种音频处理方法，该方法包括：获取空气传导音频采集设备采集的第一音频信号以及体传导音频采集设备采集到的第二音频信号；基于第一音频信号以及第二音频信号之间的信号相关性，对第一音频信号以及第二音频信号进行语音增强处理，得到语音增强处理后待输出的音频信号。第二方面，提供了一种音频处理的装置，该装置包括：第一获取模块，用于获取空气传导音频采集设备采集的第一音频信号以及体传导音频采集设备采集到的第二音频信号；语音增强处理模块，用于基于第一音频信号以及第二音频信号之间的信号相关性，对第一获取模块获取到的第一音频信号以及第二音频信号进行语音增强处理，得到语音增强处理后待输出的音频信号。第三方面，提供了一种电子设备，包括：空气传导音频采集设备、体传导音频采集设备、音频信号播放设备、处理器及存储器；其中，空气传导音频采集设备，用于采集通过空气传导的第一音频信号；体传导音频采集设备，用于采集通过身体组织传导的第二音频信号；音频信号播放设备，用于播放音频信号；存储器，配置用于存储机器可读指令，指令在由处理器执行时，使得处理器执行第一方面所示的音频处理的方法。第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现第一方面所示的音频处理的方法。第五方面，提供了另一种音频处理的方法，包括：获取空气传导音频采集设备采集的第一音频信号以及体传导音频采集设备采集到的第二音频信号；对第二音频信号进行环境音抵消处理；基于第一音频信号以及环境音抵消处理后的第二音频信号，确定待输出的音频信号。第六方面，提供了另一种音频处理的装置，包括：第二获取模块，用于获取空气传导音频采集设备采集的第一音频信号以及体传导音频采集设备采集到的第二音频信号；环境音抵消处理模块，用于对第二获取模块获取到的第二音频信号进行环境音抵消处理；确定模块，用于基于第二获取模块获取到的第一音频信号以及环境音抵消处理模块进行环境音抵消处理后的第二音频信号，确定待输出的音频信号。第七方面，提供了一种电子设备，包括：空气传导音频采集设备、体传导音频采集设备、音频信号播放设备、处理器及存储器；其中，空气传导音频采集设备，用于采集通过空气传导的第一音频信号；体传导音频采集设备，用于采集通过身体组织传导的第二音频信号；音频信号播放设备，用于播放音频信号；存储器，配置用于存储机器可读指令，指令在由处理器执行时，使得处理器执行第五方面所示的音频处理的方法。第八方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现第五方面所示的音频处理的方法。本申请实施例提供的技术方案带来的有益效果是：本申请提供了一种音频处理方法、装置、电子设备及计算机可读存储介质，本申请通过获取空气传导音频采集设备采集的第一音频信号以及体传导音频采集设备采集到的第二音频信号，能够基于第一音频信号以及第二音频信号之间的信号相关性，对第一音频信号以及第二音频信号进行语音增强处理，得到语音增强处理后待输出的音频信号，即基于空气传导音频采集设备采集到的音频信号与体传导音频采集设备采集到的音频信号的相关性，进行空气传导音频采集设备采集到的音频信号以及体传导音频采集设备采集到的音频信号的语音增强处理，从而可以得到效果更好的语音信号，以进行语音传输或者语音识别等应用。本申请提供了一种音频处理方法、装置、电子设备及计算机可读存储介质，本申请获取空气传导音频采集设备采集的第一音频信号以及体传导音频采集设备采集到的第二音频信号，然后对第二音频信号进行环境音抵消处理，并基于第一音频信号以及环境音抵消处理后的第二音频信号，确定待输出的音频信号。即通过先对体传导音频采集设备采集到的音频信号进行环境音抵消处理，得到不包含环境音的语音信号，并基于将空气传导音频采集设备采集到的音频信号以及环境音抵消处理后的体传导音频采集设备采集到的音频信号得到待输出信号，从而可以得到效果更好的音频信号，以进行语音传输或者语音识别等应用。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。图1为使用传统耳机时，通话对端用户听不清通话语音或者无法准确识别语音指令的示意图；图2为使用拥有体传导音频采集设备的耳机时，通话对端用户能够听清通话语音或者能够准确识别语音指令的示意图；图3为现有技术中进行语音增强处理的流程示意图；图4为设置有空气传导音频采集设备和体传导音频采集设备的耳机的一种结构示意图；图5为本申请实施例中一种音频处理的方法流程示意图；图6为本申请实施例中另一种音频处理的方法流程示意图；图7a为实施例一中的第一个具体实例中音频处理的方法流程示意图；图7b为本申请实施例一种音频处理的总流程示意图；图7c为本申请实施例一中音频处理的具体实现流程示意图；图7d为通过联合语音估计计算最终的语音频谱幅度的示意图；图7e为实施例一中的第二个具体实例的方法流程示意图；图7f为实施例一中的第三个具体实例的方法流程示意图；图8a为通过环境音抵消处理以及语音增强处理实现音频增强的流程示意图；图8b为本申请实施例二中音频处理的方法流程示意图；图8c为本申请实施例基于设定的滤波器进行滤波以及更新滤波器参数的示意图；图9a为本申请实施例二中语音激活检测的示意图；图9b为本申请实施例二中语音激活检测的方法流程示意图；图9c为基于本文档来自技高网...

【技术保护点】
1.一种音频处理方法，其特征在于，包括：/n获取空气传导音频采集设备采集的第一音频信号以及体传导音频采集设备采集到的第二音频信号；/n基于所述第一音频信号以及所述第二音频信号之间的信号相关性，对所述第一音频信号以及所述第二音频信号进行语音增强处理，得到语音增强处理后待输出的音频信号。/n

【技术特征摘要】
1.一种音频处理方法，其特征在于，包括：
获取空气传导音频采集设备采集的第一音频信号以及体传导音频采集设备采集到的第二音频信号；
基于所述第一音频信号以及所述第二音频信号之间的信号相关性，对所述第一音频信号以及所述第二音频信号进行语音增强处理，得到语音增强处理后待输出的音频信号。


2.根据权利要求1所述的方法，其特征在于，基于所述第一音频信号以及所述第二音频信号之间的信号相关性，对所述第一音频信号以及所述第二音频信号进行语音增强处理，包括：
对所述第一音频信号和第二音频信号分别进行噪声估计；
根据第一音频信号和第二音频信号对应的噪声估计结果，分别对第一音频信号和第二音频信号进行语音频谱估计；
根据第一音频信号和第二音频信号对应的语音频谱估计结果，对第一音频信号和第二音频信号进行语音增强处理。


3.根据权利要求2所述的方法，其特征在于，对所述第一音频信号进行噪声估计，包括：
确定所述第一音频信号对应的语音存在先验概率；
基于所述语音存在先验概率，对所述第一音频信号进行噪声估计。


4.根据权利要求3所述的方法，其特征在于，确定所述第一音频信号对应的语音存在先验概率，包括：
确定第一音频信号和第二音频信号间的信号频率幅度比；
基于所述信号频率幅度比，确定所述第一音频信号对应的语音存在先验概率。


5.根据权利要求3或4所述的方法，其特征在于，基于所述语音存在先验概率，对所述第一音频信号进行噪声估计，包括：
基于所述语音存在先验概率，确定对应的语音存在后验概率；
基于所述语音存在后验概率，对所述第一音频信号进行噪声估计。


6.根据权利要求2-5任一项所述的方法，其特征在于，根据第一音频信号和第二音频信号对应的语音频谱估计结果，对第一音频信号和第二音频信号进行语音增强处理，包括：
根据第一音频信号和第二音频信号对应的噪声估计结果，以及第一音频信号和第二音频信号对应的语音频谱估计结果，对第一音频信号和第二音频信号进行语音增强处理。


7.根据权利要求6所述的方法，其特征在于，根据第一音频信号和第二音频信号对应的噪声估计结果，以及第一音频信号和第二音频信号对应的语音频谱估计结果，对第一音频信号和第二音频信号进行语音增强处理，包括：
根据第一音频信号和第二音频信号对应的噪声估计结果，以及第一音频信号和第二音频信号对应的语音频谱估计结果，对所述第一音频信号和第二音频信号进行联合语音频谱估计；
根据得到的联合语音频谱估计结果，得到语音增强处理后待输出的音频信号。


8.根据权利要求7所述的方法，其特征在于，根据第一音频信号和第二音频信号对应的噪声估计结果，以及第一音频信号和第二音频信号对应的语音频谱估计结果，对所述第一音频信号和第二音频信号进行联合语音频谱估计，包括：
根据均值为第一音频信号的语音频谱估计结果，方差为第一音频信号的噪声估计结果的第一高斯分布模型，以及均值为第二音频信号的语音频谱估计结果，方差为第二音频信号的噪声估计结果的第二高斯分布模型，确定第三高斯分布模型的均值；
根据所述第三高斯分布模型的均值，确定对所述第一音频信号和第二音频信号进行联合语音频谱估计的联合语音频谱估计结果。


9.根据权利要求1-8任一项所述的方法，其特征在于，对所述第一音频信号以及所述第二音频信号进行语音增强处理之前，包括：
对所述第二音频信号进行环境音抵消处理，得到环境音抵消处理后的第二音频信号；
对所述第一音频信号以及所述第二音频信号进行语音增强处理，包括：
对所述第一音频信号以及环境音抵消处理后的第二音频信号进行语音增强处理。


10.根据权利要求9所述的方法，其特征在于，对所述第二音频信号进行环境音抵消处理，包括：
获取音频信号播放设备待播放的第三音频信号；
通过第三音频信号对第二音频信号进行环境音抵消处理，得到环境音抵消处理后的第二音频信号。


11.根据权利要求10所述的方法，其特征在于，通过第三音频信号对第二音频信号进行环境音抵消处理，包括：
检测当前是否处于语音激活状态，所述语音激活状态表征用户正在发出语音；
若检测到处于语音激活状态，则执行所述通过第三音频信号对第二音频信号进行环境音抵消处理的步骤。


12.根据权利要求11所述的方法，其特征在于，检测当前是否处于语音激活状态，包括：
根据所述第二音频信号和/或所述第三音频信号，确定音频信号播放设备信道和/或体传导音频采集设备信道是否处于语音激活状态；
若至少一个...

【专利技术属性】
技术研发人员：杨磊，王维钦，方兵晓，李云川，王立众，朱恒，马振昌，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京;11