一种音频信号处理方法、模型训练方法以及相关装置制造方法及图纸

本申请公开了一种音频信号处理方法、模型训练方法以及相关装置，通过对音频输入信号输入机器学习模型，以得到第一啸叫点以及对应的第一增益值；然后根据第二增益值对音频输入信号中的第二啸叫点进行处理，以得到音频输出信号。从而实现了对于音频输入信号中啸叫的抑制，使得啸叫在初始阶段就被抑制，无法在进行增益循环；由于机器学习模型中指示啸叫点的对应性以及模型计算的便捷性，使得上述处理过程迅速，且不会对有效音频信号产生影响，提高了音频处理的准确性及效率。

An audio signal processing method, model training method and related devices

【技术实现步骤摘要】
一种音频信号处理方法、模型训练方法以及相关装置
本申请涉及计算机
，尤其涉及一种音频信号处理方法、模型训练方法以及相关装置。
技术介绍
随着移动终端相关技术的发展，越来越多的智能设备出现在人们的生活中，其中，通过智能设备进行进行语音通话尤为突出，然而由于通话过程中本端麦克风也会采集到对端扬声器的音频信号，这些音频信号可能在本端与对端的语音过程中循环，尤其在近距离的语音过程中，音频信号会不断的循环增益，从而产生啸叫。一般，可以采用移频器或移相器对本端的输入音频进行处理，即破坏与啸叫产生的相位一致的音频信息，从而实现啸叫抑制。但是，使用移频器或移相器的方法处理时间较长，不适用于语音通话的实时处理的场景，且由于对于啸叫点固定的相位移除，也会对有效音频的音质产生损伤，影响音频处理的准确性。
技术实现思路
有鉴于此，本申请提供一种音频信号处理的方法，可以有效定位啸叫点并进行啸叫抑制，提高音频信号处理过程的准确性。本申请第一方面提供一种音频信号处理的方法，可以应用于终端设备中包含音频信号处理功能的系统或程序中，具体包括：获取第一音频输入信号；将所述第一音频输入信号输入机器学习模型，以得到第一啸叫点，根据所述第一啸叫点获得第一增益值，其中，所述第一啸叫点用于指示所述第一音频输入信号中有效音频输入信号对应频段的啸叫点；所述第一增益值用于指示所述第一啸叫点的抑制参数，根据所述第一增益值处理所述第一音频输入信号，以得到第二音频输入信号；检测所述第二音频输入信号，以得到第二啸叫点，根据所述第二啸叫点获得第二增益值，所述第二啸叫点用于指示非所述有效音频信号对应频段的啸叫点；根据第二增益值对第二音频输入信号进行处理，以得到音频输出信号。可选的，在本申请一些可能的实现方式中，所述将所述第一音频输入信号输入机器学习模型，以得到第一啸叫点，根据所述第一啸叫点获得第一增益值，包括：将所述音频输入信号转换至频域，以提取多个音频特征，所述音频特征基于所述有效音频信号或所述啸叫样本的特征确定；将所述音频特征输入所述机器学习模型，以确定所述第一啸叫点；根据所述第一啸叫点获得对应的第一增益值。可选的，在本申请一些可能的实现方式中，所述将所述音频输入信号转换至频域，以提取多个音频特征，包括：将所述音频输入信号调整至目标频率，以转换至频域；确定转换至频域后的音频输入信号中的多个采样点；基于所述采样点提取多个所述音频特征。可选的，在本申请一些可能的实现方式中，所述确定转换至频域后的音频输入信号中的多个采样点，包括：基于窗函数对转换至频域后的音频输入信号进行划分，以得到多个子带；确定所述子带中的多个所述采样点。可选的，在本申请一些可能的实现方式中，所述根据第二增益值对第二音频输入信号进行处理，以得到音频输出信号，包括：获取所述第二音频输入信号对应的功率谱；检测所述功率谱中的极值，并确定对应的候选频点；根据所述候选频点确定所述第二啸叫点；根据所述第二增益值对所述第二啸叫点进行处理，以得到所述音频输出信号。可选的，在本申请一些可能的实现方式中，所述根据所述候选频点确定所述第二啸叫点，包括：获取所述候选频点相邻的多个频点，以确定候选范围；确定所述候选范围中频点的平均频率平均值，以获取峰值均值比；若所述峰值均值比大于啸叫阈值，则确定所述候选频点为所述第二啸叫点。可选的，在本申请一些可能的实现方式中，所述根据所述候选频点确定所述第二啸叫点之后，所述方法还包括：获取有效音频信号中的特征信息，所述特征信息基于所述有效音频信号指示的波形特征确定，所述有效音频信号用于指示语音样本；根据所述特征信息检测所述第二音频输入信号中对应的有效音频信号；对所述有效音频信号进行锁定操作，所述锁定操作用于指示所述第二增益值的非作用对象。可选的，在本申请一些可能的实现方式中，所述方法还包括：确定所述第二啸叫点对应的多个增益帧；根据平滑公式对所述增益帧进行处理，以对所述音频输出信号进行更新。可选的，在本申请一些可能的实现方式中，所述获取第一音频输入信号，包括：获取采集信号；将所述采集信号转换为数字信号；将所述数字信号输入放大器，以得到所述第一音频输入信号。可选的，在本申请一些可能的实现方式中，所述将所述数字信号输入放大器，以得到所述第一音频输入信号，包括：将所述数字信号输入放大器，以得到放大信号；根据滤波参数处理所述放大信号，以得到滤波后的放大信号；将所述滤波后的放大信号进行傅立叶变换到频域，以得到所述第一音频输入信号。可选的，在本申请一些可能的实现方式中，所述机器学习模型为循环神经网络模型，所述第一音频输入信号和所述音频输出信号应用于终端设备的语音通话过程中。可选的，在本申请一些可能的实现方式中，所述音频信号的处理方法应用于游戏语音通话过程中，所述获取第一音频输入，包括：检测特征元素的触发情况，所述特征元素为游戏界面中的元素；若所述特征元素被触发，则获取所述第一音频输入。本申请第二方面提供一种音频信号处理的装置，包括：获取单元，用于获取第一音频输入信号；输入单元，用于将所述第一音频输入信号输入机器学习模型，以得到第一啸叫点，根据所述第一啸叫点获得第一增益值，其中，所述第一啸叫点用于指示所述第一音频输入信号中有效音频输入信号对应频段的啸叫点；所述第一增益值用于指示所述第一啸叫点的抑制参数，根据所述第一增益值处理所述第一音频输入信号，以得到第二音频输入信号；检测单元，用于检测所述第二音频输入信号，以得到第二啸叫点，根据所述第二啸叫点获得第二增益值，所述第二啸叫点用于指示非所述有效音频信号对应频段的啸叫点；处理单元，用于根据第二增益值对第二音频输入信号进行处理，以得到音频输出信号。可选的，在本申请一些可能的实现方式中，所述输入单元，具体用于将所述音频输入信号转换至频域，以提取多个音频特征，所述音频特征基于所述有效音频信号或所述啸叫样本的特征确定；所述输入单元，具体用于将所述音频特征输入所述机器学习模型，以确定所述第一啸叫点；所述输入单元，具体用于根据所述第一啸叫点获得对应的第一增益值。可选的，在本申请一些可能的实现方式中，所述输入单元，具体用于将所述音频输入信号调整至目标频率，以转换至频域；所述输入单元，具体用于确定转换至频域后的音频输入信号中的多个采样点；所述输入单元，具体用于基于所述采样点提取多个所述音频特征。可选的，在本申请一些可能的实现方式中，所述输入单元，具体用于基于窗函数对转换至频域后的音频输入信号进行划分，以得到多个子带；所述输入单元，具体用于确定所述子带中的多个所述采样点。可选的，在本申请一些可能的实现方式中，所述检测单元，具体用于获取所述第二本文档来自技高网...

【技术保护点】
1.一种音频信号的处理方法，其特征在于，包括：/n获取第一音频输入信号；/n将所述第一音频输入信号输入机器学习模型，以得到第一啸叫点，根据所述第一啸叫点获得第一增益值，其中，所述第一啸叫点用于指示所述第一音频输入信号中有效音频输入信号对应频段的啸叫点；所述第一增益值用于指示所述第一啸叫点的抑制参数，根据所述第一增益值处理所述第一音频输入信号，以得到第二音频输入信号；/n检测所述第二音频输入信号，以得到第二啸叫点，根据所述第二啸叫点获得第二增益值，所述第二啸叫点用于指示非所述有效音频信号对应频段的啸叫点；根据所述第二增益值对所述第二音频输入信号进行处理，以得到音频输出信号。/n

【技术特征摘要】
1.一种音频信号的处理方法，其特征在于，包括：
获取第一音频输入信号；
将所述第一音频输入信号输入机器学习模型，以得到第一啸叫点，根据所述第一啸叫点获得第一增益值，其中，所述第一啸叫点用于指示所述第一音频输入信号中有效音频输入信号对应频段的啸叫点；所述第一增益值用于指示所述第一啸叫点的抑制参数，根据所述第一增益值处理所述第一音频输入信号，以得到第二音频输入信号；
检测所述第二音频输入信号，以得到第二啸叫点，根据所述第二啸叫点获得第二增益值，所述第二啸叫点用于指示非所述有效音频信号对应频段的啸叫点；根据所述第二增益值对所述第二音频输入信号进行处理，以得到音频输出信号。


2.根据权利要求1所述的方法，其特征在于，所述将所述第一音频输入信号输入机器学习模型，以得到第一啸叫点，根据所述第一啸叫点获得第一增益值，包括：
将所述音频输入信号转换至频域，以提取多个音频特征，所述音频特征基于所述有效音频信号或所述啸叫样本的特征确定；
将所述音频特征输入所述机器学习模型，以确定所述第一啸叫点；
根据所述第一啸叫点获得对应的第一增益值。


3.根据权利要求2所述的方法，其特征在于，所述将所述音频输入信号转换至频域，以提取多个音频特征，包括：
将所述音频输入信号调整至目标频率，以转换至频域；
确定转换至频域后的音频输入信号中的多个采样点；
基于所述采样点提取多个所述音频特征。


4.根据权利要求3所述的方法，其特征在于，所述确定转换至频域后的音频输入信号中的多个采样点，包括：
基于窗函数对转换至频域后的音频输入信号进行划分，以得到多个子带；
确定所述子带中的多个所述采样点。


5.根据权利要求1所述的方法，其特征在于，所述根据第二增益值对第二音频输入信号进行处理，以得到音频输出信号，包括：
获取所述第二音频输入信号对应的功率谱；
检测所述功率谱中的极值，并确定对应的候选频点；
根据所述候选频点确定所述第二啸叫点；
根据所述第二增益值对所述第二啸叫点进行处理，以得到所述音频输出信号。


6.根据权利要求5所述的方法，其特征在于，所述根据所述候选频点确定所述第二啸叫点，包括：
获取所述候选频点相邻的多个频点，以确定候选范围；
确定所述候选范围中频点的平均频率平均值，以获取峰值均值比；
若所述峰值均值比大于啸叫阈值，则确定所述候选频点为所述第二啸叫点。


7.根据权利要求5所述的方法，其特征在于，所述根据所述候选频点确定所述第二啸叫点之后，所述方法还包括：
获取有效音频信号中的特征信息，所述特征信息基于所述有效音频信号指示的波形特征确定；
根据所述特征信息检测所述第二音频输入信号中对应的有效音频信号；
对所述有效音频信号进行锁定操作，所述锁定操作用于指示所述第二增益值的非作用对象。


8.根据权利要求5所述的方法，其特征在于，所述方法还包括：
确定所述第二啸叫点对应的多个增益帧；...

【专利技术属性】
技术研发人员：张金亮，余涛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44