基于深度学习的音频降噪方法、系统、编码器及介质技术方案

本申请公开了一种基于深度学习的音频降噪方法、系统、编码器及介质，属于音频编码技术领域。该方法包括：在音频编码过程中，得到音频帧的原始谱系数，并对音频帧进行长期后置滤波器处理，确定融合因子；通过预训练的多个神经网络对原始谱系数进行降噪处理，得到对应的多个增强谱系数；根据融合因子对多个增强谱系数进行融合，得到融合增强谱系数；根据融合增强谱系数继续完成对音频帧的编码。本申请在编码过程中利用基于深度学习训练的多个神经网络，分别对音频帧进行谱系数增强，以实现音频降噪。本申请基于现有的编码过程进行音频降噪，适用于低功耗蓝牙设备，避免算法延迟，提高用户体验。户体验。户体验。

【技术实现步骤摘要】
基于深度学习的音频降噪方法、系统、编码器及介质


[0001]本申请涉及音频编码
，特别涉及一种基于深度学习的音频降噪方法、系统、编码器及介质。

技术介绍

[0002]在语音通信中，往往需要对语音进行降噪，其中现有技术中，谱减法是使用较多的降噪方法，其中在谱减法中首先进行时频变换：将时域信号转换到频域，通常由傅里叶变换实现；噪声估计与消除：在安静或只有噪声时，基于频谱系数估计噪声谱，并将噪声谱减去，得到更新的谱系数；时频逆变换：将更新的谱系数转换到时域，通常由傅里叶逆变换实现；重叠相加：得到平滑的音频输出。但是该种方法对非平稳噪声的处理则存在弊端。另外其他基于神经网络的音频降噪方法，在特征提取过程中以频点为单位进行计算，使用了三层深度神经网络，存在占用很大的存储空间，运算量很大，较难部署在低功耗蓝牙设备。

技术实现思路

[0003]针对语音降噪过程中，运算量大，需要较大的存储空间，无法部署在低功耗蓝牙设备中的问题，本申请提出一种基于深度学习的音频降噪方法、系统、编码器及介质。
[0004]第一方面，本申请提出一种基于深度学习的音频降噪方法，包括：在音频编码过程中，得到音频帧的原始谱系数，并对音频帧进行长期后置滤波器处理，确定融合因子；
[0005]通过预训练的多个神经网络对原始谱系数进行降噪处理，得到对应的多个增强谱系数；根据融合因子对多个增强谱系数进行融合，得到融合增强谱系数；根据融合增强谱系数继续完成对音频帧的编码。
[0006]可选的，通过预训练的多个神经网络对原始谱系数进行降噪处理，得到对应的多个增强谱系数，包括：通过预训练的第一神经网络在幅度谱上对原始谱系数进行降噪处理，得到第一增强谱系数；通过预训练的第二神经网络在倒谱上对原始谱系数进行降噪处理，得到第二增强谱系数。
[0007]可选的，通过预训练的第一神经网络在幅度谱上对原始谱系数进行降噪处理，得到第一增强谱系数，包括：根据原始谱系数确定对应的幅度谱特征；通过预训练的第一神经网络对幅度谱特征进行处理，得到降噪增益；根据降噪增益对原始谱系数进行降噪，得到第一增强谱系数。
[0008]可选的，通过预训练的第二神经网络在倒谱上对原始谱系数进行降噪处理，得到第二增强谱系数，包括：根据原始谱系数确定对应的倒谱特征；通过预训练的第二神经网络对倒谱特征进行处理，得到降噪倒谱；对降噪倒谱进行倒谱逆运算，得到第二增强谱系数。
[0009]可选的，第一神经网络的预训练过程包括：分别获取纯净语音和带噪语音的幅度谱特征；将纯净语音和带噪语音的幅度谱特征输入到神经网络中进行训练，使得经训练得到的第一神经网络根据输入的带噪语音的幅度谱特征输出降噪增益，从而根据降噪增益对带噪语音进行降噪。
[0010]可选的，第二神经网络的预训练过程包括：分别获取纯净语音和带噪语音的倒谱特征；将纯净语音和带噪语音的倒谱特征输入到神经网络中进行训练，使得经训练得到的第二神经网络根据输入的带噪语音的倒谱特征输出降噪倒谱，对带噪语音进行降噪。
[0011]可选的，在音频编码过程中，得到音频帧的原始谱系数，并对音频帧进行长期后置滤波器处理，确定融合因子，包括：通过长期后置滤波器对音频帧进行处理，得到音频帧对应的浊音参数；根据浊音参数计算融合因子，其中根据融合因子对第一增强谱系数和第二增强谱系数的融合比例进行调整。
[0012]第二方面，本申请提出一种基于深度学习的音频降噪系统，包括：用于在音频编码过程中，得到音频帧的原始谱系数，并对音频帧进行长期后置滤波器处理，确定融合因子的模块；用于通过预训练的多个神经网络对原始谱系数进行降噪处理，得到对应的多个增强谱系数的模块；用于根据融合因子对多个增强谱系数进行融合，得到融合增强谱系数的模块；用于根据融合增强谱系数继续完成对音频帧的编码的模块。
[0013]第三方面，本申请提出一种音频编码器，包括方案二中的基于深度学习的音频降噪系统。
[0014]第四方面，本申请提出一种计算机可读存储介质，其存储有计算机程序，其中计算机程序被操作以执行方案一中的基于深度学习的音频降噪方法。
[0015]第五方面，本申请提出一种计算机设备，其包括处理器和存储器，存储器存储有计算机程序，其中：处理器操作计算机程序以执行方案一中的基于深度学习的音频降噪方法。
[0016]本申请在编码过程中利用基于深度学习训练的多个神经网络，分别对音频帧进行谱系数增强，以实现音频降噪。然后对经过多个神经网络处理得到的增强谱系数进行融合，得到最终的谱系数。本申请基于现有的编码过程进行音频降噪，适用于低功耗蓝牙设备，避免算法延迟，提高用户体验。
附图说明
[0017]为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图示例性的示出了本申请的一些实施例。
[0018]图1是本申请基于深度学习的音频降噪方法的一个实施方式的示意图；
[0019]图2是本申请神经网络训练的一个实例的示意图；
[0020]图3是本申请音频降噪过程一个实例的示意图；
[0021]图4是本申请音频编码过程的一个实例的示意图；
[0022]图5是本申请基于深度学习的音频降噪系统的一个实施方式的示意图。
[0023]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0024]下面结合附图对本申请的较佳实施例进行详细阐述，以使本申请的优点和特征能更易于被本领域技术人员理解，从而对本申请的保护范围做出更为清楚明确的界定。
[0025]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0026]在语音通信中，往往需要对语音进行降噪，其中现有技术中，谱减法是使用较多的降噪方法，其中在谱减法中首先进行时频变换：将时域信号转换到频域，通常由傅里叶变换实现；噪声估计与消除：在安静或只有噪声时，基于频谱系数估计噪声谱，并将噪声谱减去，得到更新的谱系数；时频逆变换：将更新的谱系数转换到时域，通常由傅里叶逆变换实现；重叠相加：得到平滑的音频输出。但是该种方法对非平稳噪声的处理则存在弊端。另外其他基于神经网络的音频降噪方法，在特征提取过程中以频点为单位进行计算，使用了三层深度神本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的音频降噪方法，其特征在于，包括：在音频编码过程中，得到音频帧的原始谱系数，并对所述音频帧进行长期后置滤波器处理，确定融合因子；通过预训练的多个神经网络对所述原始谱系数进行降噪处理，得到对应的多个增强谱系数；根据所述融合因子对多个所述增强谱系数进行融合，得到融合增强谱系数；根据所述融合增强谱系数继续完成对所述音频帧的编码。2.根据权利要求1所述的基于深度学习的音频降噪方法，其特征在于，所述通过预训练的多个神经网络对所述原始谱系数进行降噪处理，得到对应的多个增强谱系数，包括：通过预训练的第一神经网络在幅度谱上对所述原始谱系数进行降噪处理，得到第一增强谱系数；通过预训练的第二神经网络在倒谱上对所述原始谱系数进行降噪处理，得到第二增强谱系数。3.根据权利要求2所述的基于深度学习的音频降噪方法，其特征在于，所述通过预训练的第一神经网络在幅度谱上对所述原始谱系数进行降噪处理，得到第一增强谱系数，包括：根据所述原始谱系数确定对应的幅度谱特征；通过预训练的所述第一神经网络对所述幅度谱特征进行处理，得到降噪增益；根据所述降噪增益对所述原始谱系数进行降噪，得到所述第一增强谱系数。4.根据权利要求2所述的基于深度学习的音频降噪方法，其特征在于，所述通过预训练的第二神经网络在倒谱上对所述原始谱系数进行降噪处理，得到第二增强谱系数，包括：根据所述原始谱系数确定对应的倒谱特征；通过预训练的所述第二神经网络对所述倒谱特征进行处理，得到降噪倒谱；对所述降噪倒谱进行倒谱逆运算，得到所述第二增强谱系数。5.根据权利要求2或3所述的基于深度学习的音频降噪方法，其特征在于，所述第一神经网络的预训练过程包括：分别获取纯净语音和带噪语音的幅度谱特征；将纯净语音和...

【专利技术属性】
技术研发人员：李强，朱勇，叶东翔，
申请(专利权)人：深圳百瑞互联技术有限公司，
类型：发明
国别省市：