一种单通道语音降噪方法和装置制造方法及图纸

本发明专利技术公开了一种单通道语音降噪方法和装置，所述方法包括：对语音时域信号提取信号特征并输入至编码模型；将编码模型输出的信号特征分别划分子频带和输入至频率GRU模型，并将经过子频带划分的信号特征与频率GRU模型输出的信号特征拼接后输入至子频带处理模型，所述子频带处理模型依次包括GRU层线性层和一维常规卷积层；将子频带处理模型输出的信号特征经过时间GRU模型后输入至解码模型；对解码模型输出的信号特征进行优化计算后输出语音时域信号。本发明专利技术利用编码

【技术实现步骤摘要】
一种单通道语音降噪方法和装置


[0001]本说明书涉及音频处理
，尤其涉及一种单通道语音降噪方法、装置、电子设备和存储介质。

技术介绍

[0002]在远程音视频通讯过程中，由于环境中普遍存在不同类型的噪声，噪声严重影响语音通讯质量，对噪声进行抑制处理并同时保证不影响语音的质量对于远程会议系统具有重要作用。噪声抑制技术可以减少语音信号中的稳态和非稳态噪声，从而提高信噪比，改善语音清晰度并减少听力疲劳。基于传统信号处理的降噪算法不适合处理在实际应用场景中普遍存在的非稳态噪声；而目前公开的基于深度神经网络的噪声抑制方法，存在模型结构不适合实时推理以及模型规模过大而导致无法在设备本地低功耗运行的问题。因此，在深度神经网络的基础上，如何实现性能消耗低、模型规模小、可实时运行于本地设备的语音降噪技术，是亟待解决的技术问题。

技术实现思路

[0003]本说明书实施例的目的是针对上述问题，提供一种单通道语音降噪方法、装置、电子设备和存储介质。
[0004]为解决上述技术问题，本说明书实施例是这样实现的：第一方面，提出一种单通道语音降噪方法，包括：对采集的语音时域信号进行傅里叶变换获得频域信号并提取对应的信号特征，所述语音时域信号包括纯净语音时域信号和噪声语音时域信号；将所述信号特征输入至编码模型，所述编码模型依次包括一维常规卷积层、第一深度可分离卷积层和第二深度可分离卷积层；将所述编码模型输出的所述信号特征分别划分子频带和输入至频率GRU模型，并将经过子频带划分的所述信号特征与所述频率GRU模型输出的所述信号特征进行拼接后输入至子频带处理模型，所述子频带处理模型依次包括1组GRU层、1组线性层和1组所述一维常规卷积层；将所述子频带处理模型输出的所述信号特征经过时间GRU模型后输入至解码模型，所述解码模型包括3组一维转置卷积层；对所述解码模型输出的所述信号特征进行优化计算后输出语音时域信号。
[0005]进一步地，所述傅里叶变换点数为512以及依据所述频域信号的幅度计算输出所述信号特征，所述信号特征包括257个频点；和/或，所述一维常规卷积层、所述第一深度可分离卷积层和所述第二深度可分离卷积层的卷积核分别为5、3和5以及对应步长分别为2、1和2；和/或，3组所述一维转置卷积层的卷积核分别为5、3和5以及对应步长分别为2、1和2，以
及每组所述一维常规卷积层输出连接批正则化层和ReLU层；和/或，所述编码模型与所述解码模型之间使用跳跃连接进行信息交互。
[0006]进一步地，所述编码模型依次还包括：连接于所述一维常规卷积层输出和所述第一深度可分离卷积层输入的所述正则化层和所述ReLU层；和/或，所述第一深度可分离卷积层和所述第二深度可分离卷积层均包括一维Depthwise卷积层和一维Pointwise卷积层，以及，连接于所述一维Depthwise卷积层输出和连接于所述一维Pointwise卷积层输出的所述批正则化层和所述ReLU层。
[0007]进一步地，将所述编码模型输出的所述信号特征划分子频带的过程，包括：在当前频点前后分别选取连续个频点，构成长度为的子频带；若当前频点前后频点数不足个时，采用环形循环方式选取频点构成子频带；将对应于全部频点的所述子频带构成频域子频带频点矩阵。
[0008]进一步地，所述频率GRU模型和所述时间GRU模型均包括1组所述GRU层以及与所述GRU层输出相连的1组所述一维常规卷积层。
[0009]进一步地，对所述解码模型输出结果进行优化计算后输出语音时域信号的过程，包括：依据所述解码模型输出的所述信号特征获得对应复数理想比率掩膜；将所述复数理想比率掩膜的实部和虚部分别作用于所述频域信号的实部和虚部，计算得到优化后的纯净语音频域信号估计值的实部=
‑
和虚部=+；对所述纯净语音频域信号估计值进行傅里叶逆变换输出时域信号。
[0010]进一步地，还包括在语音降噪过程进行神经网络训练，使用损失函数为，其中，，，；和/或，使用学习率为0.001的Adam优化器，所述学习率依据优化预设轮次和/或优化验证结果进行调整。
[0011]第二方面，提出一种单通道语音降噪装置，包括：第一模块，用于对采集的语音时域信号进行傅里叶变换获得频域信号并提取对应的信号特征，所述语音时域信号包括纯净语音时域信号和噪声语音时域信号；第二模块，用于将所述信号特征输入至编码模型，所述编码模型依次包括一维常规卷积层、第一深度可分离卷积层和第二深度可分离卷积层；第三模块，用于将所述编码模型输出的所述信号特征分别划分子频带和输入至频率GRU模型，并将经过子频带划分的所述信号特征与所述频率GRU模型输出的所述信号特征进行拼接后输入至子频带处理模型，所述子频带处理模型依次包括1组GRU层、1组线性层和1组所述一维常规卷积层；
第四模块，用于将所述子频带处理模型输出的所述信号特征经过时间GRU模型后输入至解码模型，所述解码模型包括3组一维转置卷积层；第五模块，用于对所述解码模型输出的所述信号特征进行优化计算后输出语音时域信号。
[0012]第三方面，提出一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行第一方面所述的单通道语音降噪方法。
[0013]第四方面，提出一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行第一方面所述的单通道语音降噪方法。
[0014]本说明书至少可以达到以下技术效果：本专利技术方案基于编码
‑
解码框架的U型网络结构，充分利用了频点间的相关性、循环神经网络在时序处理方面和卷积神经网络对特征提取方面的优势，同时结合了子频带处理技术，实现了模型规模小、参数量较少、性能消耗低且可以实时运行于本地设备的语音降噪效果。
附图说明
[0015]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本说明书实施例提供的单通道语音降噪方法示意图之一。
[0017]图2为本说明书实施例提供的单通道语音降噪方法示意图之二。
[0018]图3为本说明书实施例提供的单通道语音降噪方法示意图之三。
[0019]图4为本说明书实施例提供的单通道语音降噪方法示意图之四。
[0020]图5为本说明书实施例提供的单通道语音降噪方法示意图之五。
[0021]图6为本说明书实施例提供的单通道语音降噪方法示意图之六。
[0022]图7为本说明书实施例提供的单通道语音降噪方法示意图之七。
[0023]图8为本说明书实施例提供的单通道语音降噪方法示意图之八。
...

【技术保护点】

【技术特征摘要】
1.一种单通道语音降噪方法，其特征在于，包括：对采集的语音时域信号进行傅里叶变换获得频域信号并提取对应的信号特征，所述语音时域信号包括纯净语音时域信号和噪声语音时域信号；将所述信号特征输入至编码模型，所述编码模型依次包括一维常规卷积层、第一深度可分离卷积层和第二深度可分离卷积层；将所述编码模型输出的所述信号特征分别划分子频带和输入至频率GRU模型，并将经过子频带划分的所述信号特征与所述频率GRU模型输出的所述信号特征进行拼接后输入至子频带处理模型，所述子频带处理模型依次包括1组GRU层、1组线性层和1组所述一维常规卷积层；将所述子频带处理模型输出的所述信号特征经过时间GRU模型后输入至解码模型，所述解码模型包括3组一维转置卷积层；对所述解码模型输出的所述信号特征进行优化计算后输出语音时域信号。2.根据权利要求1所述的单通道语音降噪方法，其特征在于，所述傅里叶变换点数为512以及依据所述频域信号的幅度计算输出所述信号特征，所述信号特征包括257个频点；和/或，所述一维常规卷积层、所述第一深度可分离卷积层和所述第二深度可分离卷积层的卷积核分别为5、3和5以及对应步长分别为2、1和2；和/或，3组所述一维转置卷积层的卷积核分别为5、3和5以及对应步长分别为2、1和2，以及每组所述一维常规卷积层输出连接批正则化层和ReLU层；和/或，所述编码模型与所述解码模型之间使用跳跃连接进行信息交互。3.根据权利要求2所述的单通道语音降噪方法，其特征在于，所述编码模型依次还包括：连接于所述一维常规卷积层输出和所述第一深度可分离卷积层输入的所述正则化层和所述ReLU层；和/或，所述第一深度可分离卷积层和所述第二深度可分离卷积层均包括一维Depthwise卷积层和一维Pointwise卷积层，以及，连接于所述一维Depthwise卷积层输出和连接于所述一维Pointwise卷积层输出的所述批正则化层和所述ReLU层。4.根据权利要求3所述的单通道语音降噪方法，其特征在于，将所述编码模型输出的所述信号特征划分子频带的过程，包括：在当前频点前后分别选取连续个频点，构成长度为的子频带；若当前频点前后频点数不足个时，采用环形循环方式选取频点构成子频带；将对应于全部频点的所述子频带构成频域子频带频点矩阵。5.根据权利要求4所述的单通道语音降...

【专利技术属性】
技术研发人员：杨亮，
申请(专利权)人：全时云商务服务股份有限公司，
类型：发明
国别省市：