回声及噪声抑制方法、相关装置和介质制造方法及图纸

本公开提供了一种回声及噪声抑制方法、相关装置和介质。该回声及噪声抑制方法包括：获取来自第二终端的第一音频信号，第一语音基于第一音频信号生成；获取第一终端收集的第二音频信号；对第一音频信号进行线性滤波得到第三音频信号，线性滤波模拟第一语音到达话筒的线性衰减；用第三音频信号抵减第二音频信号得到抵减了线性衰减的回声的第四音频信号；基于第一音频信号、第二音频信号、和第三音频信号中的至少一个、以及第四音频信号，利用回声及噪声抑制神经网络，得到抑制了回声的非线性部分和噪声的抑制后音频信号。本公开实施例提高了语音通信中的噪声和回声抑制效果，从而提高了语音通话质量。本公开实施例可应用于多终端语音通话等场景。音通话等场景。音通话等场景。

【技术实现步骤摘要】
回声及噪声抑制方法、相关装置和介质


[0001]本公开涉及语音通信领域，特别是涉及一种回声及噪声抑制方法、相关装置和介质。

技术介绍

[0002]目前的语音通信，已经发展到超清语音通信阶段。相对于一般语音信号的8kHz带宽，超清语音信号的带宽为16kHz、24kHz等。提升语音带宽的同时，语音处理的复杂度提高，处理开销变大。且超清语音通信中的回声和噪声消除一直是业界难点。回声是指近端将从远端接收到的远端人声信号播放后，播放的远端人声信号又重新进入近端话筒，形成与收集的近端人声信号的混杂。
[0003]目前的超清语音通信中，采取线性滤波器过滤掉回声的线性部分，用后滤波电路过滤掉回声的非线性部分，再用额外的噪声抑制电路进行噪声抑制。这种方法对于非平稳的噪声和回声抑制效果不理想。

技术实现思路

[0004]本公开实施例提供了一种回声及噪声抑制方法、相关装置和介质，它能够提高语音通信中的噪声和回声抑制效果，提高语音通话质量。
[0005]根据本公开的一方面，提供了一种回声及噪声抑制方法，所述回声及噪声抑制方法用于抑制与第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种回声及噪声抑制方法，其特征在于，所述回声及噪声抑制方法用于抑制与第二终端通信的第一终端处的回声和噪声，所述回声由来自所述第二终端的第一语音在所述第一终端播放后重新进入所述第一终端的话筒引起，所述回声及噪声抑制方法包括：获取来自所述第二终端的第一音频信号，其中，所述第一语音基于所述第一音频信号生成；获取所述第一终端的话筒处收集的第二音频信号；对所述第一音频信号进行线性滤波，得到第三音频信号，其中，所述线性滤波模拟所述第一语音到达所述话筒的线性衰减；用所述第三音频信号抵减所述第二音频信号，得到抵减了所述线性衰减的所述回声的第四音频信号；基于所述第一音频信号、所述第二音频信号、和所述第三音频信号中的至少一个、以及所述第四音频信号，利用回声及噪声抑制神经网络，得到抑制了所述回声的非线性部分和所述噪声的抑制后音频信号。2.根据权利要求1所述的回声及噪声抑制方法，其特征在于，所述基于所述第一音频信号、所述第二音频信号、和所述第三音频信号中的至少一个、以及所述第四音频信号，利用回声及噪声抑制神经网络，得到抑制了所述回声的非线性部分和所述噪声的抑制后音频信号，包括：将所述第一音频信号、所述第二音频信号、所述第三音频信号、以及所述第四音频信号进行频域转换，得到第一频谱信号、第二频谱信号、第三频谱信号、以及第四频谱信号，其中，所述第一频谱信号、所述第二频谱信号、所述第三频谱信号、以及所述第四频谱信号各自具有第一数目个频点；基于所述第一频谱信号、所述第二频谱信号、和所述第三频谱信号中的至少一个、以及所述第四频谱信号，利用所述回声及噪声抑制神经网络，得到第一数目个所述频点各自的第一频点增益；基于所述第四频谱信号中的每个所述频点的第一频点值、和与所述频点对应的所述第一频点增益，确定每个所述频点的第一调整后频点值，以得到第四调整后频谱信号；将所述第四调整后频谱信号进行时域转换，得到所述抑制后音频信号。3.根据权利要求2所述的回声及噪声抑制方法，其特征在于，所述基于所述第一频谱信号、所述第二频谱信号、和所述第三频谱信号中的至少一个、以及所述第四频谱信号，利用所述回声及噪声抑制神经网络，得到第一数目个所述频点各自的第一频点增益，包括：针对所述第一频谱信号、所述第二频谱信号、所述第三频谱信号、和所述第四频谱信号中的每个频谱信号，基于所述频谱信号中各频点的所述第一频点值，确定语音特征向量；将所述第一频谱信号、所述第二频谱信号、和所述第三频谱信号中的至少一个、以及所述第四频谱信号的所述语音特征向量输入所述回声及噪声抑制神经网络，得到第一数目个所述频点各自的所述第一频点增益。4.根据权利要求3所述的回声及噪声抑制方法，其特征在于，所述语音特征向量中的特征包括：巴克频率倒数系数、巴克频率倒数系数的一阶和二阶差分、基因相关度、基因周期和基因平稳度；所述基于所述频谱信号中各频点的所述第一频点值，确定语音特征向量，包括：
基于每帧的所述频谱信号中各频点的所述第一频点值，确定该帧的各个心理声学频带的所述巴克频率倒数系数；对前预定数目个所述心理声学频带的所述巴克频率倒数系数，求一阶差分和二阶差分；基于前预定数目个所述心理声学频带中的各频点的所述第一频点值，确定前预定数目个所述心理声学频带的所述基因相关度；基于所述频谱信号中各频点的所述第一频点值，确定所述帧内的基因周期；基于所述频谱信号中各频点的所述第一频点值，确定所述帧内的基因平稳度。5.根据权利要求3所述的回声及噪声抑制方法，其特征在于，所述将所述第一频谱信号、所述第二频谱信号、和所述第三频谱信号中的至少一个、以及所述第四频谱信号的所述语音特征向量输入所述回声及噪声抑制神经网络，得到第一数目个所述频点各自的第一频点增益，包括：将第一数目个所述频点划分成多个频点组，每个所述频点组包括一个或多个相邻的所述频点；将所述第一频谱信号、所述第二频谱信号、和所述第三频谱信号中的至少一个、以及所述第四频谱信号的所述语音特征向量输入所述回声及噪声抑制神经网络，得到多个频点组各自的第一频点组增益，并将所述频点组的所述第一频点组增益作为所述频点组中每个所述频点的所述第一频点增益。6.根据权利要求5所述的回声及噪声抑制方法，其特征在于，所述回声及噪声抑制神经网络包括顺序连接的输入层、多个隐藏层、以及第一输出层，其中，所述输入层的节点数与所述语音特征向量中的特征数相同，所述第一输出层的节点数与所述频点组的数目相同，所述隐藏层的数目、以及每个所述隐藏层的节点数通过以下方式确定：获取所述回声及噪声抑制神经网络的训练样本数；获取所述第一终端的计算资源量；基于所述训练样本数和所述计算资源量，确定所述隐藏层的数目、以及每个所述隐藏层的节点数的乘积；将所述乘积分解成所述隐藏层的数目、以及每个所述隐藏层的节点数。7.根据权利要求6所述的回声及噪声抑制方法，其特征在于，所述输入层为第一全连接层，所述隐藏层为循环神经网络层，所述第一输出层为串联的第二全连接层和指数归一化函数；所述将所述第一频谱信号、所述第二频谱信号、和所述第三频谱信号中的至少一个、以及所述第四频谱信号的所述语音特征向量输入所述回声及噪声抑制神经网络，得到多个频点组各自的第一频点组增益，包括：将所述第一频谱信号、所述第二频谱信号、和所述第三频谱信号中的至少一个、以及所述第四频谱信号的所述语音特征向量输入所述第一全连接层，所述第一全连接层的各节点的输出输入到第一个所述循环神经网络层的各节点；将每个所述循环神经网络层的各节点的输出输入到下一个所述循环神经网络层的各节点，将最后一个所述循环神经网络层的各节点的输出输入到所述第二全连接层的各节点，由所述指数归一化函数得到多个频点组各自的第一频点组增益。
8.根据权利要求6所述的回声及噪声抑制方法，其特征在于，所述将所述第一频谱信号、所述第二频谱信号、和所述第三频谱信号中的至少一个、以及所述第四频谱信号的所述语音特征向量输入所述回声及噪声抑制神经网络，得到多个频点组各自的第一频点组增益，包括：在所述第一频谱信号、所述第二频谱信号、所述第三频谱信号和所述第四频谱信号中，选取目标频谱信号；在多个所述隐藏层中，选择所述目标频谱信号对应的目标隐藏层；在将所述第一频谱信号、所述第二频谱信号、和所述第三频谱信号中的至少一个、以及所述第四频谱信号的所述语音特征向量输入所述输入层的同时，将所述目标频谱信号输入所述目标隐藏层，得到多个频点组各自的所述第一频点组增益。9.根据权利要求8所述的回声及噪声抑制方法，其特征在于，所述在所述第一频谱信号、所述第二频谱信号、所述第三频谱信号和所述第四频谱信号中，选取目标频谱信号，包括：获取所述第一频谱信号与所述第二频谱信号之间的第一频谱差信号、所述第一频谱信号与所述第三频谱信号之间的第二频谱差信号、和所述第一频谱信号与所述第四频谱信号之间的第三频谱差信号；基于所述第一频谱差信号、所述第二频谱差信号、和所述第三频谱差信号，选取所述目标频谱信号。10.根据权利要求9所述的回声及噪声抑制方法，其特征在于，所述基于所述第一频谱差信号、所述第二频谱差信号、和所述第三频谱差信号，选取所述目标频谱信号，包括：如果所述第一频谱差信号的各频点的频点值的绝对值之和大于预定阈值，将所述第二频谱信号作为所述目标频谱信号；如果所述第二频谱差信号的各频点的频点值的绝对值之和大于所述预定阈值，将所述第三频谱信号作为所述目标频谱信号；如果所述第三频谱差信号的各频点的频点值的绝对值之和大于所述预定阈值，将所述第四频谱信号作为所...

【专利技术属性】
技术研发人员：周健全，高毅，陈静聪，罗程，李斌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：