一种多麦克风降噪方法、装置及终端设备制造方法及图纸

技术编号:24896454 阅读:9 留言:0更新日期:2020-07-14 18:21
公开了一种多麦克风降噪方法、装置及终端设备。所述方法包括:对主麦克风信号进行谐波检测,获得频点VAD标识信息;根据所述频点VAD标识信息控制卡尔曼滤波器从辅麦克风信号中滤除目标语音信号,获得辅麦克风噪声信号;通过动态噪声频谱映射将所述辅麦克风噪声信号映射到所述主麦克风信号,获得所述主麦克风信号的主麦克风噪声频谱;至少根据所述主麦克风信号的主麦克风噪声频谱计算所述主麦克风信号的降噪增益,并输出降噪后的主语音信号。所述方法对位置变化、各种噪声和应用场景具有良好的鲁棒性,并且可以应用于手持和免提模式。

【技术实现步骤摘要】
【国外来华专利技术】一种多麦克风降噪方法、装置及终端设备
本申请涉及通信
,尤其涉及一种多麦克风降噪方法、装置及终端设备。
技术介绍
手机处于手持或免提模式时,上行语音会因环境的复杂而不可避免地受到各种噪声的干扰。常见的噪声从声场分布的角度分为散射噪声和相干噪声,而从噪声平稳度的角度又分为稳态噪声、非稳态噪声和瞬态噪声。这些噪声和干扰容易影响目标信号,使收集的语音的听觉舒适度和语音清晰度严重降低。因此,需要对上行语音进行噪声抑制处理。通常将传统的噪声抑制算法根据设备中麦克风的数量分为单麦克风降噪算法和多麦克风降噪算法。由于无法获取信号的空间信息,单麦克风降噪算法在抑制非稳态噪声和瞬态噪声方面的能力非常有限。而多麦克风降噪算法主要利用信号的空间特性和时频域特性来进行降噪,因此在抑制非稳态噪声方面,多麦克风降噪算法优于单麦克风降噪算法。目前,对于手持模式,智能手机采用双麦克风降噪方法;而对于免提模式,绝大多数手机仍然采用单麦克风降噪方法作为噪声抑制方案。因此,当手机分别处于手持模式和免提模式时,对端用户所体验到的语音质量和背景噪声的平稳舒适度截然不同。手机处于手持模式时所采用的一种现有双麦克风降噪方法通过手机的底部麦克风和顶部麦克风收集的语音之间的能量差,也称耳间强度差(interauralleveldifference,ILD),来实现双麦克风降噪。另一种现有多麦克风降噪方法使用麦克风阵列波束成形技术。当设备包括两个或两个以上麦克风时,利用信号的空间特性来形成波束以指向目标语音的方向,通过特定的噪声场模型或实际的噪声场模型来进行滤波计算,并通过滤波输出的方式获得波束成形后的信号。如果需要进一步抑制噪声,则可以在波束成形之后进行单麦克风降噪处理。然而,基于ILD的降噪算法和基于波束成形的降噪算法均面临着算法鲁棒性和对各种应用场景的适用性相对较差的问题。
技术实现思路
因此,本申请实施例提供了一种多麦克风降噪方法、装置及终端设备,以解决现有技术中现有的降噪算法的鲁棒性和对各种应用场景的适用性相对较差的问题。本申请第一方面提供了一种多麦克风降噪方法,包括:对主麦克风信号进行谐波检测,获得频点静音检测(voiceactivitydetection,VAD)标识信息;根据所述频点VAD标识信息控制卡尔曼滤波器从辅麦克风信号中滤除目标语音信号,获得辅麦克风噪声信号;通过动态噪声频谱映射将所述辅麦克风噪声信号映射到所述主麦克风信号,获得所述主麦克风信号的主麦克风噪声频谱;至少根据所述主麦克风信号的主麦克风噪声频谱计算所述主麦克风信号的降噪增益,并输出降噪后的主语音信号。结合第一方面,在第一种可能的实现方式中,所述对主麦克风信号进行谐波检测,获得频点VAD标识信息包括:通过谐波模型和状态转移概率矩阵获得所述频点VAD标识信息,其中,所述谐波模型用于检测倒频谱域上的语音谐波特性,所述频点VAD标识信息为用于指示所述主麦克风信号中是否存在语音谐波的布尔值。结合第一方面的第一种可能的实现方式,在第二种可能的实现方式中,所述通过谐波模型和状态转移概率矩阵获得所述频点VAD标识信息包括:根据语音数据库训练所述谐波模型;通过所述谐波模型和所述状态转移概率矩阵获得所述主麦克风信号的语音状态信息,其中,所述语音状态信息包括每个频点对应的浊音状态、清音状态或静音状态;根据所述语音状态信息计算倒频谱激励矢量;根据所述倒频谱激励矢量和所述谐波模型对所述主麦克风信号进行谐波选择,确定所述主麦克风信号中是否存在语音谐波,并输出所述频点VAD标识信息。通过上述谐波检测过程,利用语音的时频分布特性和所述状态转移概率矩阵,以及更多的维度来确定频点处是否存在语音,从而可以实现更高的准确度,更加准确地检测频点处是否存在语音。结合第一方面或第一方面的第一种可能的实现方式,在第三种可能的实现方式中,所述根据所述频点VAD标识信息控制卡尔曼滤波器从辅麦克风信号中滤除目标语音信号,获得辅麦克风噪声信号包括:通过将所述主麦克风信号作为参考信号获得残差信号,以使用所述卡尔曼滤波器自适应去除所述辅麦克风信号中的所述目标语音信号,其中,所述残差信号为所述辅麦克风噪声信号;根据滤波因子误差的协方差矩阵计算所述残差信号的协方差矩阵;根据所述残差信号的协方差矩阵计算卡尔曼增益;根据所述频点VAD标识信息确定是否需要更新所述卡尔曼滤波器;当需要更新所述卡尔曼滤波器时,根据所述卡尔曼增益更新滤波因子;根据所述更新后的滤波因子更新所述滤波因子误差的协方差矩阵。通过上述卡尔曼自适应滤波过程,只滤除辅麦克风信号中的目标语音信号,同时保留辅麦克风噪声信号,使得动态映射后的噪声频谱估计可以更加准确。并且,由于卡尔曼滤波器是根据通过谐波检测得到的频点布尔值更新的,从而可以提高滤除目标语音的能力,同时可以快速跟踪目标语音源的位置变化,实现在任意方向上的拾音。结合第一方面的第三种可能的实现方式,在第四种可能的实现方式中,所述根据所述频点VAD标识信息确定是否需要更新所述卡尔曼滤波器包括:当所述频点VAD标识信息的值为1时,确定需要更新卡尔曼滤波器;和/或当所述频点VAD标识信息的值为0时,确定需要暂停更新卡尔曼滤波器。需要说明的是,本专利技术对用于指示语音信号是否存在的所述频点VAD标识信息的值不作限定。结合第一方面或第一方面的上述可能的实现方式中的任一种,在第五种可能的实现方式中,在所述根据所述频点VAD标识信息控制卡尔曼滤波器从辅麦克风信号中滤除目标语音信号,获得辅麦克风噪声信号之后,所述方法还包括:对所述辅麦克风噪声信号进行谐波检测;当所述辅麦克风噪声信号中存在语音谐波时,加速更新所述卡尔曼滤波器。通过上述滤波器更新过程,可以实现更强的滤除目标语音信号的能力,实现对于位置变化的良好的鲁棒性。结合第一方面或第一方面的上述可能的实现方式中的任一种,在第六种可能的实现方式中,所述通过动态噪声频谱映射将所述辅麦克风噪声信号映射到所述主麦克风信号,获得所述主麦克风信号的主麦克风噪声频谱包括:根据所述主麦克风信号和所述辅麦克风信号计算所述主麦克风信号的先验全局静音概率;根据所述主麦克风信号、所述主麦克风信号的先验全局静音概率和所述辅麦克风噪声信号计算所述主麦克风信号的动态补偿系数;根据所述主麦克风信号的动态补偿系数和所述辅麦克风噪声信号计算所述主麦克风信号的主麦克风噪声频谱。通过上述动态噪声频谱映射过程,可以动态地计算主麦克风和辅麦克风的声学传递函数和频率响应差异,使得噪声频谱估计更加准确。结合第一方面的第六种可能的实现方式,在第七种可能的实现方式中,所述根据所述主麦克风信号和所述辅麦克风信号计算所述主麦克风信号的先验全局静音概率包括:根据主麦克风和辅麦克风之间的距离计算散射场的噪声的相干函数;计算所述主麦克风信号和所述辅麦克风信号的复数相干函数;根据所述散射场的噪声的相干函数和所述主麦克风信号的复数相干函数计算所述主麦克风信号的入射角参数;根据所述入射角参数计算复数相干系数;根据所述入射角参数和所述复数相干系数本文档来自技高网
...

【技术保护点】
1.一种多麦克风降噪方法,其特征在于,包括:/n(201)对主麦克风信号进行谐波检测,获得频点静音检测VAD标识信息;/n(202)根据所述频点VAD标识信息控制卡尔曼滤波器从辅麦克风信号中滤除目标语音信号,获得辅麦克风噪声信号;/n(203)通过动态噪声频谱映射将所述辅麦克风噪声信号映射到所述主麦克风信号,获得所述主麦克风信号的主麦克风噪声频谱;/n(204)至少根据所述主麦克风信号的主麦克风噪声频谱计算所述主麦克风信号的降噪增益,并输出降噪后的主语音信号。/n

【技术特征摘要】
【国外来华专利技术】1.一种多麦克风降噪方法,其特征在于,包括:
(201)对主麦克风信号进行谐波检测,获得频点静音检测VAD标识信息;
(202)根据所述频点VAD标识信息控制卡尔曼滤波器从辅麦克风信号中滤除目标语音信号,获得辅麦克风噪声信号;
(203)通过动态噪声频谱映射将所述辅麦克风噪声信号映射到所述主麦克风信号,获得所述主麦克风信号的主麦克风噪声频谱;
(204)至少根据所述主麦克风信号的主麦克风噪声频谱计算所述主麦克风信号的降噪增益,并输出降噪后的主语音信号。


2.根据权利要求1所述的方法,其特征在于,所述(201)对主麦克风信号进行谐波检测,获得频点VAD标识信息包括:
根据语音数据库训练谐波模型,其中,所述谐波模型用于检测倒频谱域上的语音谐波特性;
通过所述谐波模型和状态转移概率矩阵获得所述主麦克风信号的语音状态信息,其中,所述语音状态信息包括每个频点对应的浊音状态、清音状态或静音状态;
根据所述语音状态信息计算倒频谱激励矢量;
根据所述倒频谱激励矢量和所述谐波模型对所述主麦克风信号进行谐波选择,确定所述主麦克风信号中是否存在语音谐波,并输出所述频点VAD标识信息,其中,所述频点VAD标识信息为用于指示所述主麦克风信号中是否存在语音谐波的布尔值。


3.根据权利要求1或2所述的方法,其特征在于,所述(202)根据所述频点VAD标识信息控制卡尔曼滤波器从辅麦克风信号中滤除目标语音信号,获得辅麦克风噪声信号包括:
通过将所述主麦克风信号作为参考信号获得残差信号,以使用所述卡尔曼滤波器自适应去除所述辅麦克风信号中的所述目标语音信号,其中,所述残差信号为所述辅麦克风噪声信号;
根据滤波因子误差的协方差矩阵计算所述残差信号的协方差矩阵;
根据所述残差信号的协方差矩阵计算卡尔曼增益;
根据所述频点VAD标识信息确定是否需要更新所述卡尔曼滤波器;
当需要更新所述卡尔曼滤波器时,根据所述卡尔曼增益更新滤波因子;
根据所述更新后的滤波因子更新所述滤波因子误差的协方差矩阵。


4.根据权利要求1至3中任一所述的方法,其特征在于,在所述(202)根据所述频点VAD标识信息控制卡尔曼滤波器从辅麦克风信号中滤除目标语音信号,获得辅麦克风噪声信号之后,所述方法还包括:
对所述辅麦克风噪声信号进行谐波检测;
当所述辅麦克风噪声信号中存在语音谐波时,加速更新所述卡尔曼滤波器。


5.根据权利要求1至4中任一所述的方法,其特征在于,所述(203)通过动态噪声频谱映射将所述辅麦克风噪声信号映射到所述主麦克风信号,获得所述主麦克风信号的主麦克风噪声频谱包括:
根据所述主麦克风信号和所述辅麦克风信号计算所述主麦克风信号的先验全局静音概率;
根据所述主麦克风信号、所述主麦克风信号的先验全局静音概率和所述辅麦克风噪声信号计算所述主麦克风信号的动态补偿系数;
根据所述主麦克风信号的动态补偿系数和所述辅麦克风噪声信号计算所述主麦克风信号的主麦克风噪声频谱。


6.根据权利要求5所述的方法,其特征在于,所述根据所述主麦克风信号和所述辅麦克风信号计算所述主麦克风信号的先验全局静音概率包括:
根据主麦克风和辅麦克风之间的距离计算散射场的噪声的相干函数;
计算所述主麦克风信号和所述辅麦克风信号的复数相干函数;
根据所述散射场的噪声的相干函数和所述主麦克风信号的复数相干函数计算所述主麦克风信号的入射角参数;
根据所述入射角参数计算复数相干系数;
根据所述入射角参数和所述复数相干系数计算先验静音概率;
在时频域上对所述先验静音概率进行平滑处理,获得所述主麦克风信号的先验全局静音概率。


7.根据权利要求1至6中任一所述的方法,其特征在于,所述(204)至少根据所述主麦克风信号的主麦克风噪声频谱计算所述主麦克风信号的降噪增益,并输出降噪后的主语音信号包括:
获取所述主麦克风信号的单麦克风噪声频谱;
根据所述主麦克风信号的主麦克风噪声频谱和所述主麦克风信号的单麦克风噪声频谱,获得所述主麦克风信号的总噪声频谱;
根据所述主麦克风信号的总噪声频谱计算所述主麦克风信号的降噪增益,并输出所述降噪后的主语音信号。


8.根据权利要求7所述的方法,其特征在于,所述根据所述主麦克风信号的总噪声频谱计算所述主麦克风信号的降噪增益,并输出所述降噪后的主语音信号包括:
根据所述主麦克风信号和所述主麦克风信号的总噪声频谱计算所述主麦克风信号的先验信噪比SNR;
根据所述主麦克风信号的先验SNR计算所述主麦克风信号的初始增益,获得初始增益结果;
根据所述初始增益结果对所述主麦克风信号进行谐波增强,获得谐波增强后的主麦克风信号;
计算所述谐波增强后的主麦克风信号的二级增益,获得二级增益结果;
对所述二级增益结果进行倒频谱平滑处理,获得倒频谱平滑处理后的主麦克风信号;
当基音分布范围内的所述倒频谱平滑处理后的主麦克风信号的幅度大于预设阈值时,对所述倒频谱平滑处理后的主麦克风信号进行谐波替换,获得谐波替换后的主麦克风信号;
对所述谐波替换后的主麦克风信号逆变换到频域,获得平滑处理后的SNR;
根据所述平滑处理后的SNR计算所述主麦克风信号的降噪增益,并输出所述降噪后的主语音信号。


9.根据权利要求8所述的方法,其特征在于,在所述对所述二级增益结果进行倒频谱平滑处理,获得倒频谱平滑处理后的主麦克风信号之前,所述方法还包括:
根据所述主麦克风信号的主麦克风噪声频谱和所述主麦克风信号的基音信息进行谐波选择,获得谐波选择结果;
根据所述谐波选择结果确定所述二级增益结果中是否存在语音谐波;
当所述二级增益结果中不存在语音谐波时,将所述倒频谱平滑处理期间需要检测的基音信息设置为0。


10.根据权利要求7至9中任一所述的方法,其特征在于,所述获取所述主麦克风信号的单麦克风噪声频谱包括:
通过全局平滑处理计算所述主麦克风信号的后验全局SNR,并通过局部平滑处理计算所述主麦克风信号的后验局部SNR;
根据所述后验全局SNR、所述后验局部SNR和所述主麦克风信号的基音信息计算语音出现概率;
根据所述语音出现概率估计所述主麦克风信号的单麦克风噪声频谱。


11.一种多麦克风降噪装置(1100),其特征在于,包括:
第一谐波检测模块(1101),用于对主...

【专利技术属性】
技术研发人员:范泛德米特里·弗拉基米罗维奇·萨拉纳弗拉迪斯拉夫·伊戈列维奇·瓦西里耶夫
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1