【技术实现步骤摘要】
基于信道关联时频掩膜的语音波束形成方法
本专利技术涉及语音信号增强
，具体地，涉及一种基于信道关联时频掩膜的语音波束形成方法。
技术介绍
目前，语音增强技术是语音信号处理必不可少的部分，能够提高语音信号的信噪比，使得语音处理时更少的被噪声影响。波束形成方法是语音增强技术中，多通道信号增强领域最具效果的方法。传统的波束形成方法针对理想的麦克风阵列设计，在非标准化设计的硬件环境中表现不能达到最好。将信道分类标记，使用噪声丰富的信道和语音丰富的信道分别估计噪声和语音特征，能够使得波束形成方法获得更好的增强效果，也能够更好的适应非标准化设计的硬件环境。与本专利相关的技术是基于时频掩膜的波束形成方法，该方法根据多通道输入估计噪声时频掩膜，然后根据输入信号和噪声时频掩膜估计语音时频掩膜；将两个时频掩膜分别计算噪声协方差矩阵和语音协方差矩阵；根据二者协方差矩阵进行广义特征值分解，得到应进行语音增强的滤波器参数，对滤波器参数进行归一化并以此构建语音增强滤波器；使用语音增强滤波器对输入的多通道语音进行滤波，并对增强后语音中值滤波，输出单通道增强语音。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于信道关联时频掩膜的语音波束形成方法。根据本专利技术提供的一种基于信道关联时频掩膜的语音波束形成方法，包括以下步骤：信道关联的时频掩膜估计步骤：将噪声分量大于语音分量信道称为噪声信道，将语音分量大于噪声分量的信道称为语音信道；使用神经网络训练时频掩膜分类器；使用噪声信道输入信...
【技术保护点】
1.一种基于信道关联时频掩膜的语音波束形成方法，其特征在于，包括以下步骤：/n信道关联的时频掩膜估计步骤：将噪声分量大于语音分量信道称为噪声信道，将语音分量大于噪声分量的信道称为语音信道；使用神经网络训练时频掩膜分类器；使用噪声信道输入信号和时频掩膜分类器估算噪声时频掩膜，使用语音信道输入信号和神经网络估算语音时频掩膜；/n波束形成滤波器构建步骤：使用时频掩膜分别计算噪声协方差矩阵和语音协方差矩阵，根据二者协方差矩阵进行广义特征值分解，得到应进行语音增强的滤波器参数，对滤波器参数进行归一化并以此构建语音增强滤波器；/n语音降噪增强步骤：使用语音增强滤波器对输入的多通道语音进行滤波，并对增强后语音中值滤波，输出单通道增强语音。/n
【技术特征摘要】
1.一种基于信道关联时频掩膜的语音波束形成方法，其特征在于，包括以下步骤：
信道关联的时频掩膜估计步骤：将噪声分量大于语音分量信道称为噪声信道，将语音分量大于噪声分量的信道称为语音信道；使用神经网络训练时频掩膜分类器；使用噪声信道输入信号和时频掩膜分类器估算噪声时频掩膜，使用语音信道输入信号和神经网络估算语音时频掩膜；
波束形成滤波器构建步骤：使用时频掩膜分别计算噪声协方差矩阵和语音协方差矩阵，根据二者协方差矩阵进行广义特征值分解，得到应进行语音增强的滤波器参数，对滤波器参数进行归一化并以此构建语音增强滤波器；
语音降噪增强步骤：使用语音增强滤波器对输入的多通道语音进行滤波，并对增强后语音中值滤波，输出单通道增强语音。
2.根据权利要求1所述的基于信道关联时频掩膜的语音波束形成方法，其特征在于，所述信道关联的时频掩膜估计步骤包括：
信道标注步骤：根据语音采集设备的硬件使用环境，将噪声分量丰富的信道称为噪声信道，将语音分量丰富的信道称为语音信道；
时频掩膜分类器训练步骤：利用纯语音和纯噪声训练时频掩膜分类器，时频掩膜分类器的输入为语音、噪声，输出为语音掩膜值及噪声掩膜值，获得训练好的时频掩膜分类器；
时频掩膜估计步骤：使用训练好的时频掩膜分类器估计时频掩膜值，时频掩膜分类器的输入为语音、噪声或带噪语音信号，输出为语音时频掩膜值及噪声时频掩膜值。
3.根据权利要求1所述的基于信道关联时频掩膜的语音波束形成方法，其特征在于，所述波束形成滤波器构建步骤包括：
协方差矩阵计算步骤：根据语音时频掩膜及输入的多通道信号功率谱计算语音协方差矩阵，根据噪声时频掩膜及输入多通道信号的功率谱计算噪声协方差矩阵；
广义特征值分解步骤：根据噪声协方差矩阵和信号协方差矩阵，使用广义特征值分解，获得广义特征值及特征向量，最优滤波器参数为最大特征值对应的特征向量；
参数归一化步骤：根据最优滤波器参数，构建语音增强滤波器，使用后置归一化滤波，对输入多通道信号的各个频率输入增益归一化处理，输出无失真信号。
4.根据权利要求1所述的基于信道关联时频掩膜的语音波束形成方法，其特征在于，所述语音降噪增强步骤包括：
波束形成滤波步骤：使用归一化后的滤波器参数构建滤波器，并作用于输入多通道信号的每个通道，输出滤波后多通道信号；
中值滤波步骤：根据滤波后多通道信号，使用中值滤波将多通道信号平滑为单通道信号，并输出滤波后单通道信号。
5.根据权利要求2所述的信道关联的时频掩膜估计方法，其特征在于，所述时频掩膜分类器训练步骤包括：
输入数据处理步骤：将训练所用的噪声数据标记噪声标签，将训练所用的语音数据标记语音标签；根据输入数据，使用短时傅里叶变换将其转变到时频域，并获得时频信号矩阵，该矩阵为神经网络输入；
损失计算步骤：结合输入数据标签及神经网络正向传播的结果，计算神经网络结果与标签之间的误差值，并计算损失函数值；
反向传播步骤：结合损失函数值，计算梯度，反向传播并更新神经网络节点参数；
迭代训练步骤：根据损失函数值，重复上述损失计算步骤和反向传播步骤，当损失函数值不再下降时停止，得到训练完成的时频掩膜分类器。
6.根据权利要求2所述的基于信道关联时频掩膜的语音波束形成方法，其特征在于，所述时频掩膜估计步骤包括：
输入数据处理步骤：根据输入数据，使用信道标注结果将数据标注为噪声丰富数据或者语音丰富数据，使用短时傅里叶变换将其转变到时频域，并获得时频信号矩阵，该矩阵为神经网络输入；
时频掩膜估计步骤：根据输入数据类型判断估计噪声时频掩膜抑或语音时频掩膜；将噪声丰富数据的时频信号矩阵输入训练完成的神经网络，获得噪声时频掩膜；将语音丰富数据的时频信号矩阵输入训练完...
【专利技术属性】
技术研发人员：杨磊，文飞，王维钦，周良辰，谭璐芬，戴俊宇，王立众，刘佩林，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。