干扰信号消除模型的训练方法和干扰信号消除方法及设备技术

本公开提供了一种干扰信号消除模型的训练方法和干扰信号消除方法及设备。所述训练方法包括：获取包括麦克风信号、远端参考信号、以及干净语音信号的训练样本；根据所述远端参考信号，对所述麦克风信号进行线性回声消除；获取所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱；将所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱输入到干扰信号消除模型，得到预测的第一幅度谱掩码；根据第一幅度谱掩码和所述干净语音信号，计算所述干扰信号消除模型的损失函数；通过根据所述损失函数调整所述干扰信号消除模型的模型参数，对所述干扰信号消除模型进行训练。

【技术实现步骤摘要】
干扰信号消除模型的训练方法和干扰信号消除方法及设备
本公开总体说来涉及音频
，更具体地讲，涉及一种干扰信号消除模型的训练方法和设备、及干扰信号消除方法和设备。
技术介绍
随着通信技术的飞速发展，语音通信系统被越来越广泛地使用。在全双工语音通信系统中，回声现象是扬声器的声音反馈到麦克风引起的。如果无法有效抑制声学回声，则用户可以听到自己被延迟的声音。因此，语音回声消除在提高语音通信质量方面起着至关重要的作用。回声消除的目的是将干净的语音和回声分开，因此回声消除可以看作为一类语音分离问题。而如何尽量消除其他端语音的回声又保留本端语音，是一个值得研究的问题。
技术实现思路
本公开的示例性实施例在于提供一种干扰信号消除模型的训练方法和干扰信号消除方法及设备，以至少解决上述相关技术中的问题，也可不解决任何上述问题。根据本公开实施例的第一方面，提供一种干扰信号消除模型的训练方法，包括：获取包括麦克风信号、远端参考信号、以及干净语音信号的训练样本，其中，所述麦克风信号是基于所述干净语音信号添加干扰信号得到的，所述干扰信号包括所述远端参考信号的回声信号；根据所述远端参考信号，对所述麦克风信号进行线性回声消除；获取所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱；将所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱输入到干扰信号消除模型，得到预测的第一幅度谱掩码，其中，第一幅度谱掩码是所述麦克风信号消除了所述干扰信号后的幅度谱掩码；根据第一幅度谱掩码和所述干净语音信号，计算所述干扰信号消除模型的损失函数；通过根据所述损失函数调整所述干扰信号消除模型的模型参数，对所述干扰信号消除模型进行训练。可选地，所述训练样本还包括所述干扰信号；其中，将所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱输入到干扰信号消除模型，得到预测的第一幅度谱掩码的步骤包括：将所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱输入到所述干扰信号消除模型，得到预测的第一幅度谱掩码和预测的第二幅度谱掩码，其中，第二幅度谱掩码为所述干扰信号的幅度谱掩码；其中，根据第一幅度谱掩码和所述干净语音信号，计算所述干扰信号消除模型的损失函数的步骤包括：根据第一幅度谱掩码、第二幅度谱掩码、所述干净语音信号、以及所述干扰信号，计算所述干扰信号消除模型的损失函数。可选地，根据第一幅度谱掩码、第二幅度谱掩码、所述干净语音信号、以及所述干扰信号，计算所述干扰信号消除模型的损失函数的步骤包括：根据第一幅度谱掩码，确定预测的消除了所述干扰信号后的所述麦克风信号；根据第二幅度谱掩码，确定预测的所述干扰信号；根据预测的消除了所述干扰信号后的所述麦克风信号和所述干净语音信号计算第一损失函数，根据预测的所述干扰信号和所述干扰信号计算第二损失函数，并基于第一损失函数和第二损失函数计算所述干扰信号消除模型的损失函数。可选地，根据第一幅度谱掩码、第二幅度谱掩码、所述干净语音信号、以及所述干扰信号，计算所述干扰信号消除模型的损失函数的步骤包括：根据第一幅度谱掩码，确定预测的所述麦克风信号消除了所述干扰信号后的幅度谱；根据第二幅度谱掩码，确定预测的所述干扰信号的幅度谱；根据预测的所述麦克风信号消除了所述干扰信号后的幅度谱和所述干净语音信号的幅度谱计算第三损失函数，根据预测的所述干扰信号的幅度谱和所述干扰信号的幅度谱计算第四损失函数，并基于第三损失函数和第四损失函数计算所述干扰信号消除模型的损失函数。可选地，所述干扰信号消除模型包括交叉神经网络，所述交叉神经网络包括第一分支和第二分支两个分支，每个分支包括：N层二维卷积层、M层门控循环单元网络、一层全连接层、以及一层输出层；其中，N和M为大于0的整数。可选地，在每个分支中，第一层二维卷积层的输入为所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱，第i层二维卷积层的输出分别作为该分支和另一分支中的第i+1层二维卷积层的输入，第N层二维卷积层的输出分别作为该分支和另一分支中的第一层门控循环单元网络的输入，第j层门控循环单元网络的输出分别作为该分支和另一分支中的第j+1层门控循环单元网络的输入；在第一分支中，M层门控循环单元网络的输出还作为第一分支中的全连接层的输入，第一分支中的全连接层的输出作为第一分支中的输出层的输入；在第二分支中，第M层门控循环单元网络的输出作为第二分支中的全连接层的输入，第二分支中的全连接层的输出作为第二分支中的输出层的输入；其中，i为大于0且小于N的整数，j为大于0且小于M的整数。可选地，所述干扰信号还包括：环境噪声信号。可选地，根据第一幅度谱掩码，确定预测的消除了所述干扰信号后的所述麦克风信号的步骤包括：根据第一幅度谱掩码，确定预测的所述麦克风信号消除了所述干扰信号后的幅度谱；根据预测的所述麦克风信号消除了所述干扰信号后的幅度谱，确定预测的消除了所述干扰信号后的所述麦克风信号；根据第二幅度谱掩码，确定预测的所述干扰信号的步骤包括：根据第二幅度谱掩码，确定预测的所述干扰信号的幅度谱；根据预测的所述干扰信号的幅度谱，确定预测的所述干扰信号。可选地，根据第一幅度谱掩码，确定预测的消除了所述干扰信号后的所述麦克风信号的步骤包括：将第一幅度谱掩码与所述麦克风信号的幅度谱相乘，获得预测的所述麦克风信号消除了所述干扰信号后的幅度谱；将预测的所述麦克风信号消除了所述干扰信号后的幅度谱与所述麦克风信号的相位谱结合并执行时频逆变换，以获得预测的消除了所述干扰信号后的所述麦克风信号；根据第二幅度谱掩码，确定预测的所述干扰信号的步骤包括：将第二幅度谱掩码与所述麦克风信号的幅度谱相乘，获得预测的所述干扰信号的幅度谱；将预测的所述干扰信号的幅度谱与所述麦克风信号的相位谱结合并执行时频逆变换，以获得预测的所述干扰信号。可选地，根据所述远端参考信号，对所述麦克风信号进行线性回声消除的步骤包括：将所述远端参考信号与所述麦克风信号进行对齐处理；使用双滤波算法，根据与所述麦克风信号对齐后的所述远端参考信号，获取所述麦克风信号消除了线性回声后的频谱；获取所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱的步骤包括：根据所述麦克风信号消除了线性回声后的频谱，获取所述麦克风信号消除了线性回声后的幅度谱；根据对齐后的所述远端参考信号的频谱，获取所述远端参考信号的幅度谱。可选地，将所述远端参考信号与所述麦克风信号进行对齐处理的步骤包括：预测所述麦克风信号与所述远端参考信号之间的延迟，并基于预测的延迟，获取与所述麦克风信号对齐后的所述远端参考信号。根据本公开实施例的第二方面，提供一种干扰信号消除方法，包括：根据远端参考信号，对麦克风信号进行线性回声消除，其中，所述麦克风信号包括所述远端参考信号的回声信号；获取所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱；将所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱输入到干扰信号消除模型，得到预测的第一幅度谱掩码，其中，第一幅度谱掩码是本文档来自技高网...

【技术保护点】
1.一种干扰信号消除模型的训练方法，其特征在于，包括：/n获取包括麦克风信号、远端参考信号、以及干净语音信号的训练样本，其中，所述麦克风信号是基于所述干净语音信号添加干扰信号得到的，所述干扰信号包括所述远端参考信号的回声信号；/n根据所述远端参考信号，对所述麦克风信号进行线性回声消除；/n获取所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱；/n将所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱输入到干扰信号消除模型，得到预测的第一幅度谱掩码，其中，第一幅度谱掩码是所述麦克风信号消除了所述干扰信号后的幅度谱掩码；/n根据第一幅度谱掩码和所述干净语音信号，计算所述干扰信号消除模型的损失函数；/n通过根据所述损失函数调整所述干扰信号消除模型的模型参数，对所述干扰信号消除模型进行训练。/n

【技术特征摘要】
1.一种干扰信号消除模型的训练方法，其特征在于，包括：
获取包括麦克风信号、远端参考信号、以及干净语音信号的训练样本，其中，所述麦克风信号是基于所述干净语音信号添加干扰信号得到的，所述干扰信号包括所述远端参考信号的回声信号；
根据所述远端参考信号，对所述麦克风信号进行线性回声消除；
获取所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱；
将所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱输入到干扰信号消除模型，得到预测的第一幅度谱掩码，其中，第一幅度谱掩码是所述麦克风信号消除了所述干扰信号后的幅度谱掩码；
根据第一幅度谱掩码和所述干净语音信号，计算所述干扰信号消除模型的损失函数；
通过根据所述损失函数调整所述干扰信号消除模型的模型参数，对所述干扰信号消除模型进行训练。


2.根据权利要求1所述的训练方法，其特征在于，所述训练样本还包括所述干扰信号；
其中，将所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱输入到干扰信号消除模型，得到预测的第一幅度谱掩码的步骤包括：将所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱输入到所述干扰信号消除模型，得到预测的第一幅度谱掩码和预测的第二幅度谱掩码，其中，第二幅度谱掩码为所述干扰信号的幅度谱掩码；
其中，根据第一幅度谱掩码和所述干净语音信号，计算所述干扰信号消除模型的损失函数的步骤包括：根据第一幅度谱掩码、第二幅度谱掩码、所述干净语音信号、以及所述干扰信号，计算所述干扰信号消除模型的损失函数。


3.根据权利要求2所述的训练方法，其特征在于，根据第一幅度谱掩码、第二幅度谱掩码、所述干净语音信号、以及所述干扰信号，计算所述干扰信号消除模型的损失函数的步骤包括：
根据第一幅度谱掩码，确定预测的消除了所述干扰信号后的所述麦克风信号；
根据第二幅度谱掩码，确定预测的所述干扰信号；
根据预测的消除了所述干扰信号后的所述麦克风信号和所述干净语音信号计算第一损失函数，根据预测的所述干扰信号和所述干扰信号计算第二损失函数，并基于第一损失函数和第二损失函数计算所述干扰信号消除模型的损失函数。


4.根据权利要求2所述的训练方法，其特征在于，根据第一幅度谱掩码、第二幅度谱掩码、所述干净语音信号、以及所述干扰信号，计算所述干扰信号消除模型的损失函数的步骤包括：
根据第一幅度谱掩码，确定预测的所述麦克风信号消除了所述干扰信号后的幅度谱；
根据第二幅度谱掩码，确定预测的所述干扰信号的幅度谱；
根据预测的所述麦克风信号消除了所述干扰信号后的幅度谱和所述干净语音信号的幅度谱计算第三损失函数，根据预测的所述干扰信号的幅度谱和所述干扰信号的幅度谱计算第四损失函数，并基于第三损失函数和第四损失函数计算所述干扰信号消除模型的损失函数。


5.根据权利要求1所述的训练方法，其特征在于，所述干扰信号消除模型包括交叉神经网络，所述交叉神经网络包括第一分支和第二分支两个分支，每个分支包括：N层二维卷积层、M层门控循环单元网络、一层全连接层、以及一层输出层；
其中，N和M为大于0的整数。


6.根据权利要求5所述的训练方法，其特征在于，在每个分支中，第一层二维卷积层的输入为所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱，第i层二维卷积层的输出分别作为该分支和另一分支中的第i+1层二维卷积层的输入，第N层二维卷积层的输出分别作为该分支和另一分支中的第一层门控循环单元网络的输入，第j层门控循环单元网络的输出分别作为该分支和另一分支中的第j+1层门控循环单元网络的输入；
在第一分支中，M层门控循环单元网络的输出还作为第一分支中的全连接层的输入，第一分支中的全连接层的输出作为第一分支中的输出层的输入；
在第二分支中，第M层门控循环单元网络的输出作为第二分支中的全连接层的输入，第二分支中的全连接层的输出作为第二分支中的输出层的输入；
其中，i为大于0且小于N的整数，j为大于0且小于M的整数。


7.根据权利要求3所述的训练方法，其特征在于，根据第一幅度谱掩码，确定预测的消除了所述干扰信号后的所述麦克风信号的步骤包括：根据第一幅度谱掩码，确定预测的所述麦克风信号消除了所述干扰信号后的幅度谱；根据预测的所述麦克风信号消除了所述干扰信号后的幅度谱，确定预测的消除了所述干扰信号后的所述麦克风信号；
根据第二幅度谱掩码，确定预测的所述干扰信号的步骤包括：根据第二幅度谱掩码，确定预测的所述干扰信号的幅度谱；根据预测的所述干扰信号的幅度谱，确定预测的所述干扰信号。


8.根据权利要求1所述的训练方法，其特征在于，
根据所述远端参考信号，对所述麦克风信号进行线性回声消除的步骤包括：将所述远端参考信号与所述麦克风信号进行对齐处理；使用双滤波算法，根据与所述麦克风信号对齐后的所述远端参考信号，获取所述麦克风信号消除了线性回声后的频谱；
获取所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱的步骤包括：根据所述麦克风信号消除了线性回声后的频谱，获取所述麦克风信号消除了线性回声后的幅度谱；根据对齐后的所述远端参考信号的频谱，获取所述远端参考信号的幅度谱。


9.一种干扰信号消除方法，其特征在于，包括：
根据远端参考信号，对麦克风信号进行线性回声消除，其中，所述麦克风信号包括所述远端参考信号的回声信号；
获取所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱；
将所述麦克风信号消除了线性回声后的幅度谱和所述远端参考信号的幅度谱输入到干扰信号消除模型，得到预测的第一幅度谱掩码，其中，第一幅度谱掩码是所述麦克风信号消除了干扰信号后的幅度谱掩码；
根据第一幅度谱掩码，确定预测的消除了所述干扰信号后的所述麦克风信号。


1...

【专利技术属性】
技术研发人员：崔凡，李楠，张晨，韩润强，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11