训练回声消除模型的方法、回声消除方法及对应装置制造方法及图纸

本申请实施例公开了一种训练回声消除模型的方法、回声消除方法及对应装置，涉及新一代信息技术领域。获取参考信号和麦克风输入信号；将所述参考信号和麦克风输入信号输入基于深度学习模型预先训练得到的回声消除模型，获取所述回声消除模型预测得到的近端信号；其中所述回声消除模型包括参数估计模块和滤波处理模块；所述参数估计模块利用参考信号和麦克风输入信号对滤波统计量进行估计，得到滤波统计量估计值；所述滤波处理模块利用所述参考信号和所述滤波统计量估计值，对所述麦克风输入信号进行滤波处理，输出对近端信号的预测结果。通过本申请能够提高回声消除的效果，且具有更强的鲁棒性。有更强的鲁棒性。有更强的鲁棒性。

【技术实现步骤摘要】
训练回声消除模型的方法、回声消除方法及对应装置


[0001]本申请涉及新一代信息
，特别是涉及一种训练回声消除模型的方法、回声消除方法及对应装置。

技术介绍

[0002]在一些语音交互的实时通信场景中不免会遇到回声的问题，即来自远端的语音在近端的扬声器播放后，经过近端环境又被传输至近端麦克风从而造成回声。回声与近端语音的叠加被近端麦克风采集到后传输至远端，会造成远端听到的声音中受到回声的干扰，语音交互质量很差。
[0003]因此，为了提高语音交互的质量，回声消除技术应运而生。由于扬声器的器件共振引起的非线性回声、传输链路和系统调度中产生的时钟漂移、时延等问题，使用传统的信号处理方法回声消除效果不佳。此外，由于语音交互设备的多样性，使用传统的信号处理方法需要对每种语音交互设备进行专业的参数调整，即额外增加一些平滑参数来保证回声消除模型的鲁棒性，这种方式严重依赖人工经验，造成回声消除效果依旧不佳。

技术实现思路

[0004]有鉴于此，本申请提供了一种训练回声消除模型的方法、回声消除方法及对应装置，用以提高回声消除的效果。
[0005]本申请提供了如下方案：第一方面，提供了一种训练回声消除模型的方法，所述方法包括：获取多个训练样本，各训练样本包括：参考信号样本、麦克风输入信号样本和近端信号样本；将所述参考信号样本和麦克风输入信号样本作为回声消除模型的输入，将所述近端信号样本作为回声消除模型的目标输出，训练所述回声消除模型；其中，所述回声消除模型基于深度学习模型实现，包括参数估计模块和滤波处理模块；所述参数估计模块利用所述参考信号样本和所述麦克风输入信号样本，对滤波统计量进行估计得到滤波统计量估计值；所述滤波处理模块利用所述参考信号样本和所述滤波统计量估计值，对所述麦克风输入信号样本进行滤波处理，输出对近端信号的预测结果。
[0006]根据本申请实施例中一可实现的方式，所述获取多个训练样本包括：预先录制第一语音和第二语音，将第一语音作为参考信号样本，将第二语音作为近端信号样本，在目标环境下播放第一语音和第二语音时麦克风采集到的信号作为麦克风输入信号样本。
[0007]根据本申请实施例中一可实现的方式，所述滤波统计量估计值包括对近端语音谱密度的估计值，和/或，对自适应滤波模块所采用步长的估计值。
[0008]根据本申请实施例中一可实现的方式，所述滤波处理模块包括自适应滤波模块和
后滤波模块；所述自适应滤波模块利用所述参考信号样本和所述滤波统计量估计值，对所述麦克风输入信号样本进行第一滤波处理，第一滤波处理的结果包括误差信号和对回声信号的预测结果中的至少一种；所述后滤波模块利用所述第一滤波处理的结果进行第二滤波处理，输出对近端信号的预测结果。
[0009]根据本申请实施例中一可实现的方式，若所述第一滤波处理的结果包括对回声信号的预测结果和误差信号，则所述后滤波模块利用所述第一滤波处理的结果进行第二滤波处理包括：所述后滤波模块利用所述对回声信号的预测结果对所述误差信号进行第二滤波处理；或者，若所述第一滤波处理的结果包括误差信号，则所述后滤波模块利用所述第一滤波处理的结果进行第二滤波处理包括：所述后滤波模块利用所述参考信号样本对所述误差信号进行第二滤波处理；或者，若所述第一滤波处理的结果包括对回声信号的预测结果，则所述后滤波模块利用所述第一滤波处理的结果进行第二滤波处理包括：所述后滤波模块利用所述对回声信号的预测结果对所述麦克风输入信号样本进行第二滤波处理；其中，所述误差信号为：将所述麦克风输入信号样本过滤掉对回声信号的预测结果后得到的信号。
[0010]根据本申请实施例中一可实现的方式，所述参数估计模块采用门控循环单元；所述自适应滤波模块采用卡尔曼自适应滤波模块或者递归最小二乘自适应滤波模块；所述后滤波模块采用深度前馈序列记忆网络、长短时记忆网络和门控循环神经网络中的一种或任意组合。
[0011]根据本申请实施例中一可实现的方式，训练所述回声消除模型包括：在每一轮迭代中利用损失函数的取值，采用梯度下降的方式更新所述参数估计模块、自适应滤波模块和后滤波模块的模型参数，直至满足预设的训练结束条件；其中所述损失函数是依据训练目标预先构造的，所述训练目标为最小化所述对近端信号的预测结果与所述近端信号样本之间的差异。
[0012]第二方面，提供了一种回声消除方法，所述方法包括：获取参考信号和麦克风输入信号；将所述参考信号和麦克风输入信号输入基于深度学习模型预先训练得到的回声消除模型，获取所述回声消除模型预测得到的近端信号；其中所述回声消除模型包括参数估计模块和滤波处理模块；所述参数估计模块利用参考信号和麦克风输入信号对滤波统计量进行估计，得到滤波统计量估计值；所述滤波处理模块利用所述参考信号和所述滤波统计量估计值，对所述麦克风输入信号进行滤波处理，输出对近端信号的预测结果。
[0013]根据本申请实施例中一可实现的方式，所述滤波统计量包括近端语音的谱密度，和/或，所述第一滤波处理采用的步长。
[0014]根据本申请实施例中一可实现的方式，所述滤波处理模块包括自适应滤波模块和后滤波模块；所述自适应滤波模块利用所述参考信号和所述滤波统计量估计值，对所述麦克风输入信号进行第一滤波处理，第一滤波处理的结果包括误差信号和对回声信号的预测结果中的至少一种；所述后滤波模块利用所述第一滤波处理的结果进行第二滤波处理，输出对近端信号的预测结果。
[0015]根据本申请实施例中一可实现的方式，若所述第一滤波处理的结果包括对回声信号的预测结果和误差信号，则所述后滤波模块利用所述第一滤波处理的结果进行第二滤波处理包括：所述后滤波模块利用所述对回声信号的预测结果对所述误差信号进行第二滤波处理；或者，若所述第一滤波处理的结果包括误差信号，则所述后滤波模块利用所述第一滤波处理的结果进行第二滤波处理包括：所述后滤波模块利用所述参考信号对所述误差信号进行第二滤波处理；或者，若所述第一滤波处理的结果包括对回声信号的预测结果，则所述后滤波模块利用所述第一滤波处理的结果进行第二滤波处理包括：所述后滤波模块利用所述对回声信号的预测结果对所述麦克风输入信号进行第二滤波处理；其中，所述误差信号为：将所述麦克风输入信号过滤掉对回声信号的预测结果后得到的信号。
[0016]根据本申请实施例中一可实现的方式，所述参数估计模块采用门控循环单元；所述自适应滤波模块采用卡尔曼滤波模块或者递归最小二乘滤波模块；所述后滤波模块采用深度前馈序列记忆网络、长短时记忆网络和门控循环神经网络中的一种或任意组合。
[0017]第三方面，提供了一种训练回声消除模型的装置，所述装置包括：样本获取单元，被配置为获取多个训练样本，各训练样本包括：参考信号样本、麦克风输入信号样本和近端信号样本；模型训练单元，被配置为将所述参考信号样本和麦克风输入信号样本作为回声消除模型的输入，将所述近端信号样本作为回声消除模型的目标输出，训练所述回声消除模型；其中，所述回声消除模型基于深度学习模型实现，包括参数估计模块和滤波处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练回声消除模型的方法，其特征在于，所述方法包括：获取多个训练样本，各训练样本包括：参考信号样本、麦克风输入信号样本和近端信号样本；将所述参考信号样本和麦克风输入信号样本作为回声消除模型的输入，将所述近端信号样本作为回声消除模型的目标输出，训练所述回声消除模型；其中，所述回声消除模型基于深度学习模型实现，包括参数估计模块和滤波处理模块；所述参数估计模块利用所述参考信号样本和所述麦克风输入信号样本，对滤波统计量进行估计得到滤波统计量估计值；所述滤波处理模块利用所述参考信号样本和所述滤波统计量估计值，对所述麦克风输入信号样本进行滤波处理，输出对近端信号的预测结果。2.根据权利要求1所述的方法，其特征在于，所述获取多个训练样本包括：预先录制第一语音和第二语音，将第一语音作为参考信号样本，将第二语音作为近端信号样本，在目标环境下播放第一语音和第二语音时麦克风采集到的信号作为麦克风输入信号样本。3.根据权利要求1所述的方法，其特征在于，所述滤波统计量估计值包括对近端语音谱密度的估计值，和/或，对自适应滤波模块所采用步长的估计值。4.根据权利要求1所述的方法，其特征在于，所述滤波处理模块包括自适应滤波模块和后滤波模块；所述自适应滤波模块利用所述参考信号样本和所述滤波统计量估计值，对所述麦克风输入信号样本进行第一滤波处理，第一滤波处理的结果包括误差信号和对回声信号的预测结果中的至少一种；所述后滤波模块利用所述第一滤波处理的结果进行第二滤波处理，输出对近端信号的预测结果。5.根据权利要求4所述的方法，其特征在于，若所述第一滤波处理的结果包括对回声信号的预测结果和误差信号，则所述后滤波模块利用所述第一滤波处理的结果进行第二滤波处理包括：所述后滤波模块利用所述对回声信号的预测结果对所述误差信号进行第二滤波处理；或者，若所述第一滤波处理的结果包括误差信号，则所述后滤波模块利用所述第一滤波处理的结果进行第二滤波处理包括：所述后滤波模块利用所述参考信号样本对所述误差信号进行第二滤波处理；或者，若所述第一滤波处理的结果包括对回声信号的预测结果，则所述后滤波模块利用所述第一滤波处理的结果进行第二滤波处理包括：所述后滤波模块利用所述对回声信号的预测结果对所述麦克风输入信号样本进行第二滤波处理；其中，所述误差信号为：将所述麦克风输入信号样本过滤掉对回声信号的预测结果后得到的信号。6.根据权利要求4所述的方法，其特征在于，所述参数估计模块采用门控循环单元；所述自适应滤波模块采用卡尔曼自适应滤波模块或者递归最小二乘自适应滤波模块；所述后滤波模块采用深度前馈序列记忆网络、长短时记忆网络和门控循环神经网络中的一种或任意组合。
7.根据权利要求4所述的方法，其特征在于，训练所述回声消除模型包括：在每一轮迭代中利用损失函数的取值，采用梯度下降的方式更新所述参数估计模块、自适应滤波模块和后滤波模块的模型参数，直至满足预设的训练结束条件；其中所述损失函数是依据训练目标预先构造的，所述训练目标为最小化所述对近端信号的预测结果与所述近端信号样本之间的差异。8.一种回声消除方法，其特征在于，所述方法包括：获取参考信号和麦克风输入信号；将所述参考信号和麦克风输入信号输入基于深度学习模型预先训练得到的回声消除模型，获取所述回声消除模型预测得到的近端信号；其中所述回声消除模型包括参数估计模块和滤波处理模块；所述参数估计模块利用参考信号和麦克风输入信号对滤波统计量进行估计，得到滤波统计量估计值；所述滤波处理模块利用所述参考信号和所述滤波统计量估计...

【专利技术属性】
技术研发人员：张是民，王子腾，纳跃跃，付强，田彪，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：