回声消除方法、装置及电子设备制造方法及图纸

本公开实施例提供一种回声消除方法、装置及电子设备，所述方法包括接收多个待处理信号，根据多个待处理信号对应的远端信号和/或第一混合信号，预训练的回声消除模型，得到估计掩蔽值，根据估计掩蔽值确定估计近端信号，若根据估计掩蔽值确定预训练的回声消除模型不满足预设条件，则将估计近端信号或根据其他传统模型确定的替代估计近端信号发送至远端进行播放，并在根据估计掩蔽值更新预训练的回声消除模型的权重值之后，重新执行接收多个待处理信号的步骤，直至重新训练的回声消除模型满足预设条件。本公开提高了网络模型消除回声的准确性。

【技术实现步骤摘要】
回声消除方法、装置及电子设备
本公开实施例涉及数据处理
，尤其涉及一种回声消除方法、装置及电子设备。
技术介绍
声学回声是由远端信号经过扬声器播放后被近端的传声器采集而得的信号，其与远端信号的区别不仅仅包含近端房间系统的响应，还有扬声器的非线性特性对信号产生的失真，且每个设备自带的音频处理过程也有可能引入非线性的变化，导致远端房间中的说话人将听到自己的回声，严重影响了用户的语音交互体验，因此，声学回声消除是语音交互场景中不可或缺的模块。现有技术中，随着深度学习神经网络的广泛应用，可以通过训练一网络模型来对声学回声进行消除。然而，现有的非线性回声消除的网络模型都是离线训练，即需要先准备大量的训练数据集，然后在高性能服务器上将模型训练到最优，再将该模型嵌入到对应的终端设备上进行前向处理，得到相应的结果。但是非线性回声是与终端设备的参数有关的，如果训练数据集中不包含该设备的回声数据，那么预先训练好的网络模型可能无法对非线性残余回声进行消除，降低了网络模型消除回声的准确性，进而影响了用户的使用体验。
技术实现思路
本公开实施例提供一种回声消除方法、装置及电子设备，以提高网络模型消除回声的准确性。第一方面，本公开实施例提供一种回声消除方法，包括：接收多个待处理信号，其中，每个所述待处理信号中包含远端发送的远端信号和/或近端接收的与所述远端信号对应的第一混合信号；根据所述多个待处理信号对应的远端信号和/或第一混合信号，以及预训练的回声消除模型，得到估计掩蔽值，根据所述估计掩蔽值确定估计近端信号；若根据所述估计掩蔽值确定所述预训练的回声消除模型不满足预设条件，则将所述估计近端信号或根据其他传统模型确定的替代估计近端信号发送至所述远端进行播放，并在根据所述估计掩蔽值更新所述预训练的回声消除模型的权重值之后，重新执行接收多个待处理信号的步骤，直至重新训练的回声消除模型满足所述预设条件。第二方面，本公开实施例提供一种回声消除装置，包括：接收模块，用于接收多个待处理信号，其中，每个所述待处理信号中包含远端发送的远端信号和/或近端接收的与所述远端信号对应的第一混合信号；处理模块，用于根据所述多个待处理信号对应的远端信号和/或第一混合信号，以及预训练的回声消除模型，确定估计近端信号，其中，所述预训练的回声消除模型通过远端训练信号，以及与所述远端训练信号对应的混合训练信号训练得到；所述处理模块，还用于根据所述估计近端信号确定所述预训练的回声消除模型的消除准确率；所述处理模块，还用于若所述消除准确率不小于第一预设准确率阈值，且不大于第二预设准确率，则将所述估计近端信号发送至所述远端进行播放，并根据所述多个待处理信号对应的远端信号和/或第一混合信号更新所述预训练的回声消除模型的权重值，在所述预训练的回声消除模型的权重值更新完成之后，重新执行所述获取待处理信号及之后的步骤，直至更新后的回声消除模型的消除准确率大于所述第二预设准确率。第三方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的回声消除方法。第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的回声消除方法。第五方面，本专利技术实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计所述的回声消除方法。本实施例提供了一种回声消除方法、装置及电子设备，采用上述方案后，能先接收多个待处理信号，其中，每个待处理信号中包含远端发送的远端信号和/或近端接收的与远端信号对应的第一混合信号，根据多个待处理信号对应的远端信号和/或第一混合信号，以及预训练的回声消除模型得到估计掩蔽值，再根据该估计掩蔽值确定估计近端信号，若根据该估计掩蔽值确定的预训练的回声消除模型不满足预设条件，则将估计近端信号或根据其他传统模型确定的替代估计近端信号发送至远端进行播放，并在根据该估计掩蔽值更新预训练的回声消除模型的权重值之后，重新执行接收多个待处理信号的步骤，直至重新训练的回声消除模型满足预设条件，通过先基于预训练的网络模型确定一估计掩蔽值，然后根据该估计掩蔽值确定该网络模型的准确率，并判断该网络模型的准确率与预设条件之间的关系的方式，来确定是否需要在线训练网络模型，提高了网络模型消除回声的准确性，进而提高了用户的使用体验。附图说明为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本公开实施例提供的回声消除方法的应用系统的架构示意图；图2为本公开实施例提供的回声消除方法的原理示意图；图3为本公开实施例提供的回声消除方法的流程示意图；图4为本公开实施例提供的信号筛选的原理示意图；图5为本公开实施例提供的回声消除模型更新权重的流程示意图；图6为本公开实施例提供的回声消除装置的结构示意图；图7为本公开实施例提供的电子设备的硬件结构示意图。具体实施方式为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。现有技术中，随着深度学习神经网络(例如DNN网络)的广泛应用，可以通过训练一网络模型来对声学回声进行消除。然而，现有的非线性回声消除的网络模型都是离线训练，即需要先准备大量的训练数据集，然后在高性能服务器上将模型训练到最优，再将该模型嵌入到对应的终端设备上进行前向处理，得到相应的结果。但是非线性回声是与设备的参数有关的，如果训练数据集中不包含该设备的回声数据，那么预先训练好的网络模型可能无法对非线性残余回声进行消除，示例性的，在涉及到VoIP(VoiceoverInternetProtocol，网络语音协议)的应用场景中，终端设备是多变的，采集训练数据时难以覆盖所有的设备类型和场景，且经过训练的音频设备在经过一段时间的使用之后，终端设备的参数也有可能会发生变化，导致回声的非线性特性发生改变，降低了网络模型消除回声的准确性和鲁棒性，进而影响了用户的使用体验。基于上述问题，本申请通过先基于预训练的网络模型确定一估计掩蔽值，然后根据该估计掩蔽值确定该网络模型的准确率，并判断该网络模型的准确率与预设本文档来自技高网...

【技术保护点】
1.一种回声消除方法，所述方法包括：/n接收多个待处理信号，其中，每个所述待处理信号中包含远端发送的远端信号和/或近端接收的与所述远端信号对应的第一混合信号；/n根据所述多个待处理信号对应的远端信号和/或第一混合信号，以及预训练的回声消除模型，得到估计掩蔽值，根据所述估计掩蔽值确定估计近端信号；/n若根据所述估计掩蔽值确定所述预训练的回声消除模型不满足预设条件，则将所述估计近端信号或根据其他传统模型确定的替代估计近端信号发送至所述远端进行播放，并在根据所述估计掩蔽值更新所述预训练的回声消除模型的权重值之后，重新执行接收多个待处理信号的步骤，直至重新训练的回声消除模型满足所述预设条件。/n

【技术特征摘要】
1.一种回声消除方法，所述方法包括：
接收多个待处理信号，其中，每个所述待处理信号中包含远端发送的远端信号和/或近端接收的与所述远端信号对应的第一混合信号；
根据所述多个待处理信号对应的远端信号和/或第一混合信号，以及预训练的回声消除模型，得到估计掩蔽值，根据所述估计掩蔽值确定估计近端信号；
若根据所述估计掩蔽值确定所述预训练的回声消除模型不满足预设条件，则将所述估计近端信号或根据其他传统模型确定的替代估计近端信号发送至所述远端进行播放，并在根据所述估计掩蔽值更新所述预训练的回声消除模型的权重值之后，重新执行接收多个待处理信号的步骤，直至重新训练的回声消除模型满足所述预设条件。


2.根据权利要求1所述的方法，其中，所述根据所述多个待处理信号对应的远端信号和/或第一混合信号，以及预训练的回声消除模型，得到估计掩蔽值，根据所述估计掩蔽值确定估计近端信号，包括：
基于预设筛选规则对所述多个待处理信号对应的远端信号和/或第一混合信号进行筛选，得到纯近端信号和纯回声信号；
将所述纯近端信号和所述纯回声信号进行混合处理，得到第二混合信号；
将所述第二混合信号以及所述远端信号输入至预训练的回声消除模型中进行回声消除处理，得到第一估计掩蔽值，根据第一预设处理规则对所述第一估计掩蔽值和所述第二混合信号的频谱进行处理，得到估计近端信号。


3.根据权利要求2所述的方法，其中，所述基于预设筛选规则对所述多个待处理信号对应的远端信号和/或第一混合信号进行筛选，得到纯近端信号和纯回声信号，包括：
针对每个所述待处理信号，判断所述待处理信号中是否包含远端信号；
若否，则确定所述待处理信号为纯近端信号；
若是，则将所述待处理信号输入至预训练的双向通话探测网络模型中进行识别，确定所述待处理信号为纯回声信号或不可训练信号。


4.根据权利要求2所述的方法，其中，所述基于预设筛选规则对所述多个待处理信号对应的远端信号和/或第一混合信号进行筛选，得到纯近端信号和纯回声信号，包括：
针对每个所述待处理信号，判断所述待处理信号中是否包含远端信号；
若否，则确定所述待处理信号为纯近端信号；
若是，则基于预设非线性回声处理规则对所述待处理信号进行处理，确定所述待处理信号对应的掩蔽值；
若所述待处理信号对应的掩蔽值为0，则所述待处理信号为纯回声信号。


5.根据权利要求2所述的方法，其中，在所述将所述纯近端信号和所述纯回声信号进行混合处理，得到第二混合信号之后，还包括：
基于预设消除规则对所述第二混合信号进行线性回声消除处理，得到残留非线性回声的第二混合信号；
则所述将所述第二混合信号以及所述远端信号输入至预训练的回声消除模型中进行回声消除处理，得到第一估计掩蔽值，根据第一预设处理规则对所述第一估计掩蔽值和所述第二混合信号的频谱进行处理，得到估计近端信号，包括：
将所述残留非线性回声的第二混合信号以及所述远端信号输入至预训练的回声消除模型中进行回声消除处理，得到第二估计掩蔽值，根据第二预设处理规则对所述第二估计掩蔽值和所述残留非线性回声的第二混合信号的频谱进行处理，得到估计近端信号。


6.根据权利要求5所述的方法，其中，所述基于预设消除规则对所述第二混合信号进行线性回声消除处理，得到残留非线性回声的第二混合信号，包括：
通过自适应线性滤波器对所述第二混合信号进行线性回声消除处理，得到残留非线性回声的第二混合信号，其中，所述自适应线性滤波器为最小均方自适应滤波器方法、分块延时频域自适应算法或递归最小均方滤波器。


7.根据权利要求5所述的方法，其中，所述若根据所述估计掩蔽值确定所述预训练的回声消除模型不满足预设条件，则将所述估计近端信号或根据其他模型确定的替代估计近端信号发送至所述远端进行播放，并在根据所述估计掩蔽值更新所述预训练的回声消除模型的权重之后，重新执行接收多个待处理信号的步骤，直至重新训练的回声消除模型满足所述预设条件，包括：
根据所述残留非线性回声的第二混合信号以及所述纯近端信号来提取标签，确定第一目标掩蔽值；
确定所述第一目标掩蔽值以及所述第二估计掩蔽值之间的第一差值，并基于所述第一差值确定所述预训练的回声消除模型的消除准确率；
根据所述消除准确率确定所述预训练的回声消除模型是否满足预设条件；
若根据所述消除准确率确定所述预训练的回声消除模型不满足预设条件，则将所述估计近端信号或根据其他模型确定的替代估计近端信号发送至所述远端进行播放，并在根据所述估计掩蔽值更新所述预训练的回声消除模型的权重之后，重新执行接收多个待处理信号的步骤，直至重新训练的回声消除模型满足所述预设条件。


8.根据权利要求2所述的方法，其中，所述若根据所述估计掩蔽值确定所述预训练的回声消除模型不满足预设条件，则将所述估计近端信号或根据其他模型确定的替代估计近端信号发送至所述远端进行播放，并在根据所述估计掩蔽值更新所述预训练的回声消除模型的权重之后，重新执行接收多个待处理信号的步骤，直至重新训练的回声消除模型满足所述预设条件，包括：
根据所述第二混合信号以及所述纯近端信号来提取标签，确定第二目标掩蔽值；
确定所述第二目标掩蔽值以及所述第一估计掩蔽值之间的第二差值，并基于所述第二差值确定所述预训练的回声消除模型的消除准确率；
根据所述消除准确率确定所述预训练的回声消除模型是否满足预设条件；
若根据所述消除准确率确定所述预训练的回声消除模型不满足预设条件，则将所述估计近端信号或根据其他模型确定的替代估计近端信号发送至所述远端进行播放，并在根据所述估计掩蔽值更新所述预训练的回声消除模型的权重之后，重新执行接收多个待处理信号的步骤，直至重新训练的回...

【专利技术属性】
技术研发人员：冷艳宏，周新权，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11