回声消除模型的训练方法、装置、电子设备及介质制造方法及图纸

本公开提供一种回声消除模型的训练方法、装置及相关设备，涉及音视频通话技术领域，其中，所述方法包括：获取训练数据，其中，训练数据基于终端接收的混合信号生成，所述混合信号包括扬声器接收的第一信号和麦克风接收的第二信号；根据所述训练数据对多任务学习模型进行训练，得到回声消除模型，其中，所述多任务学习模型包括第一初始模型和第二初始模型，所述第一初始模型和所述第二初始模型均为深度神经网络模型，第一初始模型用于消除回声信号，第二初始模型用于判别回声是否存在。利用多任务学习和深度神经网络模型的设置，以克服背景噪声干扰以及回声传播路径的估计模型和终端硬件不匹配带来的干扰，令训练得到的回声消除模型更加可靠。模型更加可靠。模型更加可靠。

【技术实现步骤摘要】
回声消除模型的训练方法、装置、电子设备及介质


[0001]本公开涉及音视频通话
，具体涉及一种回声消除模型的训练方法、装置、电子设备及介质。

技术介绍

[0002]在线音视频通话过程中，终端的麦克风接收到的语音信号中可能混入有回声信号，上述回声信号基于终端的扬声器播放的声音信号产生，应用中，为保障麦克风接收到的语音信号的纯净性，需对麦克风接收到的语音信号进行回声消除(Acoustic Echo Cancellation，AEC)。
[0003]目前，相关技术通过估计扬声器至麦克风之间的回声传播路径，并结合所估计回声传播路径和扬声器输出的声音信号的冲击响应来预测回声信号，然后，在麦克风接收到的语音信号中减去上述回声信号，即可完成AEC操作。
[0004]应用中发现，由于存在背景噪声干扰以及回声传播路径的估计模型和终端硬件不匹配等问题，导致相关技术预测得到的回声信号可靠性低，也就是说，基于相关技术进行AEC操作的回声消除效果较差。

技术实现思路

[0005]本公开实施例的目的在于提供一种回声消除模型的训练方法、装置、电子设备及介质，用于解决基于相关技术进行AEC操作的回声消除效果差的技术问题。
[0006]第一方面，本公开实施例提供了一种回声消除模型的训练方法，包括：
[0007]获取训练数据，其中，所述训练数据基于终端接收的混合信号生成，所述混合信号包括所述终端的扬声器接收的第一信号和所述终端的麦克风接收的第二信号；
[0008]根据所述训练数据对多任务学习模型进行训练，得到回声消除模型，其中，所述多任务学习模型包括第一初始模型和第二初始模型，所述第一初始模型和所述第二初始模型均为深度神经网络模型，所述第一初始模型用于消除所述第二信号中由所述第一信号产生的回声信号，所述第二初始模型用于判别所述第二信号中是否包括由所述第一信号产生的回声信号。
[0009]在一个实施例中，所述获取训练数据，包括：
[0010]获取所述第一信号和所述第二信号；
[0011]对所述第一信号进行时频变换处理，得到第一频谱数据，以及，对所述第二信号进行时频变换处理，得到第二频谱数据；
[0012]对所述第一频谱数据和所述第二频谱数据进行拼接，得到所述训练数据。
[0013]在一个实施例中，所述根据所述训练数据对多任务学习模型进行训练，得到回声消除模型之后，所述方法还包括：
[0014]根据所述回声消除模型对待消除回声的原始信号进行处理，得到目标信号。
[0015]在一个实施例中，所述根据所述回声消除模型对待消除回声的原始信号进行处
理，得到目标信号，包括：
[0016]获取所述原始信号；
[0017]对所述原始信号包括的回声信号进行遮蔽处理，得到所述目标信号。
[0018]在一个实施例中，所述第一初始模型的模型参数与所述第二初始模型的模型参数不同。
[0019]在一个实施例中，所述第一初始模型包括至少两个循环神经网络以及第一全连接网络，其中，所述至少两个循环神经网络依次连接，且所述第一全连接网络与所述至少两个循环神经网络中的最后一个循环神经网络连接。
[0020]在一个实施例中，所述第二初始模型包括至少两个卷池网络以及第二全连接网络，其中，所述至少两个卷池网络依次连接，且所述第二全连接网络与所述至少两个卷池网络中的最后一个卷池网络连接，所述卷池网络包括依次连接的卷积网络和池化网络。
[0021]第二方面，本公开实施例还提供了一种回声消除模型的训练装置，包括：
[0022]数据获取模块，用于获取训练数据，其中，所述训练数据基于终端接收的混合信号生成，所述混合信号包括所述终端的扬声器接收的第一信号和所述终端的麦克风接收的第二信号；
[0023]模型训练模块，用于根据所述训练数据对多任务学习模型进行训练，得到回声消除模型，其中，所述多任务学习模型包括第一初始模型和第二初始模型，所述第一初始模型和所述第二初始模型均为深度神经网络模型，所述第一初始模型用于消除所述第二信号中由所述第一信号产生的回声信号，所述第二初始模型用于判别所述第二信号中是否包括由所述第一信号产生的回声信号。
[0024]第三方面，本公开实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的回声消除模型的训练方法的步骤。
[0025]第四方面，本公开实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的回声消除模型的训练方法的步骤。
[0026]在本公开实施例中，利用深度神经网络模型的设置，以克服背景噪声干扰以及回声传播路径的估计模型和终端硬件不匹配带来的干扰，令训练得到的回声消除模型更加可靠，在此基础上，还通过多任务学习的方式，对第一初始模型和第二初始模型进行联合学习，也即在训练回声消除模型过程中引入对回声判别模型的训练，这能提升训练得到的回声消除模型的泛化性能。
附图说明
[0027]为了更清楚地说明本公开实施例的技术方案，下面将对本公开实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0028]图1是本公开实施例提供的一种回声消除模型的训练方法的流程图；
[0029]图2是本公开实施例提供的一种音视频通话场景的示意图；
[0030]图3是本公开实施例提供的另一种回声消除模型的训练方法的流程图；
[0031]图4是本公开实施例提供的一种回声消除模型的训练装置的结构示意图；
[0032]图5是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
[0033]下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0034]本公开实施例提供一种回声消除模型的训练方法，参见图1，图1是本公开实施例提供的回声消除模型的训练方法的流程图，如图1所示，包括以下步骤：
[0035]步骤101、获取训练数据。
[0036]其中，所述训练数据基于终端接收的混合信号生成，所述混合信号包括所述终端的扬声器接收的第一信号和所述终端的麦克风接收的第二信号。
[0037]其中，终端也可以称作终端设备或者用户终端(User Equipment，UE)，终端可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)或称为笔记本电脑、个人数字助理(Personal Digital As本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种回声消除模型的训练方法，其特征在于，所述方法包括：获取训练数据，其中，所述训练数据基于终端接收的混合信号生成，所述混合信号包括所述终端的扬声器接收的第一信号和所述终端的麦克风接收的第二信号；根据所述训练数据对多任务学习模型进行训练，得到回声消除模型，其中，所述多任务学习模型包括第一初始模型和第二初始模型，所述第一初始模型和所述第二初始模型均为深度神经网络模型，所述第一初始模型用于消除所述第二信号中由所述第一信号产生的回声信号，所述第二初始模型用于判别所述第二信号中是否包括由所述第一信号产生的回声信号。2.根据权利要求1所述的方法，其特征在于，所述获取训练数据，包括：获取所述第一信号和所述第二信号；对所述第一信号进行时频变换处理，得到第一频谱数据，以及，对所述第二信号进行时频变换处理，得到第二频谱数据；对所述第一频谱数据和所述第二频谱数据进行拼接，得到所述训练数据。3.根据权利要求1所述的方法，其特征在于，所述根据所述训练数据对多任务学习模型进行训练，得到回声消除模型之后，所述方法还包括：根据所述回声消除模型对待消除回声的原始信号进行处理，得到目标信号。4.根据权利要求3所述的方法，其特征在于，所述根据所述回声消除模型对待消除回声的原始信号进行处理，得到目标信号，包括：获取所述原始信号；对所述原始信号包括的回声信号进行遮蔽处理，得到所述目标信号。5.根据权利要求1所述的方法，其特征在于，所述第一初始模型的模型参数与所述第二初始模型的模型参数不同。6.根据权利要求1所述的方法，其特征在于，所述第一初始模型包括至少...

【专利技术属性】
技术研发人员：黄川，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：