语音信号的分离方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及一种语音信号的分离方法、装置、电子设备及存储介质，所述分离方法包括：基于待分离语音信号，生成待分离语音多维向量；所述待分离语音多维向量用以记录所述待分离语音信号的语音特征；通过训练后的语音分离模型，基于所述待分离语音多维向量，生成所述待分离语音多维向量的掩码多维向量；基于所述待分离语音多维向量、掩码多维向量，生成分离后的语音信号；其中，所述语音分离模型包括多个相同的多尺度语音处理模块。所述多尺度语音处理模块包括局部连接模块以及与局部连接模块相连的全局连接模块。上述分离方法可有效提高语音信号的分离效果。语音信号的分离效果。语音信号的分离效果。

【技术实现步骤摘要】
语音信号的分离方法、装置、电子设备及存储介质


[0001]本申请涉及语音处理领域，尤其涉及一种语音信号的分离方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，语音识别技术已应用于多种人机交互场景，例如：实时字幕显示、用户语音自动识别等场景中。但是智能终端搭载的语音识别功能通常对输入语音时的环境要求较高，例如：若用户在较为嘈杂的环境下使用语音识别功能，将极大地降低语音识别功能的识别准确率。因此，语音分离技术已变得愈发重要，但是目前语音分离的鲁棒性较差，不利于语音分离技术的实际应用，进而限制了语音识别技术的应用场景。

技术实现思路

[0003]根据本申请的第一方面，提供了一种语音信号的分离方法，所述分离方法包括：基于待分离语音信号，生成待分离语音多维向量；所述待分离语音多维向量用以记录所述待分离语音信号的语音特征；通过训练后的语音分离模型，基于所述待分离语音多维向量，生成所述待分离语音多维向量的掩码多维向量；基于所述待分离语音多维向量、掩码多维向量，生成分离后的语音信号；其中，所述语音分离模型包括多个相同的多尺度语音处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音信号的分离方法，其特征在于，所述分离方法包括：基于待分离语音信号，生成待分离语音多维向量；所述待分离语音多维向量用以记录所述待分离语音信号的语音特征；通过训练后的语音分离模型，基于所述待分离语音多维向量，生成所述待分离语音多维向量的掩码多维向量；基于所述待分离语音多维向量、掩码多维向量，生成分离后的语音信号；其中，所述语音分离模型包括多个相同的多尺度语音处理模块；所述多尺度语音处理模块包括局部连接模块以及与局部连接模块相连的全局连接模块；所述局部连接模块用以提取所述待分离语音多维向量在每一语音粒度等级的语音特征，并将不同语音粒度等级的语音特征融合；所述全局连接模块用以融合所述局部连接模块处理后的每一语音粒度等级的语音特征至最细致语音粒度等级。2.如权利要求1所述的分离方法，其特征在于，所述语音分离模型的训练流程如下：基于训练用的待分离语音信号，生成训练用的待分离语音多维向量；将所述训练用的待分离语音多维向量输入语音分离模型，生成训练用的分离后的语音信号；基于所述训练用的分离后的语音信号、训练用的待分离语音信号对应的真实语音信号，生成损失值；根据所述损失值，更新所述语音分离模型的网络参数。3.如权利要求1所述的分离方法，其特征在于，所述通过训练后的语音分离模型，基于所述待分离语音多维向量，生成所述待分离语音多维向量的掩码多维向量，包括：基于所述待分离语音多维向量，生成待分离语音多维嵌入；基于所述待分离语音多维嵌入，根据预设的激活函数，生成所述待分离语音多维嵌入对应的掩码多维向量；基于所述掩码多维向量、所述待分离语音多维向量，生成分离后的语音信号。4.如权利要求3所述的分离方法，其特征在于，所述基于所述待分离语音多维向量，生成待分离语音多维嵌入，包括：通过第一个多尺度语音处理模块对待分离语音多维向量进行处理，生成中间语音多维向量，并对中间语音多维向量进行直接卷积或相加或级联操作，生成输出向量；通过第一个多尺度语音处理模块之后的各多尺度语音处理模块分别对前一多尺度语音处理模块生成的输出向量进行处理，生成中间语音多维向量，并对中间语音多维向量进行直接卷积或相加或级联操作，生成输出向量；将最后一个多尺度语音处理模块对应的输出向量作为所述待分离语音多维嵌入。5.如权利要求1至4中的任意一项所述的分离方法，其特征在于，所述局部连接模块包括多个属于不同语音粒度等级的语音特征处理层；所述全局连接模块包括...

【专利技术属性】
技术研发人员：胡晓林，李凯，
申请(专利权)人：清华大学，
类型：发明
国别省市：