一种基于信息蒸馏与聚合的低信噪比语音增强方法技术

本发明专利技术提供一种基于信息蒸馏与聚合的低信噪比语音增强方法，包括步骤：将原始语谱图进行语音特征提取得到语音信息表示；对语音信息表示进行多阶段信息蒸馏处理得到过滤噪声成分之后的语音信息蒸馏结果；将语音信息蒸馏结果进行语谱图重建。根据注意力机制和信息蒸馏机制形成的多阶段信息蒸馏处理过程中每一时刻的信息蒸馏线上的校准后信息将作为下一时刻自注意力信息处理子模块的输入，通过N个注意力信息处理子模块与N个信息蒸馏子模块顺序的信息蒸馏与重新校准，最终实现噪声成分过滤的效果。本发明专利技术能够适应不同环境下的语音特征提取，使模型能够适应不同噪声的声学特征，显著提升语音增强的效果。显著提升语音增强的效果。显著提升语音增强的效果。

【技术实现步骤摘要】
个信息蒸馏子模块的输出信号Y
t
；X
t
‑1为第t
‑
1个自注意力信息处理子模块的输出信号；为自注意力信息处理函数，为信息蒸馏处理函数；
[0012][0013]其中，
⊙
代表点乘操作，A
t
‑1为第t
‑
1个权重矩阵：
[0014][0015]其中，σ是Sigmoid激活函数，Conv2和Conv3分别是两个不同卷积核的步长相同的二维卷积层；
[0016]4)将语音信息蒸馏结果进行语谱图重建；
[0017]5)对重建的语谱图进行反短时傅里叶变换得到时域增强语音信号。
[0018]本专利技术根据注意力机制和信息蒸馏机制形成的多阶段信息蒸馏处理过程中，串行的信息蒸馏子模块组成一条信息蒸馏线，N个自注意力信息处理子模块共享该信息蒸馏线。自注意力信息处理子模块通过信息蒸馏线不断地汇聚各个信息蒸馏子模块的输出并自适应地进行信息校准，每一时刻的信息蒸馏线上的校准后信息将作为下一时刻自注意力信息处理子模块的输入，通过N个注意力信息处理子模块与N个信息蒸本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于信息蒸馏与聚合的低信噪比语音增强方法，其特征在于，包括以下步骤：1)对原始语音信号进行短时傅立叶变换得到原始语谱图；2)将原始语谱图进行语音特征提取得到语音信息表示；3)对语音信息表示进行多阶段信息蒸馏处理得到过滤噪声成分之后的语音信息蒸馏结果；蒸馏处理通过N个串行自注意力信息处理子模块与N个串行的信息蒸馏子模块实现，第N个自注意力信息处理子模块的输出信号即为语音信息蒸馏结果：第t个信息蒸馏子模块的输出信号Y
t
为：第t个自注意力信息处理子模块输出的信号X
t
为：其中，t为序号变量，1≤t≤N，X0和Y0均为步骤2)输出的语音信息表示；Y
t
‑1为第t
‑
1个信息蒸馏子模块的输出信号Y
t
；X
t
‑1为第t
‑
1个自注意力信息处理子模块的输出信号；为自注意力信息处理函数，为信息蒸馏处理函数；其中，
...

【专利技术属性】
技术研发人员：蓝天，刘峤，吴祖峰，台文鑫，王钆翔，李佳佳，陈聪，冯雨佳，康宏博，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：