一种干净语音重构方法、装置、设备和介质制造方法及图纸

技术编号:33454036 阅读:18 留言:0更新日期:2022-05-19 00:37
本申请提供了干净语音重构方法、装置、设备和介质,方法包括:从待增强的含噪语音中提取深层特征信息,根据深层特征信息确定含噪语音中语音内容的基频信息,基于深层特征信息构建含噪语音相匹配的滤波器,根据基频信号和含噪语音相匹配的滤波器,重构出干净语音。本申请考虑了人类发声系统的发声原理,提取能够表征说话人在发出含噪语音对应的干净语音时的语音特点的深层特征信息后,根据深层特征信息确定含噪语音中语音内容的基频信息,以模拟声带震动产生的声波信号,根据深层特征信息构建含噪语音相匹配的滤波器,以模拟对声波信号进行调制的声道,基于基频信号和含噪语音相匹配的滤波器,即可重构出更贴合说话人发声时的语音特点的干净语音。音特点的干净语音。音特点的干净语音。

【技术实现步骤摘要】
一种干净语音重构方法、装置、设备和介质


[0001]本申请涉及语音信号处理
,特别是涉及一种干净语音重构方法、装置、设备和介质。

技术介绍

[0002]语音增强是指当语音信号被各种噪声干扰时,从噪声背景中提取目标语音信息并提升其可懂度的技术。语音增强技术的实际应用广泛且深入,日常生活中的噪声环境中的通信,恶劣环境里的军事通信中,都需要应用语音增强技术;此外,语音编码和语音识别往往需要在实验室条件下进行,即无噪声或信噪比极高的环境中进行,因此要想推广语音编码和语音识别,也需要搭配进行语音增强处理。
[0003]当今语音增强方法通常都是对带噪语音的相位谱进行去噪的方法,即在粗糙处理阶段,对时域信号或频谱幅度信息进行去噪,保留带噪相位信息,并在调优阶段将粗糙处理阶段的结果作为输入,同时对频率谱的幅度信息和相位信息进行联合去噪,将增强结果精细化,由此便可提升语音增强结果的主观听觉感受。但是,这种对带噪语音的相位谱进行去噪的方法仅将带噪语音看作一段电子信号进行处理,处理过程忽略了人类发声过程中声带的物理运动规律和声道对声波的调制规律,导致去噪后的语音信号可能无法很好地贴合说话人发声时的语音特点。

技术实现思路

[0004]有鉴于此,本申请提供了一种干净语音重构方法、装置、设备和介质,用于解决现有技术中去噪后的语音信号可能无法很好地贴合说话人发声时的语音特点的问题,其技术方案如下:
[0005]一种干净语音重构方法,其特征在于,包括:
[0006]从待增强的含噪语音中提取深层特征信息,其中,所述深层特征信息表征说话人在发出所述含噪语音对应的干净语音时的语音特点,所述干净语音是指所述含噪语音的语音内容组成的无噪环境下的语音信息;
[0007]根据所述深层特征信息确定所述含噪语音中语音内容的基频信息,其中,所述基频信号用于表征声带震动产生的声波信号;
[0008]根据所述深层特征信息构建所述含噪语音相匹配的滤波器,其中,所述含噪语音相匹配的滤波器用于表征对所述声波信号进行调制的声道;
[0009]基于所述基频信号和所述含噪语音相匹配的滤波器,重构出所述含噪语音对应的干净语音。
[0010]可选的,所述根据所述深层特征信息确定所述含噪语音中语音内容的基频信号,包括:
[0011]将所述深层特征信息输入至常微分方程滤求解网络,得到所述语音内容对应的常微分方程组,作为所述基频信号,其中,所述常微分方程滤求解网络基于从训练语音中提取
的深层特征信息进行训练得到。
[0012]可选的,所述根据所述深层特征信息构建所述含噪语音相匹配的滤波器,包括:
[0013]根据所述深层特征信息确定所述含噪语音相匹配的最优阶数和最优系数;
[0014]通过所述最优阶数和最优系数,构建所述含噪语音相匹配的滤波器。
[0015]可选的,所述含噪语音相匹配的滤波器为线性预测滤波器。
[0016]可选的,所述含噪语音为频域信号;
[0017]所述基于所述基频信号和所述含噪语音相匹配的滤波器,重构出所述含噪语音对应的干净语音,包括:
[0018]将所述基频信号与所述含噪语音相匹配的滤波器相乘,得到乘积结果;
[0019]将所述乘积结果进行傅里叶逆变换,得到重构的所述干净语音。
[0020]一种干净语音重构装置,包括:特征提取模块、基频信号确定模块、滤波器构建模块和语音重构模块;
[0021]所述特征提取模块,用于从待增强的含噪语音中提取深层特征信息,其中,所述深层特征信息表征说话人在发出所述含噪语音对应的干净语音时的语音特点,所述干净语音是指所述含噪语音的语音内容组成的无噪环境下的语音信息;
[0022]所述基频信号确定模块,用于根据所述深层特征信息确定所述含噪语音中语音内容的基频信息,其中,所述基频信号用于表征声带震动产生的声波信号;
[0023]所述滤波器构建模块,用于根据所述深层特征信息构建所述含噪语音相匹配的滤波器,其中,所述含噪语音相匹配的滤波器用于表征对所述声波信号进行调制的声道;
[0024]所述语音重构模块,用于基于所述基频信号和所述含噪语音相匹配的滤波器,重构出所述含噪语音对应的干净语音。
[0025]可选的,所述基频信号确定模块,具体用于将所述深层特征信息输入至常微分方程滤求解网络,得到所述语音内容对应的常微分方程组,作为所述基频信号,其中,所述常微分方程滤求解网络基于从训练语音中提取的深层特征信息进行训练得到。
[0026]可选的,所述滤波器构建模块,包括:阶数系数预测子模块和滤波器构建子模块;
[0027]所述阶数系数预测子模块,用于根据所述深层特征信息确定所述含噪语音相匹配的最优阶数和最优系数;
[0028]所述滤波器构建子模块,用于通过所述最优阶数和最优系数,构建所述含噪语音相匹配的滤波器。
[0029]一种干净语音重构设备,包括存储器和处理器;
[0030]所述存储器,用于存储程序;
[0031]所述处理器,用于执行所述程序,实现如上述任一项所述的干净语音重构方法的各个步骤。
[0032]一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上述任一项所述的干净语音重构方法的各个步骤。
[0033]经由上述的技术方案可知,本申请提供的干净语音重构方法,考虑了人类发声系统的发声原理,首先从待增强的含噪语音中提取深层特征信息,然后根据深层特征信息确定含噪语音中语音内容的基频信息,以此模拟人类发声系统中声带震动产生的声波信号,并根据深层特征信息构建含噪语音相匹配的滤波器,以此模拟人类发声系统中对声波信号
进行调制的声道,最后基于基频信号和含噪语音相匹配的滤波器,重构出含噪语音对应的干净语音。由于本申请在处理之初先提取能够表征说话人在发出含噪语音对应的干净语音时的语音特点的深层特征信息,然后再基于深层特征信息重构出含噪语音对应的干净语音,并且重构过程模拟了人类发声系统,使得本申请重构出的干净语音更贴合说话人发声时的语音特点。
附图说明
[0034]为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
[0035]图1为本申请实施例提供的干净语音重构方法的流程示意图;
[0036]图2为本申请实施例提供的声带声道模拟语音增强系统的结构示意图;
[0037]图3为本申请实施例提供的干净语音重构装置的结构示意图;
[0038]图4为本申请实施例提供的干净语音重构设备的硬件结构框图。
具体实施方式
[0039]下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种干净语音重构方法,其特征在于,包括:从待增强的含噪语音中提取深层特征信息,其中,所述深层特征信息表征说话人在发出所述含噪语音对应的干净语音时的语音特点,所述干净语音是指所述含噪语音的语音内容组成的无噪环境下的语音信息;根据所述深层特征信息确定所述含噪语音中语音内容的基频信息,其中,所述基频信号用于表征声带震动产生的声波信号;基于所述深层特征信息构建所述含噪语音相匹配的滤波器,其中,所述含噪语音相匹配的滤波器用于表征对所述声波信号进行调制的声道;根据所述基频信号和所述含噪语音相匹配的滤波器,重构出所述含噪语音对应的干净语音。2.根据权利要求1所述的干净语音重构方法,其特征在于,所述根据所述深层特征信息确定所述含噪语音中语音内容的基频信号,包括:将所述深层特征信息输入至常微分方程滤求解网络,得到所述语音内容对应的常微分方程组,作为所述基频信号,其中,所述常微分方程滤求解网络基于从训练语音中提取的深层特征信息进行训练得到。3.根据权利要求1所述的干净语音重构方法,其特征在于,所述基于所述深层特征信息构建所述含噪语音相匹配的滤波器,包括:根据所述深层特征信息确定所述含噪语音相匹配的最优阶数和最优系数;通过所述最优阶数和最优系数,构建所述含噪语音相匹配的滤波器。4.根据权利要求3所述的干净语音重构方法,其特征在于,所述含噪语音相匹配的滤波器为线性预测滤波器。5.根据权利要求1所述的干净语音重构方法,其特征在于,所述含噪语音为频域信号;所述根据所述基频信号和所述含噪语音相匹配的滤波器,重构出所述含噪语音对应的干净语音,包括:将所述基频信号与所述含噪语音相匹配的滤波器相乘,得到乘积结果;将所述乘积结果进行傅里叶逆变换,得到重构的所述干净语音。6.一种干净语音重构装置,其特征在于,包括:特征提取模块、基频信号确定...

【专利技术属性】
技术研发人员:王雨田赵海博王晖武文丽
申请(专利权)人:中国传媒大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1