针对病理嗓音的语音转换方法、装置和存储介质制造方法及图纸

本申请公开了一种针对病理嗓音的语音转换方法、装置和存储介质，涉及声音处理技术领域，所述方法包括：获取训练样本；对于每个样本病理嗓音，获取所述样本病理嗓音的样本梅尔谱图；根据各个样本梅尔谱图获取所述样本病理嗓音的样本基频；获取风格向量；将各个样本梅尔谱图、各个样本基频以及所述风格向量输入至生成器，通过所述生成器输出转换后的各个样本梅尔谱图；根据判别器判别所述生成器生成的转换后的各个样本梅尔谱图的真伪；根据所述判别器的各个判别结果训练所述生成器和所述判别器，训练后的所述生成器用于对目标病理嗓音进行嗓音转换。解决了现有技术中病理嗓音的语音质量较差，无法被理解的问题。无法被理解的问题。无法被理解的问题。

【技术实现步骤摘要】
针对病理嗓音的语音转换方法、装置和存储介质


[0001]本专利技术涉及一种针对病理嗓音的语音转换方法、装置和存储介质，属于声音处理


技术介绍

[0002]作为语言的载体，语音是现实生活中传递信息的重要信号。包括语音相关专业人士、老年人、吸烟者、呼吸系统疾病患者、鼻部疾病患者、咽喉疾病患者等在内的部分人群存在不同程度的语音困难。通常情况下，患者发出的病理嗓音难以被普通人理解。
[0003]现有技术中，一些病理性声音患者可以通过手术改善其语音质量，然后手术可能会给患者造成一定的伤害。例如，在喉切除术的情况下，该过程不仅改变了患者的生活方式，而且还导致声带的切除和语言能力的丧失。

技术实现思路

[0004]本专利技术的目的在于提供一种针对病理嗓音的语音转换方法、装置和存储介质，用于解决现有技术中存在的问题。
[0005]为达到上述目的，本专利技术提供如下技术方案：根据第一方面，本专利技术实施例提供了一种针对病理嗓音的语音转换方法，所述方法包括：获取训练样本，所述训练样本中包括样本病理嗓音以及每个样本病理嗓音对应的正常嗓音；对于每个样本病理嗓音，获取所述样本病理嗓音的样本梅尔谱图；根据各个样本梅尔谱图获取所述样本病理嗓音的样本基频；获取风格向量；将各个样本梅尔谱图、各个样本基频以及所述风格向量输入至生成器，通过所述生成器输出转换后的各个样本梅尔谱图；根据判别器判别所述生成器生成的转换后的各个样本梅尔谱图的真伪；根据所述判别器的各个判别结果训练所述生成器和所述判别器，训练后的所述生成器用于对目标病理嗓音进行嗓音转换。
[0006]可选地，所述根据各个样本梅尔谱图获取所述样本病理嗓音的样本基频，包括：对于每个样本梅尔谱图，将所述样本梅尔谱图输入至F0提取网络，通过所述F0提取网络提取所述样本病理嗓音的样本基频。
[0007]可选地，所述获取风格向量，包括：获取随机采样的高斯分布向量；将所述高斯分布向量输入至映射网络，通过所述映射网络生成所述风格向量。
[0008]可选地，所述获取风格向量，包括：获取参考梅尔谱图；
将所述参考梅尔谱图输入至说话人编码器，通过所述说话人编码器生成所述风格向量。
[0009]可选地，所述根据所述判别器的各个判别结果训练所述生成器，包括：获取第一损失因子，所述第一损失因子包括：对抗损失因子、对抗源损失因子、风格重构损失因子、风格多样化损失因子、F0一致性损失因子、语音一致性损失因子、范数一致性损失因子和循环一致性损失因子中的至少一种；根据所述第一损失因子和所述各个判别结果训练所述生成器。
[0010]可选地，所述根据所述判别器的各个判别结果训练所述判别器，包括：获取第二损失因子，所述第二损失因子包括对抗损失因子和源分类器损失因子；根据所述第二损失因子和所述各个判别结果训练所述判别器。
[0011]可选地，所述获取所述样本病理嗓音的样本梅尔谱图，包括：将所述样本病理嗓音先做STFT变换生成功率谱特征，然后输入至梅尔滤波器组，通过所述梅尔滤波器组获取所述样本梅尔谱图。
[0012]第二方面，提供了一种针对病理嗓音的语音转换方法，所述方法包括：获取目标病理嗓音的梅尔谱图；根据所述梅尔谱图获取所述目标病理嗓音的基频；获取风格向量；将所述梅尔谱图、所述基频以及所述风格向量输入至训练后的生成器，通过所述生成器输出转换后的梅尔谱图，所述生成器通过第一方面所述的方法训练得到；将转换后的梅尔谱图输入到所述声码器，通过所述声码器输出转换后所述目标病理嗓音的语音波形，进而得到转换后的目标嗓音。
[0013]第三方面，提供了一种针对病理嗓音的语音转换装置，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现如第一方面或者第二方面所述的方法。
[0014]第四方面，提供了一种计算机存储介质，所述计算机存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如第一方面或者第二方面所述的方法。
[0015]通过获取训练样本，所述训练样本中包括样本病理嗓音以及每个样本病理嗓音对应的正常嗓音；对于每个样本病理嗓音，获取所述样本病理嗓音的样本梅尔谱图；根据各个样本梅尔谱图获取所述样本病理嗓音的样本基频；获取风格向量；将各个样本梅尔谱图、各个样本基频以及所述风格向量输入至生成器，通过所述生成器输出转换后的各个样本梅尔谱图；根据判别器判别所述生成器生成的转换后的各个样本梅尔谱图的真伪；根据所述判别器的各个判别结果训练所述生成器和所述判别器，训练后的所述生成器用于对目标病理嗓音进行嗓音转换。解决了现有技术中病理嗓音的语音质量较差，无法被理解的问题，达到了可以通过训练对抗网络进而通过生成器将病理嗓音转换为正常嗓音，提高病理嗓音的可懂度和清晰度的效果。
[0016]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合附图详细说明如后。
附图说明
[0017]图1为本专利技术一个实施例提供的针对病理嗓音的语音转换方法的方法流程图；图2为本专利技术一个实施例提供的针对病理嗓音的语音转换方法的原理框图；图3为本专利技术一个实施例提供的映射网络的结构示意图；图4为本专利技术一个实施例提供的说话人编码器的网络结构示意图；图5为本专利技术一个实施例提供的生成器的网络结构示意图；图6为本专利技术一个实施例提供的判别器的网络结构示意图；图7为本专利技术一个实施例提供的针对病理嗓音的语音转换方法的方法流程图；图8为本专利技术一个实施例提供的转换方法与现有两种转换方法转换后的频谱示意图；图9为本专利技术一个实施例提供的转换方法与现有两种转换方法转换后的语音清晰度评价结果的示意图。
具体实施方式
[0018]下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖 直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。此外，下面所描述的本专利技术不同实施方式中所涉及的技术特征只要彼此之间 未构成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对病理嗓音的语音转换方法，其特征在于，所述方法包括：获取训练样本，所述训练样本中包括样本病理嗓音以及每个样本病理嗓音对应的正常嗓音；对于每个样本病理嗓音，获取所述样本病理嗓音的样本梅尔谱图；根据各个样本梅尔谱图获取所述样本病理嗓音的样本基频；获取风格向量；将各个样本梅尔谱图、各个样本基频以及所述风格向量输入至生成器，通过所述生成器输出转换后的各个样本梅尔谱图；根据判别器判别所述生成器生成的转换后的各个样本梅尔谱图的真伪；根据所述判别器的各个判别结果训练所述生成器和所述判别器，训练后的所述生成器用于对目标病理嗓音进行嗓音转换。2.根据权利要求1所述的方法，其特征在于，所述根据各个样本梅尔谱图获取所述样本病理嗓音的样本基频，包括：对于每个样本梅尔谱图，将所述样本梅尔谱图输入至F0提取网络，通过所述F0提取网络提取所述样本病理嗓音的样本基频。3.根据权利要求1所述的方法，其特征在于，所述获取风格向量，包括：获取随机采样的高斯分布向量；将所述高斯分布向量输入至映射网络，通过所述映射网络生成所述风格向量。4.根据权利要求1所述的方法，其特征在于，所述获取风格向量，包括：获取参考梅尔谱图；将所述参考梅尔谱图输入至说话人编码器，通过所述说话人编码器生成所述风格向量。5.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述判别器的各个判别结果训练所述生成器，包括：获取第一损失因子，所述第一损失因子包括：对抗损失因子、对抗源损失因子、风格重构损失因子、风格多样化损失因子、F0一致性损失因子、语音一致性损失因子、范数...

【专利技术属性】
技术研发人员：吴迪，楚明航，杨梦涛，马瑶瑶，王靖，徐超，范智玮，张晓俊，陶智，
申请(专利权)人：苏州大学，
类型：发明
国别省市：