基于Transitive STARGAN的多对多说话人转换方法技术

本发明专利技术公开了一种基于Transitive STARGAN的多对多说话人转换方法，通过将STARGAN的生成器与传递网络相结合，在生成器中将编码网络提取的特征传递到解码网络的对应网络层中，提高解码网络对不同尺度语义特征的学习能力，实现模型对频谱深层特征的学习功能，提高解码网络的频谱生成质量，更加充分地学习语义特征和说话人的个性化特征，从而较好地提升转换合成语音的个性相似度和语音质量，克服STARGAN模型转换后个性相似度与自然度较差的问题，实现非平行文本条件下高质量的多对多说话人转换。

【技术实现步骤摘要】
基于TransitiveSTARGAN的多对多说话人转换方法
本专利技术涉及一种多对多说话人转换方法，特别是涉及一种基于TransitiveSTARGAN的多对多说话人转换方法。
技术介绍
语音转换是语音信号处理领域的研究分支，是在语音分析、合成和说话人识别的研究基础上发展与延伸的。语音转换的目标是改变源说话人的语音个性特征，使之具有目标说话人的语音个性特征，同时保留语义信息，也就是使源说话人的语音经过转换后听起来像是目标说话人的语音。语音转换技术经过多年的研究，已经涌现了很多经典的转换方法，按训练语料分类，可以分为平行文本条件下的转换方法和非平行文本条件下的转换方法。预先采集大量平行训练文本，不仅耗时耗力，而且在跨语种转换和医疗辅助系统中往往无法采集到平行文本，因此非平行文本条件下的语音转换研究具有更大的应用背景和现实意义。现有的非平行文本条件下的语音转换方法有基于循环一致对抗网络(Cycle-ConsistentAdversarialNetworks,Cycle-GAN)的方法、基于条件变分自编码器(ConditionalV本文档来自技高网...

【技术保护点】
1.一种基于Transitive STARGAN的多对多说话人转换方法，其特征在于，包括训练阶段和转换阶段，所述训练阶段包括以下步骤：/n(1.1)获取训练语料，训练语料由多名说话人的语料组成，包含源说话人和目标说话人；/n(1.2)将所述的训练语料通过WORLD语音分析/合成模型，提取出各说话人语音的频谱特征x、非周期性特征以及基频特征；/n(1.3)将源说话人的频谱特征x

【技术特征摘要】
1.一种基于TransitiveSTARGAN的多对多说话人转换方法，其特征在于，包括训练阶段和转换阶段，所述训练阶段包括以下步骤：
(1.1)获取训练语料，训练语料由多名说话人的语料组成，包含源说话人和目标说话人；
(1.2)将所述的训练语料通过WORLD语音分析/合成模型，提取出各说话人语音的频谱特征x、非周期性特征以及基频特征；
(1.3)将源说话人的频谱特征xs、目标说话人的频谱特征xt、源说话人标签cs以及目标说话人标签ct，输入到TransitiveSTARGAN网络进行训练，所述的TransitiveSTARGAN网络由生成器G、鉴别器D和分类器C组成，所述的生成器G由编码网络和解码网络构成，在编码网络与解码网络之间搭建用于优化生成器网络结构的若干层TransNet；
(1.4)训练过程使生成器G的损失函数、鉴别器D的损失函数、分类器C的损失函数尽量小，直至设置的迭代次数，从而得到训练好的TransitiveSTARGAN网络；
(1.5)构建从源说话人的语音基频到目标说话人的语音基频的基频转换函数；
所述转换阶段包括以下步骤：
(2.1)将待转换语料中源说话人的语音通过WORLD语音分析/合成模型提取出频谱特征xs′、非周期性特征和基频特征；
(2.2)将上述源说话人频谱特征xs′、目标说话人标签特征ct′输入步骤(1.4)中训练好的TransitiveSTARGAN网络，得到目标说话人频谱特征xtc′；
(2.3)通过步骤(1.5)得到的基频转换函数，将步骤(2.1)中提取出的源说话人基频特征转换为目标说话人的基频特征；
(2.4)将步骤(2.2)中生成的目标说话人频谱特征xtc′、步骤(2.3)中得到的目标说话人的基频特征和步骤(2.1)中提取的非周期性特征通过WORLD语音分析/合成模型，合成得到转换后的说话人语音。


2.根据权利要求1所述的基于TransitiveSTARGAN的多对多说话人转换方法，其特征在于：所述的生成器G的编码网络包括5个卷积层，生成器G的解码网络包括5个反卷积层，所搭建的TransNet为4层，具体为，将编码网络的第一卷积层的输出与解码网络的第四卷积层的输出拼接，然后输入到解码网络的第五卷积层；将编码网络的第二卷积层的输出与解码网络的第三卷积层的输出拼接，然后输入到解码网络的第四卷积层；将编码网络的第三卷积层的输出与解码网络的第二卷积层的输出拼接，然后输入到解码网络的第三卷积层；将编码网络的第四卷积层的输出与解码网络的第一卷积层的输出拼接，然后输入到解码网络的第二卷积层。


3.根据权利要求2所述的基于TransitiveSTARGAN的多对多说话人转换方法，其特征在于：所述的生成器G的编码网络的5个卷积层的过滤器大小分别为3*9、4*8、4...

【专利技术属性】
技术研发人员：李燕萍，何铮韬，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32