基于SE-ResNet STARGAN的多对多说话人转换方法技术

本发明专利技术公开了一种基于SE‑ResNet STARGAN的多对多说话人转换方法，基于STARGAN与SE‑ResNet相结合来实现语音转换系统，在残差网络基础上，引入注意力思想和门控机制对各通道的依赖性进行建模，通过全局信息学习每个特征通道的权重，并对特征进行逐通道调整，有选择性地强化有用特征同时抑制无用特征，进一步增强模型的表征能力，同时能够有效解决训练过程中存在的网络退化问题，较好地提升模型对语音频谱的语义的学习能力以及语音频谱的合成能力，从而改善转换后语音的个性相似度和合成质量，实现了一种非平行文本条件下的高质量的多对多语音转换方法。

【技术实现步骤摘要】
基于SE-ResNetSTARGAN的多对多说话人转换方法
本专利技术涉及一种多对多说话人转换方法，特别是涉及一种基于SE-ResNetSTARGAN的多对多说话人转换方法。
技术介绍
语音转换是语音信号处理领域的重要研究分支，是在语音分析、合成和说话人识别的研究基础上发展与延伸的。语音转换的目标是改变源说话人的语音个性特征，使之具有目标说话人的语音个性特征，也就是使一个人说的语音经过转换后听起来像是另一个人说的语音，同时保留语义。根据训练语料情形的不同，语音转换可以分为平行文本和非平行文本条件下的语音转换，在实际应用中，很难获取大量的平行训练语料，尤其是跨语种和医疗辅助患者领域，因此，无论从语音转换系统的通用性还是实用性来考虑，非平行语料条件下语音转换方法的研究具有极大的实际意义和应用价值。现有的非平行文本条件下的语音转换方法有基于循环一致对抗网络(Cycle-ConsistentAdversarialNetworks，Cycle-GAN)的方法、基于条件变分自编码器(ConditionalVariationalAuto-Encode本文档来自技高网...

【技术保护点】
1.一种基于SE-ResNet STARGAN的多对多说话人转换方法，其特征在于，包括训练阶段和转换阶段，所述训练阶段包括以下步骤：/n(1.1)获取训练语料，训练语料由多名说话人的语料组成，包含源说话人和目标说话人；/n(1.2)将所述的训练语料通过WORLD语音分析/合成模型，提取出各说话人语句的频谱特征x、非周期特征和基频特征；/n(1.3)将源说话人的频谱特征x

【技术特征摘要】
1.一种基于SE-ResNetSTARGAN的多对多说话人转换方法，其特征在于，包括训练阶段和转换阶段，所述训练阶段包括以下步骤：
(1.1)获取训练语料，训练语料由多名说话人的语料组成，包含源说话人和目标说话人；
(1.2)将所述的训练语料通过WORLD语音分析/合成模型，提取出各说话人语句的频谱特征x、非周期特征和基频特征；
(1.3)将源说话人的频谱特征xs、目标说话人的频谱特征xt、源说话人标签cs和目标说话人标签ct，输入到SE-ResNetSTARGAN网络进行训练，所述的SE-ResNetSTARGAN网络由生成器G、鉴别器D和分类器C组成，所述的生成器G由编码网络、解码网络以及若干层SE-ResNet层构成，其中编码网络和解码网络采用二维卷积神经网络，在编码网络与解码网络之间搭建若干层SE-ResNet，编码网络每层的输出经过一个SE-Net，将上一层的输出与经过SE-Net重标定的输出进行拼接；
(1.4)训练过程使生成器G的损失函数、鉴别器D的损失函数、分类器C的损失函数尽量小，直至设置的迭代次数，得到训练好的SE-ResNetSTARGAN网络；
(1.5)构建从源说话人的语音基频到目标说话人的语音基频的基频转换函数；
所述转换阶段包括以下步骤：
(2.1)将待转换语料中源说话人的语音通过WORLD语音分析/合成模型提取出频谱特征xs′、非周期性特征和基频；
(2.2)将上述源说话人频谱特征xs′、目标说话人标签特征ct′输入(1.4)中训练好′的SE-ResNetSTARGAN网络，重构出目标说话人频谱特征xtc；
(2.3)通过(1.5)得到的基频转换函数，将(2.1)中提取出的源说话人基频转换为目标说话人的基频；
(2.4)将(2.2)中得到的重构目标说话人频谱特征xtc′、(2.3)中得到的目标说话人的基频和(2.1)中提取的非周期性特征通过WORLD语音分析/合成模型，合成得到转换后的说话人语音。


2.根据权利要求1所述的基于SE-ResNetSTARGAN的多对多说话人转换方法，其特征在于：所述的生成器G的编码网络包括5个卷积层，生成器G的解码网络包括5个反卷积层，在所述编码网络和解码网络之间还有6层SE-ResNet连接的卷积网络，每层卷积网络的输出经过全局池化层，沿着空间维度进行特征压缩，将每个二维的特征通道变成一个具有全局感受野的实数，然后通过Sigmoid激活函数的门控，获得0～1之间归一化的权重，以表征每个通道的重要程度，通过Scale操作将归一化后的权重加权到每个通道的特征上，从而完成在通道维度上对原始特征的重标定，最后将经过重标定的输出与上一层的输出进行拼接。


3.根据权利要求2所述的基于SE-ResNetSTARGAN的多对多说话人转换方法，其特征在于：所述的生...

【专利技术属性】
技术研发人员：李燕萍，曹盼，何铮韬，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32