语音合成方法及相关装置、电子设备和存储介质制造方法及图纸

本申请公开了一种语音合成方法及相关装置、电子设备和存储介质，其中，语音合成方法包括：获取待合成文本、第一语音属性和第二语音属性；其中，第一语音属性包括情感类别、风格类别中至少一者，第二语音属性包括说话人标识；获取具有第一语音属性的全局韵律特征，并基于待合成文本、第一语音属性和第二语音属性进行预测，得到局部韵律特征；其中，全局韵律特征包含句子级韵律特征信息，局部韵律特征包含字词级韵律特征信息；基于待合成文本、全局韵律特征和局部韵律特征进行合成，得到合成语音。上述方案，能够自由合成不同韵律的语音，提升对不同场景的适应性。不同场景的适应性。不同场景的适应性。

【技术实现步骤摘要】
语音合成方法及相关装置、电子设备和存储介质


[0001]本申请涉及语音合成
，特别是涉及一种语音合成方法及相关装置、电子设备和存储介质。

技术介绍

[0002]语音合成技术是人工智能研究领域的分支之一，主要是将文字信息转化为可听的声音信息，也即让机器像人一样说话。
[0003]目前，语音合成技术虽然可以产生趋近于自然语音的合成语音，但是合成语音往往代表数据库的平均韵律，故难以适应于诸如小说、新闻、客服、主播等不同场景。例如，在智能交互场景中，现有的智能客服不能和人们的说话情绪产生共情，即使人们已经很生气的情况下，合成的语音依然是语气不变的回答；或者，在小说阅读场景中，小说中旁白对话角色不明，对于不同角色的不同情绪，也是相同语气的合成语音。有鉴于此，如何自由合成不同韵律的语音成为亟待解决的问题。

技术实现思路

[0004]本申请主要解决的技术问题是提供一种语音合成方法及相关装置、电子设备和存储介质，能够自由合成不同韵律的语音，提升对不同场景的适应性。
[0005]为了解决上述技术问题，本申请第一方面提供了一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音合成方法，其特征在于，包括：获取待合成文本、第一语音属性和第二语音属性；其中，所述第一语音属性包括情感类别、风格类别中至少一者，所述第二语音属性包括说话人标识；获取具有所述第一语音属性的全局韵律特征，并基于所述待合成文本、所述第一语音属性和所述第二语音属性进行预测，得到局部韵律特征；其中，所述全局韵律特征包含句子级韵律特征信息，所述局部韵律特征包含字词级韵律特征信息；基于所述待合成文本、所述全局韵律特征和所述局部韵律特征进行合成，得到合成语音。2.根据权利要求1所述的方法，其特征在于，所述合成语音基于语音合成模型合成得到，所述语音合成模型基于样本数据训练得到，所述样本数据包括标注有样本语音属性的样本语音和所述样本语音对应的样本文本，且所述全局韵律特征基于参考样本语音的样本全局韵律特征得到，所述参考样本语音为具有所述第一语音属性的样本语音。3.根据权利要求2所述的方法，其特征在于，所述获取具有所述第一语音属性的全局韵律特征，包括以下任一者：融合各个所述参考样本语音的样本全局韵律特征，得到所述全局韵律特征；将第一目标样本语音的样本全局韵律特征，作为所述全局韵律特征；将第二目标样本语音的样本全局韵律特征，作为所述全局韵律特征；其中，所述第一目标样本语音、所述第二目标样本语音均从所述参考样本语音选择得到，且所述第一目标样本语音对应的样本文本与所述待合成文本之间的文本相似度满足第一条件，所述第二目标样本语音关于所述第一语音属性的呈现强度满足第二条件。4.根据权利要求2所述的方法，其特征在于，所述语音合成模型包括全局韵律提取网络，且所述全局韵律提取网络用于提取样本全局韵律特征，所述样本语音属性至少包括样本第一语音属性，所述全局韵律提取网络的训练步骤包括：提取所述样本语音的第一样本全局韵律特征；基于所述第一样本全局韵律特征和所述样本语音对应的样本文本，合成得到第一样本合成语音，并基于所述第一样本全局韵律特征进行预测，得到所述样本语音的预测第一语音属性，以及提取所述第一样本合成语音的第二样本全局韵律特征；基于所述预测第一语音属性与所述样本第一语音属性之间的差异，以及所述第一样本全局韵律特征与所述第二样本全局韵律特征之间的差异，至少调整所述全局韵律提取网络的网络参数。5.根据权利要求1所述的方法，其特征在于，所述合成语音基于语音合成模型合成得到，且所述语音合成模型包括局部韵律预测网络，所述局部韵律预测网络用于基于所述待合成文本、所述第一语音属性和所述第二语音属性直接预测得到所述局部韵律特征。6.根据权利要求5所述的方法，其特征在于，所述语音合成模型还包括局部韵律提取网络，所述语音合成模型基于样本数据训练得到，所述样本数据包括标注有样本语音属性的样本语音和所述样本语音对应的样本文本，且所述局部韵律预测网络在所述局部韵律提取网络训练收敛之后基于所述样本数据训练得到。7.根据权利要求6所述的方法，其特征在于，所述样本语音属性至少包括样本第二语音属性，所述局部韵律提取网络的训练步骤包括：
提取所述样本语音的第一样本局部韵律特征，并提取所述样本文本的第一文本特征；基于所述第一样本局部韵律特征进行预测，得到所述样本语音的预测第二语音属性，并基于所述第一样本局部韵律特征和所述样本语音对应的样本文本，合成得到第二样本合成语音，以及提取所述第二样本合成语音的第二样本局部韵律特征；基于所述预测第二语音属性和所述样本第二语音属性之间的差异、所述第一样本局部韵律特征和所述第一文本特征之间的差异，以及所述第一样本局部韵律特征和所述第二样本局部韵律特征之间的差异，至少调整所述局部韵律提取网络的网络参数。8.根据权利要求6所述的方法，其特征在于，所述局...

【专利技术属性】
技术研发人员：王瑾薇，胡亚军，江源，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：