语音合成方法及相关装置和电子设备、存储介质制造方法及图纸

本申请公开了一种语音合成方法及相关装置和电子设备、存储介质，其中，语音合成方法包括：获取待合成文本的待合成音素；利用语音合成模型对待合成音素进行合成处理，得到合成音频；其中，语音合成模型是利用发言对象的样本数据训练预设语音网络而得到的，样本数据是利用发言对象的第一音频提取得到的，样本数据包括第一音频的样本音素序列以及第一音频的样本音频频谱和融合音频频谱，且样本音素序列包括若干样本音素，样本音频频谱包含若干样本音频帧，样本融合频谱是分别融合各个样本音素对应的样本音频帧而得到的。上述方案，能够提高语音合成质量。语音合成质量。语音合成质量。

【技术实现步骤摘要】
语音合成方法及相关装置和电子设备、存储介质


[0001]本申请涉及音频处理
，特别是涉及一种语音合成方法及相关装置和电子设备、存储介质。

技术介绍

[0002]得益于机器学习的快速发展，机器学习已经在众多行业、领域得到广泛应用。在此其中，由于语音合成在国际会议、日常沟通等诸多场景均具有极其重要作用，将机器学习应用于语音合成，已经逐渐成为语音合成的主流技术之一。
[0003]研究发现，目前机器学习的语音合成质量仍然无法完全满足使用需求。有鉴于此，如何提高语音合成质量成为亟待解决的问题。

技术实现思路

[0004]本申请主要解决的技术问题是提供一种语音合成方法及相关装置和电子设备、存储介质，能够提高语音合成质量。
[0005]为了解决上述技术问题，本申请第一方面提供了一种语音合成方法，包括：获取待合成文本的待合成音素；利用语音合成模型对待合成音素进行合成处理，得到合成音频；其中，语音合成模型是利用发言对象的样本数据训练预设语音网络而得到的，样本数据是利用发言对象的第一音频提取得到的，样本数据包括第一音频的样本音本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音合成方法，其特征在于，包括：获取待合成文本的待合成音素；利用语音合成模型对所述待合成音素进行合成处理，得到合成音频；其中，所述语音合成模型是利用发言对象的样本数据训练预设语音网络而得到的，所述样本数据是利用所述发言对象的第一音频提取得到的，所述样本数据包括所述第一音频的样本音素序列以及所述第一音频的样本音频频谱和融合音频频谱，且所述样本音素序列包含若干样本音素，所述样本音频频谱包含若干样本音频帧，所述样本融合频谱是分别融合各个所述样本音素对应的所述样本音频帧而得到的。2.根据权利要求1所述的方法，其特征在于，所述预设语音网络的训练步骤包括：对所述样本音素序列进行编码，得到样本音素表示；对所述样本音素表示进行解码，得到预测融合频谱，并对所述样本融合频谱进行解码，得到预测音频频谱；基于所述样本音频频谱与所述预测音频频谱之间的差异，以及所述样本融合频谱与所述预测融合频谱之间的差异，优化所述预设语音网络。3.根据权利要求2所述的方法，其特征在于，所述预设语音网络包括音素编码子网络、第一解码子网络和第二解码子网络；其中，所述音素编码子网络用于对所述样本音素序列进行编码，得到所述样本音素表示，所述第一解码子网络用于对所述样本音素表示进行解码，得到所述预测融合频谱，所述第二解码子网络用于对所述样本融合频谱进行解码，得到所述预测音频频谱。4.根据权利要求2所述的方法，其特征在于，所述语音合成模型是对所述预设语音网络进行若干轮训练得到的；所述对所述样本融合频谱进行解码，得到预测音频频谱，包括：基于当前训练轮次，确定所述样本融合频谱的选择概率；其中，所述当前训练轮次与所述选择概率负相关；基于所述选择概率，得到所述当前训练轮次的样本解码频谱；其中，所述样本解码频谱是在所述样本融合频谱、所述预测融合频谱中选择的；对所述样本解码频谱进行解码，得到所述预测音频频谱。5.根据权利要求4所述的方法，其特征在于，在所述样本解码频谱为所述预测融合频谱的情况下；在所述对所述样本解码频谱进行解码，得到所述预测音频频谱之前，所述方法还包括：对所述预测融合频谱进行降噪优化，得到预测优化频谱；所述对所述样本解码频谱进行解码，得到所述预测音频频谱，包括：对所述预测优化频谱进行解码，得到所述预测音频频谱。6.根据权利要求5所述的方法，其特征在于，所述预设语音网络还包括频谱优化子网络，所述频谱优化子网络用于对所述预测融合频谱进行降噪优化；和/或，所述预设语音网络的训练步骤还包括：基于所述样本音频频谱与所述预测音频频谱之间的差异，得到第一损失值，并基于所述样本融合频谱与所述预测融合频谱之间的差异，得到第二损失值，以及基于所述预测优化频谱与所述样本...

【专利技术属性】
技术研发人员：宋飞豹，江源，宋锐，侯秋侠，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：