语音合成方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种语音合成方法、装置、设备及存储介质，本申请获取到原始文本、原始文本对应的音素序列，以及待合成语音的说话人特征，进而将原始文本以及音素序列进行特征融合，得到融合特征，进而基于融合特征及说话人特征进行编解码处理，得到声学频谱，并基于声学频谱进行语音合成，得到合成语音。本申请通过融合原始文本及音素序列得到融合特征，丰富了输入信息，并且能够挖掘不同语种特有的发音信息，示例如，中文的调型、日语的调核、俄语的重音等均可以通过音素序列得以展示，基于此得到声学频谱并进行语音合成，得到的合成语音更加自然、符合对应语种的发音特点，也即合成语音的质量更高。

【技术实现步骤摘要】
语音合成方法、装置、设备及存储介质
本申请涉及语音信号处理
，更具体的说，是涉及一种语音合成方法、装置、设备及存储介质。
技术介绍
近年来，端到端语音合成系统已经能够获得较好的效果，可以实时生成接近人类的合成语音。而随着全球化的发展，在社交媒体、非正式信息、语音导航等语音合成应用的重要场景中，文本或者语音中不同语种混合的语言现象越专利技术显。人们希望用一种一致且自然的语态来合成这些跨语种的句子，但目前大多数的端到端模型都假设输入是单一语种的，仅使用原始文本作为合成模型的输入。本案专利技术人发现，不同语种的发音现象存在不同，如中文的调型、日语的调核、俄语的重音等均未在文本词面上表现出来，因此现有针对单一语种的合成模型仅使用原始文本作为模型输入，对于跨语种句子的语音合成，其合成的语音质量不高。
技术实现思路
鉴于上述问题，提出了本申请以便提供一种语音合成方法、装置、设备及存储介质，以提高跨语种句子的语音合成质量。具体方案如下：在本申请的第一方面，提供了一种语音合成方法，包括：获取原始文本、所述原始文本文档来自技高网...

【技术保护点】
1.一种语音合成方法，其特征在于，包括：/n获取原始文本、所述原始文本对应的音素序列，以及待合成语音的说话人特征；/n将所述原始文本及所述音素序列进行特征融合，得到融合特征；/n基于所述融合特征及所述说话人特征进行编解码处理，得到声学频谱；/n基于所述声学频谱进行语音合成，得到合成语音。/n

【技术特征摘要】
1.一种语音合成方法，其特征在于，包括：
获取原始文本、所述原始文本对应的音素序列，以及待合成语音的说话人特征；
将所述原始文本及所述音素序列进行特征融合，得到融合特征；
基于所述融合特征及所述说话人特征进行编解码处理，得到声学频谱；
基于所述声学频谱进行语音合成，得到合成语音。


2.根据权利要求1所述的方法，其特征在于，获取待合成语音的说话人特征，包括：
获取预先配置的与所述待合成语音的说话人对应的说话人特征；
或，
获取说话人语音信息，所述说话人语音信息为所述待合成语音的说话人的语音信息；
利用说话人编码器处理所述说话人语音信息，以得到待合成语音的说话人特征。


3.根据权利要求1所述的方法，其特征在于，所述将所述原始文本及所述音素序列进行特征融合，得到融合特征，包括：
获取所述原始文本的字符嵌入向量，以及所述音素序列的音素嵌入向量；
对所述字符嵌入向量和所述音素嵌入向量进行整合，得到融合特征。


4.根据权利要求1所述的方法，其特征在于，所述基于所述融合特征及所述说话人特征进行编解码处理，得到声学频谱，包括：
对所述融合特征进行编码处理，得到编码特征；
将所述编码特征与所述说话人特征进行拼接，得到拼接特征；
基于所述拼接特征进行解码处理，得到声学频谱。


5.根据权利要求4所述的方法，其特征在于，所述对所述融合特征进行编码处理，得到编码特征，包括：
将所述融合特征输入文本编码器，得到文本编码器输出的编码特征，其中，所述文本编码器被配置为，用于输出与说话人信息无关的编码特征。


6.根据权利要求5所述的方法，其特征在于，所述文本编码器的预配置过程，包括：
对所述文本编码器与预设的说话人分类器进行对抗训练，训练时所述说话人分类器以所述文本编码器输出的编码特征为依据，预测对应的说话人类别，所述说话人分类器的分类准确率越高，则调整所述文本编码器的对抗损失越大。


7.根据权利要求4所述的方法，其特征在于，所述基于所述拼接特征进行解码处理，得到声学频谱，包括：
对所述拼接特征进行基于注意力机制的处理，以得到注意力编码特征；
至少基于所述注意力编码特征进行解码处理，得到声学频谱。


8.根据权利要求7所述的方法，其特征在于，所述至少基于所述注意力编码特征进行解码处理...

【专利技术属性】
技术研发人员：陈梦楠，江源，高丽，祖漪清，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：安徽;34