语音合成模型训练方法、语音合成方法、电子设备及存储介质技术

技术编号:41533145 阅读:34 留言:0更新日期:2024-06-03 23:10
本申请公开语音合成模型训练方法,其可包括:获取初始训练数据;从连贯文本中选取多个第一文本段、第二文本段、第三文本段,并从连贯音频中获取第一音频段、第二音频段、第三音频段;检测多个音频段、文本段是否满足可拼接条件;将满足可拼接条件的多个文本段、音频段,按照文本顺序,以文本和音频交替的方式拼接生成组合训练数据,以生成组合训练数据集;根据组合训练数据集,对所述初始语音生成模型进行训练,得到训练好的语音合成模型,在所述训练中所述第二文本段和/或所述第三文本段中的韵律、音律和/或情感特征被提取。本申请还公开了语音合成方法。本申请能够利用文本、音频的上下文进行文字理解,捕捉场景中的韵律、音律和情感。

【技术实现步骤摘要】

本申请涉及多媒体内容处理的,具体地涉及语音合成模型训练方法、语音合成方法、语音合成模型训练装置、语音合成装置、电子设备及存储介质。


技术介绍

1、语音合成技术是一种将文本转换成语音的技术,可以通过神经网络模型实现文本转语音功能。当前的文字生成语音模型中,仅对输入的当前文本进行语音转换,生成的语音难以和整体文本语义、韵律、情感契合,造成说话人声音不符合情景,还造成发音前后衔接不顺畅的问题。

2、此
技术介绍
的说明旨在帮助理解相关领域内的相关技术,并不代表承认
技术介绍
内容属于现有技术。


技术实现思路

1、因此,本申请实施例意图提供一种语音合成模型训练方法、语音合成方法以及相关的电子设备及存储介质。通过本申请实施例的方案,可以基于上下文的文字理解,捕捉当前场景的韵律、音律和情感,使得生成的语音更加符合真实场景。

2、第一方面,本申请实施例提供了语音合成模型训练方法,包括如下步骤:

3、获取初始训练数据,其中,所述初始训练数据包括连贯文本和对应的连贯音频;

4、从所述连贯本文档来自技高网...

【技术保护点】

1.一种语音合成模型训练方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的方法,其特征在于,所述检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件,包括:

3.根据权利要求1所述的方法,其特征在于,所述检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件,包括:

4.根据权利要求1中任一项所述的方法,其特征在于,所述检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件,包括:

>5.根据权利要求1
...

【技术特征摘要】

1.一种语音合成模型训练方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的方法,其特征在于,所述检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件,包括:

3.根据权利要求1所述的方法,其特征在于,所述检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件,包括:

4.根据权利要求1中任一项所述的方法,其特征在于,所述检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件,包括:

5.根据权利要求1所述的方法,其特征在于,所述按照文本顺序,以文本和音频交替的方式拼接得到组合训练数据,包括:

6.根据权利要求1所述的方法,其特征在于,所述根据所述组合训练数据集,对初始语音合成模型进行训练,得到训练好的语音合成模型,包括:

7.根据权利要求1所述的方法,其特征在于,所述根据所述组合训练数据集,对初始语音合成模型进行训练,得到训练好的语音合成模型,包括:

8.根据权利要求1所述的方法,其特征在于,所述根据所述组合训练数据集,对初始语音合成模型进行训练,得到训练好的语音合成模型,包括:

9.根据权利要求1所述的方法,其特征在于,所述根据所述组合训练数据集,对初始语音合成模型进行训练,得到训练好的语音合...

【专利技术属性】
技术研发人员:金瑞洋杨明祺李亚伟
申请(专利权)人:上海稀宇极智科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1