【技术实现步骤摘要】
本申请涉及语音合成，尤其涉及一种语音合成方法、模型训练方法、装置、设备及存储介质。
技术介绍
1、传统的语音合成系统在基于文本合成语音时，通常是对文本分词后针对分词结果分别进行语音建模，然后将分词对应的语音建模结果进行拼接得到合成语音。上述的方案主要借助分词与语音或音素的映射关系而实现语音合成。但是，语音中包含非常丰富的语义信息，例如一句相同的文本，发音停顿重度的不同会传达不同的语义。而现有的语音合成系统，仅仅是实现了文本到语音的映射，往往不能准确传达语音中丰富的语义信息。
技术实现思路
1、基于上述技术现状，本申请提出一种语音合成方法、模型训练方法、装置、设备及存储介质，能够使合成的语音包含更加丰富且准确的语义信息，从而提高合成语音的可懂度和自然度。
2、为了达到上述技术目的，本申请提出如下技术方案：
3、一种语音合成方法，包括
4、获取待合成文本对应的字音特征和韵律特征，以及，通过预先训练的编码模型，提取所述待合成文本的语义特征；
5、基于所述字音特征、所述韵律特征和所述语义特征，生成与所述待合成文本相匹配的语音；
6、其中，所述编码模型通过对第一训练样本进行语义特征提取训练得到，所述第一训练样本包括第一文本样本以及与所述第一文本样本平行的第一语音样本的声学特征；所述语义特征提取训练，以使得所述编码模型能够正确提取所述第一文本样本的文本特征和/或所述第一语音样本的声学特征，以及，能够正确预测所述第一语音样本的韵律信息，
7、可选的，所述获取待合成文本对应的字音特征和韵律特征，包括；
8、通过预先训练的字音和韵律预测模型，从所述待合成文本中提取字音特征和韵律特征；
9、其中，所述字音和韵律预测模型，通过对所述编码模型进行基于文本的字音和韵律预测训练得到。
10、可选的，所述编码模型的训练过程，包括：
11、对所述第一训练样本中的第一文本样本和/或第一语音样本的声学特征进行随机掩盖后输入所述编码模型，以使所述编码模型预测被掩盖的字符和/或声学特征；
12、以使所述编码模型能够正确预测被掩盖的字符和/或声学特征，以及能够正确预测所述第一语音样本的韵律信息为目标，对所述编码模型进行参数修正。
13、可选的，以使所述编码模型能够正确预测被掩盖的字符和/或声学特征，以及能够正确预测所述第一语音样本的韵律信息为目标，对所述编码模型进行参数修正，包括：
14、获取所述编码模型通过预测被掩盖的字符和/或声学特征而得到的预测文本和/或预测声学特征，以及，获取所述编码模型输出的预测韵律信息；
15、以所述编码模型能够正确预测所述第一文本样本和/或所述第一语音样本的声学特征，以及，能够正确预测所述第一语音样本的韵律信息为目标，对所述编码模型进行参数修正。
16、可选的，以所述编码模型能够正确预测所述第一文本样本和/或所述第一语音样本的声学特征，以及，能够正确预测所述第一语音样本的韵律信息为目标，对所述编码模型进行参数修正，包括：
17、从所述编码模型输出的预测文本中确定出对应所述第一文本样本中被掩盖字符的预测字符，和/或，从所述编码模型输出的预测声学特征中，确定出对应所述第一语音样本的声学特征中被掩盖的声学特征的预测声学特征；
18、根据所述预测字符与所述被掩盖的字符，和/或根据所述预测声学特征与所述被掩盖的声学特征，计算得到掩码预测损失；以及，根据所述编码模型输出的预测韵律信息与所述第一语音样本的韵律标签，计算得到韵律预测损失；
19、以降低所述掩码预测损失和所述韵律预测损失为目标，对所述编码模型进行参数修正。
20、可选的，对所述第一训练样本中的第一文本样本和/或第一语音样本的声学特征进行随机掩盖后输入所述编码模型，以使所述编码模型预测被掩盖的字符和/或声学特征，包括：
21、将所述第一文本样本和所述第一语音样本的声学特征中对应相同位置的字符和声学特征分别进行掩盖，并将掩盖后的所述第一文本样本和所述第一语言样本的声学特征输入所述编码模型，以使所述编码模型预测被掩盖的字符和被掩盖的声学特征；
22、和/或，
23、将所述第一文本样本和所述第一语音样本中对应相同位置的字符和声学特征分别进行掩盖，并将掩盖后的所述第一文本样本输入所述编码模型，以使所述编码模型预测被掩盖的声学特征；
24、和/或，
25、对所述第一语音样本的声学特征进行随机掩盖后，将所述第一文本样本和掩盖后的所述第一语音样本的声学特征，输入所述编码模型，以使所述编码模型预测被掩盖的声学特征。
26、可选的，所述编码模型输出的预测韵律信息，包括语音停顿信息和/或字符时长信息。
27、可选的，所述第一文本样本以及与所述第一文本样本平行的第一语音样本的声学特征，通过如下处理得到：
28、获取第一文本样本以及与所述第一文本样本平行的第一语音样本；
29、通过对所述第一文本样本与所述第一语音样本进行字符级别的数据对齐处理，从所述第一语音样本中确定出与所述第一文本样本中的每个字符对应的语音片段；
30、分别确定所述第一文本样本中的每个字符对应的语音片段的声学特征，得到所述第一语音样本的声学特征序列。
31、可选的，确定所述第一文本样本中的每个字符对应的语音片段的声学特征，包括：
32、将所述第一文本样本中的字符对应的语音片段输入语音声学编码模型，得到所述语音声学编码模型输出的编码特征；
33、将所述编码特征输入语音声学解码模型，得到所述语音声学解码模型输出的重建语音片段；
34、基于该重建语音片段与输入所述语音声学编码模型的语音片段的差异，对所述语音声学编码模型进行参数校正，直至当所述语音声学解码模型输出的重建语音片段与输入所述语音声学编码模型的语音片段的差异小于设定阈值时，将所述语音声学编码模型输出的编码特征，确定为输入所述语音声学编码模型的语音片段的声学特征。
35、可选的，所述语音声学编码模型输出的编码特征为128维的编码特征。
36、一种模型训练方法，包括：
37、将第一训练样本输入编码模型，对所述编码模型进行语义特征提取训练；
38、其中，所述第一训练样本包括第一文本样本以及与所述第一文本样本平行的第一语音样本的声学特征；所述编码模型提取的语义特征用于生成语音；
39、所述语义特征提取训练，以使得所述编码模型能够正确提取所述第一文本样本的文本特征和/或所述第一语音样本的声学特征，以及，能够正确预测所述第一语音样本的韵律信息，为目标。
40、一种语音合成装置，包括：
41、特征提取单元，用于获取待合成文本对应的字音特征和韵律特征，以及，通过预先训练的编码模型，提取所述待合成文本的语义特征；<本文档来自技高网...
【技术保护点】
1.一种语音合成方法，其特征在于，包括
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述待合成文本对应的字音特征和/或韵律特征；
3.根据权利要求2所述的方法，其特征在于，所述获取所述待合成文本对应的字音特征和/或韵律特征，包括；
4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述编码模型的训练过程，包括：
5.根据权利要求4所述的方法，其特征在于，以使所述编码模型能够正确预测被掩盖的字符和/或声学特征，以及能够正确预测所述第一语音样本的韵律信息为目标，对所述编码模型进行参数修正，包括：
6.根据权利要求5所述的方法，其特征在于，以所述编码模型能够正确预测所述第一文本样本和/或所述第一语音样本的声学特征，以及，能够正确预测所述第一语音样本的韵律信息为目标，对所述编码模型进行参数修正，包括：
7.根据权利要求4所述的方法，其特征在于，对所述第一训练样本中的第一文本样本和/或第一语音样本的声学特征进行随机掩盖后输入所述编码模型，以使所述编码模型预测被掩盖的字符和/或声学特征，包括：p>
8.根据权利要求6所述的方法，其特征在于，所述编码模型输出的预测韵律信息，包括语音停顿信息和/或字符时长信息。
9.根据权利要求1至3中任意一项所述的方法，其特征在于，所述第一文本样本以及与所述第一文本样本平行的第一语音样本的声学特征，通过如下处理得到：
10.根据权利要求9所述的方法，其特征在于，确定所述第一文本样本中的每个字符对应的语音片段的声学特征，包括：
11.一种模型训练方法，其特征在于，包括：
12.一种语音合成装置，其特征在于，包括：
13.一种模型训练装置，其特征在于，包括：
14.一种电子设备，其特征在于，包括：
15.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时，实现如权利要求1至10中任意一项所述的语音合成方法，或者实现如权利要求11所述的模型训练方法。
...【技术特征摘要】
1.一种语音合成方法，其特征在于，包括
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述待合成文本对应的字音特征和/或韵律特征；
3.根据权利要求2所述的方法，其特征在于，所述获取所述待合成文本对应的字音特征和/或韵律特征，包括；
4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述编码模型的训练过程，包括：
5.根据权利要求4所述的方法，其特征在于，以使所述编码模型能够正确预测被掩盖的字符和/或声学特征，以及能够正确预测所述第一语音样本的韵律信息为目标，对所述编码模型进行参数修正，包括：
6.根据权利要求5所述的方法，其特征在于，以所述编码模型能够正确预测所述第一文本样本和/或所述第一语音样本的声学特征，以及，能够正确预测所述第一语音样本的韵律信息为目标，对所述编码模型进行参数修正，包括：
7.根据权利要求4所述的方法，其特征在于，对所述第一训练样本中的第一文本样本和/或第一语音样本的声学特征进行...
【专利技术属性】
技术研发人员：刘利娟，胡亚军，潘嘉，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。