中文语音合成方法、装置、终端及存储介质制造方法及图纸

本申请提供一种中文语音合成方法、装置、终端及存储介质。该方法包括：获取中文语句，并对中文语句进行亚字识别，得到亚字序列；其中，亚字序列中的每个亚字包含对应汉字的含义；对亚字序列进行音素转换，得到音素序列和音素位置序列；对亚字序列进行词嵌入处理，得到亚字向量；将音素序列、音素位置序列和亚字向量输入训练好的中文语音合成模型中，得到中文语句对应的梅尔频谱；梅尔频谱用于合成中文语句对应的语音。本申请可以降低中文语音合成模型学习发音规律的难度，提升语音合成的速度和质量。量。量。

【技术实现步骤摘要】
中文语音合成方法、装置、终端及存储介质


[0001]本申请涉及语音合成
，尤其涉及一种中文语音合成方法、装置、终端及存储介质。

技术介绍

[0002]中文语音合成是指将中文语句转换为语音。典型的语音合成系统主要包括三个部分：TTS(Text To Speech，从文本到语音)前端、声学模型(Acoustic Model)和声码器(Vocoder)。
[0003]目前，在进行中文语音合成时，通常直接使用汉语拼音的音素(比如，BOPOMOFO的中文注音格式)序列作为声学模型的输入。然而，音素序列没有显性包含中文句子的含义，给声学模型学习发音规律增加了难度，导致语音合成速度和质量较差。

技术实现思路

[0004]本申请实施例提供了一种中文语音合成方法、装置、终端及存储介质，以解决目前仅以音素序列作为声学模型的输入，给声学模型学习发音规律带来难度，导致语音合成速度和质量较差的问题。
[0005]第一方面，本申请实施例提供了一种中文语音合成方法，包括：
[0006]获取中文语句，并对中文语句进行亚字识别，得到亚字序列；其中，亚字序列中的每个亚字包含对应汉字的含义；
[0007]对亚字序列进行音素转换，得到音素序列和音素位置序列；
[0008]对亚字序列进行词嵌入处理，得到亚字向量；
[0009]将音素序列、音素位置序列和亚字向量输入训练好的中文语音合成模型中，得到中文语句对应的梅尔频谱；梅尔频谱用于合成中文语句对应的语音。
[0010]在一种可能的实现方式中，中文语音合成模型包括逐步优化循环网络子模型、语言编码器、音素词嵌入子模型、韵律识别子模型和声学子模型。
[0011]在一种可能的实现方式中，将音素序列、音素位置序列和亚字向量输入训练好的中文语音合成模型中，得到中文语句对应的梅尔频谱，包括：
[0012]基于音素序列、音素位置序列、亚字向量、训练好的逐步优化循环网络子模型、训练好的语言编码器、训练好的音素词嵌入子模型和训练好的韵律识别子模型，得到韵律插入向量；韵律插入向量包含中文语句的句意信息、音素信息和韵律信息；
[0013]将韵律插入向量输入到训练好的声学子模型中，得到中文语句对应的梅尔频谱。
[0014]在一种可能的实现方式中，基于音素序列、音素位置序列、亚字向量、训练好的逐步优化循环网络子模型、训练好的语言编码器、训练好的音素词嵌入子模型和训练好的韵律识别子模型，得到韵律插入向量，包括：
[0015]将亚字向量输入训练好的逐步优化循环网络子模型，得到变换后的第一向量；
[0016]获取亚字序列的位置编码，并将亚字序列的位置编码和第一向量相加后得到的向
量输入到训练好的语言编码器，得到第三向量；
[0017]将音素序列输入到训练好的音素词嵌入子模型中，得到音素向量；
[0018]根据音素位置序列，对第三向量进行切片操作，得到第四向量，并将第四向量与音素向量相加，得到第五向量；
[0019]将第五向量输入到训练好的韵律识别子模型中，得到韵律信息；
[0020]将韵律信息插入到第五向量中，得到韵律插入向量。
[0021]在一种可能的实现方式中，在将音素序列、音素位置序列和亚字向量输入训练好的中文语音合成模型中，得到中文语句对应的梅尔频谱之前，中文语音合成方法还包括：
[0022]获取训练样本集；
[0023]根据训练样本集，对逐步优化循环网络子模型、语言编码器、音素词嵌入子模型、韵律识别子模型和声学子模型同时进行训练，得到训练好的中文语音合成模型。
[0024]在一种可能的实现方式中，声学子模型包括FastSpeech2模型。
[0025]在一种可能的实现方式中，对亚字序列进行音素转换，得到音素序列和音素位置序列，包括：
[0026]将亚字序列中的每个亚字的拼音分割成对应的声母、韵母和声调；
[0027]基于亚字序列中的各亚字对应的声母、韵母和声调以及中文语句中的标点符号，得到音素序列；
[0028]获取音素序列中的各音素所属汉字在中文语句中的位置序号，得到音素位置序列。
[0029]第二方面，本申请实施例提供了一种中文语音合成装置，包括：
[0030]亚字识别模块，用于获取中文语句，并对中文语句进行亚字识别，得到亚字序列；其中，亚字序列中的每个亚字包含对应汉字的含义；
[0031]音素转换模块，用于对亚字序列进行音素转换，得到音素序列和音素位置序列；
[0032]亚字词嵌入模块，用于对亚字序列进行词嵌入处理，得到亚字向量；
[0033]语音合成模块，用于将音素序列、音素位置序列和亚字向量输入训练好的中文语音合成模型中，得到中文语句对应的梅尔频谱；梅尔频谱用于合成中文语句对应的语音。
[0034]第三方面，本申请实施例提供了一种终端，包括处理器和存储器，存储器用于存储计算机程序，处理器用于调用并运行存储器中存储的计算机程序，执行如上第一方面或第一方面的任一种可能的实现方式所述的中文语音合成方法。
[0035]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述的中文语音合成方法的步骤。
[0036]本申请实施例提供一种中文语音合成方法、装置、终端及存储介质，通过对中文语句进行亚字识别，得到包含对应汉字的含义的亚字组成的亚字序列，根据亚字序列得到包含汉字含义的亚字向量，最后，将包含中文含义的亚字向量、包含音素信息的音素序列和包含音素位置信息的音素位置序列输入训练好的中文语音合成模型中，得到中文语句对应的梅尔频谱，通过包含中文含义的亚字向量、包含音素信息的音素序列和包含音素位置信息的音素位置序列作为输入，可以降低中文语音合成模型学习发音规律的难度，提升语音合成的速度和质量。
附图说明
[0037]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0038]图1是本申请一实施例提供的中文语音合成方法的实现流程图；
[0039]图2是本申请又一实施例提供的中文语音合成方法的实现流程图；
[0040]图3是本申请一实施例提供的中文语音合成装置的结构示意图；
[0041]图4是本申请一实施例提供的终端的示意图。
具体实施方式
[0042]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种中文语音合成方法，其特征在于，包括：获取中文语句，并对所述中文语句进行亚字识别，得到亚字序列；其中，所述亚字序列中的每个亚字包含对应汉字的含义；对所述亚字序列进行音素转换，得到音素序列和音素位置序列；对所述亚字序列进行词嵌入处理，得到亚字向量；将所述音素序列、所述音素位置序列和所述亚字向量输入训练好的中文语音合成模型中，得到所述中文语句对应的梅尔频谱；所述梅尔频谱用于合成所述中文语句对应的语音。2.根据权利要求1所述的中文语音合成方法，其特征在于，所述中文语音合成模型包括逐步优化循环网络子模型、语言编码器、音素词嵌入子模型、韵律识别子模型和声学子模型。3.根据权利要求2所述的中文语音合成方法，其特征在于，所述将所述音素序列、所述音素位置序列和所述亚字向量输入训练好的中文语音合成模型中，得到所述中文语句对应的梅尔频谱，包括：基于所述音素序列、所述音素位置序列、所述亚字向量、训练好的所述逐步优化循环网络子模型、训练好的所述语言编码器、训练好的所述音素词嵌入子模型和训练好的所述韵律识别子模型，得到韵律插入向量；所述韵律插入向量包含所述中文语句的句意信息、音素信息和韵律信息；将所述韵律插入向量输入到训练好的所述声学子模型中，得到所述中文语句对应的梅尔频谱。4.根据权利要求3所述的中文语音合成方法，其特征在于，所述基于所述音素序列、所述音素位置序列、所述亚字向量、训练好的所述逐步优化循环网络子模型、训练好的所述语言编码器、训练好的所述音素词嵌入子模型和训练好的所述韵律识别子模型，得到韵律插入向量，包括：将所述亚字向量输入训练好的所述逐步优化循环网络子模型，得到变换后的第一向量；获取所述亚字序列的位置编码，并将所述亚字序列的位置编码和所述第一向量相加后得到的向量输入到训练好的所述语言编码器，得到第三向量；将所述音素序列输入到训练好的所述音素词嵌入子模型中，得到音素向量；根据所述音素位置序列，对所述第三向量进行切片操作，得到第四向量，并将所述第四向量与所述音素向量相加，得到第五向量；将所述第五向量输入到训练好的所述韵律识别子模型中，得到韵律信息；...

【专利技术属性】
技术研发人员：王少佳，
申请(专利权)人：长城汽车股份有限公司，
类型：发明
国别省市：