【技术实现步骤摘要】
一种韵律控制语音合成方法、系统及电子装置
本申请涉及语音合成
，特别涉及一种韵律控制语音合成方法、系统及电子装置。
技术介绍
语音合成技术是将输入的文本转换为语音的重要技术，也是人机交互领域的一个重要研究内容。声谱预测网络(以下简称Tacotron2)的专利技术在英文上很大的提升了将输入的文本转换为语音的自然度。但是当移植到中文上使用时，由于中文汉字的稀疏性，存在韵律不稳定的现象。目前的中文语音合成技术主流做法是输入端的输入为从中文文本提取的音素序列，但由于在字音转换过程损失了很多与分词和词性相关的信息，使得Tacotron2模型不能收敛。其他改进的方案如在输入端加入韵律相关特征等在输入上的改动也会容易导致Tacotron2模型不能收敛。
技术实现思路
本申请的目的在于克服传统的中文端到端网络利用Tacotron2将输入的中文文本转换为语音时存在韵律不稳定的问题。为了实现上述目的，本申请提供了一种韵律控制语音合成方法、系统和电子装置，基于DCT参数化基频和时长来实现韵律控制。...
【技术保护点】
1.一种韵律控制语音合成方法，包括：/n对待合成文本进行正则获取语言学特征和音素序列；/n将所述音素序列输入Tacotron2模型的编码器；/n将编码结果和所述语言学特征输入韵律参数预测模型，预测待合成文本的韵律参数，获得音素级别的时长和DCT参数化基频；/n将所述音素级别时长和DCT参数化基频映射为二维向量，与所述编码结果拼接输入Tacotron2的解码器，输出韵律声学特征序列；/n将所述韵律声学特征序列送入声码器合成语音信号。/n
【技术特征摘要】
1.一种韵律控制语音合成方法，包括：
对待合成文本进行正则获取语言学特征和音素序列；
将所述音素序列输入Tacotron2模型的编码器；
将编码结果和所述语言学特征输入韵律参数预测模型，预测待合成文本的韵律参数，获得音素级别的时长和DCT参数化基频；
将所述音素级别时长和DCT参数化基频映射为二维向量，与所述编码结果拼接输入Tacotron2的解码器，输出韵律声学特征序列；
将所述韵律声学特征序列送入声码器合成语音信号。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括预训练Tacotron2模型，包括：
以音素序列为输入，以帧级别的多维声学特征为输出训练Tacotron2模型，获得具有音素序列与所述声学特征的对应关系的上下文权重矩阵。
3.根据权利要求2所述的方法，其特征在于，所述预测待合成文本的韵律参数，包括：
基于预训练Tacotron2模型获得的所述上下文权重矩阵，使用以下公式获得音素对应的帧数：
Ni＝∑jWij
其中Ni表示所述音素序列中第i个音素对应的帧数，Wij表示第j帧声学特征对应于第i个音素的概率；
计算log(Ni)获得所述音素级别的时长；
计算N阶的离散余弦变换的系数e＝[e0,e1...eT-1]T的基频为：
其中，D(t)为逆离散余弦变换时的第t帧的向量：
4.根据权利要求1所述的方法，其特征在于，所述方法还包括Tacotron2网络和韵律参数预测模型联合训练的步骤，具体包括：
以帧级别的音素序列和音素级别的语言学特征为输入，以多维声学特征为输出；
以训练过程中最小绝对误差作为韵律参数预测损失函数；
以训练过程中输出的声学特征与帧级别声学特征的最小均方误差作为声学特征重建损失；
将韵律参数预测损失函数与声学特征重建损失加权求和作为最终损失函数；
根据最终损失函数更新网络参数，对Tacotron2模型和韵律参数预测模型进行联合训练；
在前50epoch的训练中将损失权重设为零，在训练时损失权重不断增加，到0.1为止。
5.根据权利要求2或4所述的方法，其特征在于，在所述预训练Tacotron2模型或联合训练之前还包括：
从单一说话人语音数据库提取帧级别的音素序列、多维声学特征以及音素级别的语言学特征；
其中，所述多维声学特征提取时的帧移为10ms；
所述多维声学特征为20维，包括：...
【专利技术属性】
技术研发人员：张鹏远，尚增强，颜永红，
申请(专利权)人：中国科学院声学研究所，北京中科信利技术有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。