一种语音合成方法及装置制造方法及图纸

本公开提供一种语音合成方法及装置，其中，该方法包括：基于预训练的跨句文本编码器，确定待处理的文本数据中目标句子对应的上下文语义表征；基于预训练的跨句声学编码器，确定历史句子对应语音波形的声学表征；其中，所述历史句子为文本数据中待转换目标句子之前的句子；确定所述目标句子对应的音素嵌入序列，将音素嵌入序列输入到语音合成模型，得到所述语音合成模型输出的音素隐状态序列；基于所述音素隐状态序列、所述声学表征以及所述上下文语义表征，确定目标句子对应的语音波形。本公开提供的语音合成方法，能够提高语音合成韵律的连续性和丰富性，及对未见领域的泛化能力，从而提升了合成语音的自然度和表现力。从而提升了合成语音的自然度和表现力。从而提升了合成语音的自然度和表现力。

【技术实现步骤摘要】
一种语音合成方法及装置


[0001]本公开涉及人工智能
，具体涉及一种语音合成方法及装置。另外，还涉及一种电子设备及处理器可读存储介质。

技术介绍

[0002]近年来，随着深度学习的快速发展，文语转换(Text
‑
to
‑
Speech，TTS)系统已经在中立风格上实现了接近人类录音的合成语音质量。现阶段流行的端到端的TTS方法可以分为两类：自回归模型以及非自回归模型。这种神经网络模型通常利用<文本，声学特征>对来进行训练，直接将输入的音素序列或字符文本序列转换为声学特征序列(比如梅尔域频谱)，并且不使用任何其他的辅助韵律特征。最后，神经网络声码器将声学特征转换为高保真语音波形。其虽然现阶段的语音合成技术在合成中立风格的语音时已经可以实现高保真的合成质量，但是像有声读物、对话聊天、演讲等场景，这些场景对合成语音的表现力和拟人度的要求较高，需要合成出韵律较为丰富的语音。然而，目前现有技术已满足不了高韵律丰富性和表现力等需求，为了解决这个问题，通常使用一些辅助特征作为TTS的附加输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音合成方法，其特征在于，包括：基于预训练的跨句文本编码器，确定待处理的文本数据中目标句子对应的上下文语义表征；基于预训练的跨句声学编码器，确定历史句子对应语音波形的声学表征；所述历史句子为所述文本数据中待转换目标句子之前的句子；确定所述目标句子对应的音素嵌入序列，将所述音素嵌入序列输入到语音合成模型，得到所述语音合成模型输出的音素隐状态序列；基于所述音素隐状态序列、所述声学表征以及所述上下文语义表征，确定所述目标句子对应的语音波形；其中，所述语音合成模型是基于样本文本数据、所述样本文本数据对应的样本语音波形训练得到的。2.根据权利要求1所述的语音合成方法，其特征在于，所述跨句文本编码器包括多头注意力机制层和双向语义表征模型；所述基于预训练的跨句文本编码器，确定待处理的文本数据中目标句子对应的上下文语义表征，具体包括：将所述文本数据中相邻的句子两两组合成相应的句子对序列，基于所述双向语义表征模型对所述句子对序列进行句子级表征，提取出所述句子对序列的分类标志维向量；将所述句子对序列中相邻句子对的分类标志维向量输入到所述多头注意力机制层，输出所述文本数据中目标句子对应的上下文语义表征。3.根据权利要求1所述的语音合成方法，其特征在于，所述跨句声学编码器包括长短期记忆网络层和语音表征模型；所述基于预训练的跨句声学编码器，确定历史句子对应语音波形的声学表征，具体包括：确定所述目标句子之前的所述历史句子对应的语音波形，将所述语音波形输入到所述语音表征模型，得到所述语音表征模型输出的综合语音特征；其中，所述语音表征模型是通过预训练得到的语音特征提取器；将所述综合语音特征输入到所述长短期记忆网络层，输出所述历史句子对应语音波形的声学表征。4.根据权利要求1所述的语音合成方法，其特征在于，所述确定所述目标句子对应的音素嵌入序列，具体包括：获得所述目标句子对应的音素序列；将所述音素序列输入到预设的音素嵌入层，并对所述音素嵌入层的输出信息进行位置编码，得到所述目标句子对应的音素嵌入序列。5.根据权利要求1所述的语音合成方法，其特征在于，所述语音合成模型包括文本编码器；将所述音素嵌入序列输入到语音合成模型，得到所述语音合成模型输出的音素隐状态序列，具体包括：将所述音素嵌入序列输入到所述语音合成模型中的文本编码器，得到所述文本编码器输出的音素隐状态序列。6.根据权利要求5所述的语音合成方法，其特征在于，所述语音合成模型还包括用于合并多个数组的连接层、用于特征融合和调整序列维度的线性层、音素级特征预测器、解码层

【专利技术属性】
技术研发人员：张雅洁，宋伟，岳杨皓，张政臣，吴友政，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：