一种语音合成方法、装置和电子设备制造方法及图纸

本发明专利技术实施例提供了一种语音合成方法、装置和电子设备。本技术方案是在选音拼接合成路线上，适度引入深度学习技术、但又不彻底废弃传统统计学习技术，博采两者之长，最核心的创新是借用深度学习模型生成仿真数据来反哺传统统计学习模型的训练，从算法和数据两方面改善传统学习的效果，从而提高了语音合成的效果。

A Speech Synthesis Method, Device and Electronic Equipment

【技术实现步骤摘要】
一种语音合成方法、装置和电子设备
本专利技术涉及语音合成
，特别是涉及一种语音合成方法、装置和电子设备。
技术介绍
近年来，随着深度学习的风潮横扫机器学习相关领域，语音合成领域也随之风起云涌，从声学参数建模、语音增强、声码器、直至韵律分析等文本预处理各个环节，都纷纷尝试应用最新的深度学习技术，或甚至尝试直接从文本到波形“端到端”建模，都取得了卓著的成果。语音合成领域近十年的发展，一直维持着统计参数合成和选音拼接合成两大路线的争鸣。二者各有长短，无法完全取代对方：选音拼接合成音质逼真、音长真实，但拼接硬伤明显、集外稳定性差；统计参数合成稳定性好、协同发音顺畅，但音质机器感强、音长平均化。上述局部或全局的深度学习化改进，绝大部分都是在统计参数合成路线上，将统计模型更换为深度学习模型，确实显著改善了原先的弊端，已能够产出丰富的情感和悦耳的音色。但选音拼接合成在音质方面的先天优势还在。毕竟，参数合成之所以能更好地平衡集内外的拟合度、以及协同发音的柔软度，是以“熔平”集内样点的个性为代价的，音质、语气的细节会丢失。而拼接合成则是直接使用集内样点，所有细节都得以保留。此外，深度学习越发复杂的模型结构所带来的巨大计算量，也反面凸显出选音拼接合成在速度上的优势，这对产业界尤为重要。
技术实现思路
有鉴于此，本专利技术提供了一种基于深度学习的语音合成方法、装置和电子设备，以博采统计参数合成和选音拼接合成两者之长，以提高语音合成效果。为了解决上述问题，本专利技术公开了一种语音合成方法，包括步骤：响应文本输入，对输入的文本进行文本分析，得到所述文本的目标基元序列及相应的语境信息；针对所述语境信息，利用传统模型决策树确定所述语境信息在语音库的声学参数模型、基元时长模型和边界帧声学参数模型中分别所属的子类号；针对所述目标基元序列中每个目标基元，从所述语音库中检索所有候选单元，根据每个所述候选单元在所述统计模型中所属的子类号和所述目标基元在所述统计模型中所属的子类号，查表得到每个所述候选单元与所述目标基元的KLD距离，并根据所述KLD距离从所述多个候选单元中选择部分候选单元作为预选结果；利用所述预选结果依次将每个所述目标基元形成一列，最终使所述目标基元序列形成一套候选网格；将所述语境信息输入到深度学习模型，得到所述候选网格中每个所述目标基元的声学参数包络、基元时长和边界帧声学参数，分别替换所述声学参数模型、基元时长模型和边界帧声学参数模型中均值，形成新的选音目标模型；在所述候选网格中，对于每个所述候选单元，根据所述声学参数模型、所述基元时长模型、所述边界帧声学参数模型和通过查表得到的权重系数计算每个所述候选单元的3种选音距离；对于每个所述候选单元，将3种选音距离加权求和，得到其动态规划代价；根据候选网格中各所述候选单元的动态规划代价，通过动态规划最优化算法，确定累积代价最小的最优路径；根据所述最优路径从所述语音库中读取选定的基元，适当调整所述基元的长度与音高，顺次平滑拼接在一起。可选的，在所述声学模型中包括声学参数的高斯分布模型和状态时长的高斯分布模型。可选的，所述传统模型决策树中包括一套声学高斯模型和一套瓶颈高斯模型。可选的，所述深度学习模型包括声学神经网络、基元时长神经网络和边界神经网络。可选的，还包括步骤：根据两路来源的训练样本进行模型训练，得到所述传统模型决策树，所述训练样本来自于原始语音库和根据补充语料库生成的仿真数据。可选的，还包括步骤：对语境总表进行降维缩减处理，得到全局频次表和覆盖频次表；从多种途径搜集海量文本，经过清洗和断句后，挑出长度符合预设标准的句子，组成原始待选库；将所述原始待选库中的每个所述句子进行文本分析，得到每个所述句子的基元序列和语境信息；遍历所有所述句子每种语境的出现频次，根据所述出线频次初始化所述全局频次表，并将所述覆盖频次表初始化为全零；遍历每个所述句子，根据所述出线频次计算每个所述句子的贡献分；将所述贡献分最高的多个所述句子摘录为已选库；遍历所述已选库中的每个所述句子，更新所述覆盖频次表，如果所述覆盖频次表中所有非零的频次都超过了阈值，则终止迭代；当所述覆盖频次表第一次被更新后，将所述覆盖频次表底取代所述全局频次表，得到所述仿真数据。还提供了一种语音合成装置，包括：文本分析模块，用于响应文本输入，对输入的文本进行文本分析，得到所述文本的目标基元序列及相应的语境信息；第一计算模块，用于针对所述语境信息，利用传统模型决策树确定所述语境信息在语音库的声学参数模型、基元时长模型和边界帧声学参数模型中分别所属的子类号；距离计算模块，用于针对所述目标基元序列中每个目标基元，从所述语音库中检索所有候选单元，根据每个所述候选单元在所述统计模型中所属的子类号和所述目标基元在所述统计模型中所属的子类号，查表得到每个所述候选单元与所述目标基元的KLD距离，并根据所述KLD距离从所述多个候选单元中选择部分候选单元作为预选结果；网格构造模块，用于利用所述预选结果依次将每个所述目标基元形成一列，最终使所述目标基元序列形成一套候选网格；第二计算模块，用于将所述语境信息输入到深度学习模型，得到所述候选网格中每个所述目标基元的声学参数包络、基元时长和边界帧声学参数，分别替换所述声学参数模型、基元时长模型和边界帧声学参数模型中的均值，形成新的选音目标模型；第三计算模块，用于在候选网格中，对于每个所述候选单元，根据所述声学参数模型、所述基元时长模型、所述边界帧声学参数模型和通过查表得到的权重系数计算每个所述候选单元的3种选音距离；第四计算模块，用于对于每个所述候选单元，将所述3种选音距离加权求和，得到其动态规划代价；路径选定模块，用于根据候选网格中各候选单元的代价，通过动态规划，确定累积代价最小的最优路径；拼接输出模块，用于根据所述最优路径从所述语音库中读取选定的基元，适当调整所述基元的长度与音高，顺次平滑拼接在一起。可选的，在所述声学模型中包括声学参数的高斯分布模型和状态时长的高斯分布模型。可选的，所述传统模型决策树中包括一套声学高斯模型和一套瓶颈高斯模型。可选的，所述深度学习模型包括声学神经网络、基元时长神经网络和边界神经网络。还提供了一种电子设备，设置有如上所述的语音合成装置。还提供了一种电子设备，包括至少一个处理器和与其相连接的存储器，所述存储器用于存储计算机程序或指令，所述处理器用于执行所述计算机程序或指令，使所述电子设备能够执行如上所述的语音合成方法。从上述技术方案可以看出，本专利技术提供了一种语音合成方法、装置和电子设备，该方法和装置具体为：对输入的文本进行文本分析，得到目标基元序列及相应的语境信息；针对语境信息，利用传统模型决策树确定语境信息在语音库的统计模型中分别所属的子类号，得到相应的预选结果；利用预选结果依次将每个目标基元形成一列，最终使目标基元序列形成一套候选网格；将语境信息输入到深度学习模型，得到候选网格中每个目标基元的声学参数模型、基元时长模型和边界帧声学参数模型；根据语境信息在统计模型中分别所属的子类号以及相应的高斯分布模型计算每个候选单元的3种选音距离；将3种选音距离加权求和，得到每个候选单元的动态规划代价值；根据动态规划代价确定累积代价最小的最优路径；根据最优路径从语音库中读取选定的基元，适当本文档来自技高网...

【技术保护点】
1.一种语音合成方法，其特征在于，包括步骤：响应文本输入，对输入的文本进行文本分析，得到所述文本的目标基元序列及相应的语境信息；针对所述语境信息，利用传统模型决策树确定所述语境信息在语音库的声学参数模型、基元时长模型和边界帧声学参数模型中分别所属的子类号；针对所述目标基元序列中每个目标基元，从所述语音库中检索所有候选单元，根据每个所述候选单元在所述统计模型中所属的子类号和所述目标基元在所述统计模型中所属的子类号，查表得到每个所述候选单元与所述目标基元的KLD距离，并根据所述KLD距离从所述多个候选单元中选择部分候选单元作为预选结果；利用所述预选结果依次将每个所述目标基元形成一列，最终使所述目标基元序列形成一套候选网格；将所述语境信息输入到深度学习模型，得到所述候选网格中每个所述目标基元的声学参数包络、基元时长和边界帧声学参数，分别替换所述声学参数模型、基元时长模型和边界帧声学参数模型中均值，形成新的选音目标模型；在所述候选网格中，对于每个所述候选单元，根据所述声学参数模型、所述基元时长模型、所述边界帧声学参数模型和通过查表得到的权重系数计算每个所述候选单元的3种选音距离；对于每个所述候选单元，将3种选音距离加权求和，得到其动态规划代价；根据候选网格中各所述候选单元的动态规划代价，通过动态规划最优化算法，确定累积代价最小的最优路径；根据所述最优路径从所述语音库中读取选定的基元，适当调整所述基元的长度与音高，顺次平滑拼接在一起。...

【技术特征摘要】
1.一种语音合成方法，其特征在于，包括步骤：响应文本输入，对输入的文本进行文本分析，得到所述文本的目标基元序列及相应的语境信息；针对所述语境信息，利用传统模型决策树确定所述语境信息在语音库的声学参数模型、基元时长模型和边界帧声学参数模型中分别所属的子类号；针对所述目标基元序列中每个目标基元，从所述语音库中检索所有候选单元，根据每个所述候选单元在所述统计模型中所属的子类号和所述目标基元在所述统计模型中所属的子类号，查表得到每个所述候选单元与所述目标基元的KLD距离，并根据所述KLD距离从所述多个候选单元中选择部分候选单元作为预选结果；利用所述预选结果依次将每个所述目标基元形成一列，最终使所述目标基元序列形成一套候选网格；将所述语境信息输入到深度学习模型，得到所述候选网格中每个所述目标基元的声学参数包络、基元时长和边界帧声学参数，分别替换所述声学参数模型、基元时长模型和边界帧声学参数模型中均值，形成新的选音目标模型；在所述候选网格中，对于每个所述候选单元，根据所述声学参数模型、所述基元时长模型、所述边界帧声学参数模型和通过查表得到的权重系数计算每个所述候选单元的3种选音距离；对于每个所述候选单元，将3种选音距离加权求和，得到其动态规划代价；根据候选网格中各所述候选单元的动态规划代价，通过动态规划最优化算法，确定累积代价最小的最优路径；根据所述最优路径从所述语音库中读取选定的基元，适当调整所述基元的长度与音高，顺次平滑拼接在一起。2.如权利要求1所述的语音合成方法，其特征在于，在所述声学模型中包括声学参数的高斯分布模型和状态时长的高斯分布模型。3.如权利要求1所述的语音合成方法，其特征在于，所述传统模型决策树中包括一套声学高斯模型和一套瓶颈高斯模型。4.如权利要求1所述的语音合成方法，其特征在于，所述深度学习模型包括声学神经网络、基元时长神经网络和边界神经网络。5.如权利要求1所述的语音合成方法，其特征在于，还包括步骤：根据两路来源的训练样本进行模型训练，得到所述传统模型决策树，所述训练样本来自于原始语音库和根据补充语料库生成的仿真数据。6.如权利要求5所述的语音合成方法，其特征在于，还包括步骤：对语境总表进行降维缩减处理，得到全局频次表和覆盖频次表；从多种途径搜集海量文本，经过清洗和断句后，挑出长度符合预设标准的句子，组成原始待选库；将所述原始待选库中的每个所述句子进行文本分析，得到每个所述句子的基元序列和语境信息；遍历所有所述句子每种语境的出现频次，根据所述出线频次初始化所述全局频次表...

【专利技术属性】
技术研发人员：王愈，李健，张连毅，武卫东，
申请(专利权)人：北京捷通华声科技股份有限公司，
类型：发明
国别省市：北京,11