一种个性化语音合成模型网络训练及个性化语音合成方法技术

本发明专利技术公开了一种个性化语音合成模型网络训练及个性化语音合成方法，包括如下步骤:步骤1.采集单人高质量音频数据训练出基准模型A1，步骤2.搭建发音人音色编码网络，用于将发音人编码。步骤3.利用步骤2中的发音人音色编码网络A2计算步骤1中所有基准模型的音色编码，得到基准模型音色编码；步骤4.筛选修正模型基准A3,并利用A3通过迁移学习生成单人合成模型；步骤5.重复步骤4所有操作，得到多个发音人单人合成模型A4以及标签；步骤6.形成合成模型网络A5。本发明专利技术可以仅通过少量发音人音频与待合成文本，快速搜索出最匹配模型来合成该段文本对应的语音；相比于现有的技术所需要的单人语料数据更少，合成实时性更高。

【技术实现步骤摘要】
一种个性化语音合成模型网络训练及个性化语音合成方法
本专利技术属于语音智能识别
，涉及语音合成技术，具体涉及一种个性化语音合成模型网络训练及个性化语音合成方法。
技术介绍
语音合成是一种将文本内容转化为音频输出的技术，又称为文本转换语音技术（TextToSpeech，TTS）。现有的语音合成技术普遍都只能合成出具有通用音色的音频不能满足多种场景需求。如果要指定用某个发音人的音色，语气来合成音频就需要采用个性化语音合成技术。个性化语音合成是以语音合成为基础的，利用文本合成出带有特定发音人音色特征的音频。现有的个性化语音合成技术的实现主要有以下三种方案。方案一：需采集超大量高质量多发音人音频以及所对应的文本数据，训练出通用多发音人语音生成模型，在合成时将目标发音人的嵌入以及待合成的文本输入多发音人语音生成模型生成音频。方案二：采集大量指定发音人音色音频及所对应的文本数据，生成该发音人的生成模型，在合成时输入文本内容合成出具有该发音人音色的音频。方案三：采用语音转换技术，实现将具有基准音色的音频转换为指定说话人音色的音频。其中方本文档来自技高网...

【技术保护点】
1.一种个性化语音合成模型网络训练方法，其特征在于,包括如下步骤:/n步骤1.采集单人高质量音频数据训练出基准模型A1， 所述基准模型A1包括不同类别音色差距明显的发音人，所述基准模型A1采用基于注意力机制的端到端的文本转语音网络进行训练得到，所述高质量音频数据为高保真音频及对应文本；/n步骤2.搭建发音人音色编码网络A2，用于将发音人编码；/n提取不同类型发音人的声学特征,将不同类型的发音人的声学特征在编码网络中训练，得到发音人音色编码网络A2；/n步骤3.利用步骤2中的发音人音色编码网络A2计算步骤1中所有基准模型A1的音色编码，得到基准模型音色编码M1；/n步骤4.筛选修正基准模型A3,...

【技术特征摘要】
1.一种个性化语音合成模型网络训练方法，其特征在于,包括如下步骤:
步骤1.采集单人高质量音频数据训练出基准模型A1，所述基准模型A1包括不同类别音色差距明显的发音人，所述基准模型A1采用基于注意力机制的端到端的文本转语音网络进行训练得到，所述高质量音频数据为高保真音频及对应文本；
步骤2.搭建发音人音色编码网络A2，用于将发音人编码；
提取不同类型发音人的声学特征,将不同类型的发音人的声学特征在编码网络中训练，得到发音人音色编码网络A2；
步骤3.利用步骤2中的发音人音色编码网络A2计算步骤1中所有基准模型A1的音色编码，得到基准模型音色编码M1；
步骤4.筛选修正基准模型A3,并利用修正基准模型A3通过迁移学习生成单人合成模型A4，具体包括如下步骤：
S41.采集单人数据；所述单人数据为包括多段音频的高质量音频数据；
S42.利用步骤2得到的发音人音色编码网络A2计算步骤S41中高质量音频数据的每一段音频的音色编码，再将所有编码取平均值来表示该发音人的单人音色编码M2；
S43.计算步骤S42中得到的单人音色编码M2与步骤3得到的基准模型音色编码M1的相似度，选取出相似度最高的基准模型音色编码M1，从步骤1中的基准模型A1选取出与该基准模型音色编码M1对应的基准模型作为该类人群的修正基准模型A3；
S44.用步骤S41中的数据在步骤S43中选出的修正基准模型A3上做迁移训练得到单人合成模型A4；
S45.用步骤S42中的单人音色编码M2作为该单人合成模型A4的标签；
步骤5.更换步骤S41中的单人数据，重复步骤4所有操作，得到多个发音人单人合成模型A4，以及单人合成模型A4对应的单人音色编码M2作为该单人合成模型A4的标签；
步骤6.将步骤5中得到的所有单人合成模型A4及其标签对应，并将步骤1中的基准模型A1与模型标签形成一一对应的关系，将每个单人合成模型A4与步骤1的基准模型A1对应，形成...

【专利技术属性】
技术研发人员：陈佩云，何云鹏，许兵，
申请(专利权)人：成都启英泰伦科技有限公司，
类型：发明
国别省市：四川;51