【技术实现步骤摘要】
声学深度学习模型训练方法、语音生成方法及设备
[0001]本专利技术涉及语音分析与合成领域，具体涉及一种声学深度学习模型训练方法、语音生成方法及设备。
技术介绍
[0002]微课（Microlecture），是指运用信息技术按照认知规律，呈现碎片化学习内容、过程及扩展素材的结构化数字资源。微课的一个功能是根据用户上传的文本或PPT以及照片，生成照片中的人物进行解说的视频。该功能首先根据文本内容合成语音，然后驱动生成人物的嘴唇及头部动作，最后合成整个视频。由于有很多国外单位用户在提交的文本里经常会出现多种语言混杂的情况，因此需要根据文本合成出清晰流畅的中英混杂语音。
[0003]以中、英文混杂的场景为例，在开发中英混杂语言TTS（Text To Speech, 文本转语音）模型时就需要中英文混杂的语音数据作为训练数据，但是TTS模型训练数据本身对噪声及说话人的口音、流利程度都有很高要求，对中英混杂的TTS语音数据要求会更高，需要说话人能流利的说两种语言且切换流畅顺畅，然后在专业录音棚录制，导致这种数据很难获取，或者获取
【技术保护点】
【技术特征摘要】
1.一种声学深度学习模型训练方法，其特征在于，包括：获取多个语种的原始样本数据，所述原始样本数据包括说话人的音频数据、文本数据和语种信息；根据所述语种信息将所述文本数据转换为音素，并为每个所述音素分别添加语种标签；提取所述音频数据的线性谱数据；深度学习模型利用多个训练数据进行训练，所述训练数据包括所述线性谱数据、所述音素及其语种标签、所述文本数据，所述深度学习模型包括音频生成模块、文本特征提取模块、流映射模块、对齐搜索模块和时长预测模块，其中所述音频生成模块用于根据所述线性谱数据生成音频数据、所述文本特征提取模块用于对所述音素提取文本特征值、所述流映射模块用于将所述音频生成模块提取的音频特征映射为潜在变量，所述对齐搜索模块用于建立所述文本特征值与所述潜在变量的映射关系数据，所述时长预测模块用于根据所述文本特征提取模块提取的文本特征和所述映射关系数据确定时长信息。2.根据权利要求1所述的方法，其特征在于，原始样本数据为多个说话人的原始样本数据，至少部分说话人所使用的语种不同，同一说话人的原始样本数据为单一语种。3.根据权利要求1所述的方法，其特征在于，所述音频生成模块包括后验频谱编码器和解码器，其中所述后验频谱编码器用于对所述线性谱数据提取音频特征，所述解码器用于根据所述音频特征生成所述音频数据。4.根据权利要求1所述的方法，其特征在于，所述文本特征提取模块包括音素编码器和映射模块，其中所述音素编码器用于对所述音素提取文本特征数据，所述映射模块用于将所述文本特征数据处理为所述特征值。5.根据权利要求4所述的方法，其特征在于，所述特征值为多元高斯分布的均值和方差。6.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述训练数据中还包括说话人的标识数据，在所述深度学习模型利用多个训练数据进行训练的过程中，所述标识数据被送入所述音频生成模块、流映射模块和时长预测模块。7.一种语音生成方法，其特征...
【专利技术属性】
技术研发人员：陈栋，
申请(专利权)人：北京优幕科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。