【技术实现步骤摘要】
基于深度学习的语音训练方法、装置、设备以及存储介质
本专利技术涉及人工智能
，尤其涉及一种基于深度学习的语音训练方法、装置、计算机设备以及存储介质。
技术介绍
现有的基于深度学习的语音合成技术，大多数基于序列-到-序列(seq2seq)的方案，如Tacotron2，相较于传统的统计参数模型算法，给语音合成的效果带来显著的提升。但是相对来说，序列-到-序列的模型系统训练，需要大量的的训练数据集以及计算资源来进行模型的学习，且在推理阶段也很难做到高效率的语音合成。一些系统尝试在序列-到-序列的模型基础上，用不同的模型结构的技巧来降低计算资源上的压力，例如通过在编码-解码阶段采用卷积神经网络，这个模型能够快速的训练，但是问题是仍旧需要序列推理，这个相对来说推理效率还是比较低的。为了避免序列化的推理阶段，一些模型采用了自注意力机制，来并行化频谱生成的结构，但是注意力层的训练阶段是十分困难并且耗时的，目前为止缺乏一种能够同时做到高效训练、高效推理和高品质的语音合成模型。
技术实现思路
本专利技术实施例提供一种...
【技术保护点】
1.一种基于深度学习的语音训练方法，其特征在于，包括以下步骤：/n对第一音素序列进行编码，得到第一音素编码值；/n对所述第一音素编码值进行时长预测处理，得到第一发音时长预测值；/n基于所述第一发音时长预测值对所述第一音素序列中的每个音素进行扩展处理，得到所述第一音素序列中的每个音素的扩展特征；/n将所述第一音素序列中的每个音素的扩展特征变换为第一梅尔频谱值；/n通过训练好的教师神经网络提供的隐变量以及所述第一梅尔频谱值对学生神经网络进行训练，训练至所述学生神经网络的第一损失函数收敛时，得到训练好的所述学生神经网络。/n
【技术特征摘要】
1.一种基于深度学习的语音训练方法，其特征在于，包括以下步骤：
对第一音素序列进行编码，得到第一音素编码值；
对所述第一音素编码值进行时长预测处理，得到第一发音时长预测值；
基于所述第一发音时长预测值对所述第一音素序列中的每个音素进行扩展处理，得到所述第一音素序列中的每个音素的扩展特征；
将所述第一音素序列中的每个音素的扩展特征变换为第一梅尔频谱值；
通过训练好的教师神经网络提供的隐变量以及所述第一梅尔频谱值对学生神经网络进行训练，训练至所述学生神经网络的第一损失函数收敛时，得到训练好的所述学生神经网络。
2.根据权利要求1所述的基于深度学习的语音训练方法，其特征在于，训练所述教师神经网络的步骤包括：
对第二音素序列进行编码，得到第二音素键编码值；
对与所述第二音素序列对应的真实梅尔频谱值向左偏移预设值后进行编码，得到第二梅尔频谱编码值；
对所述第二音素编码值以及所述第二梅尔频谱编码值进行注意力机制处理，得到注意力加和的所述第二音素编码值以及所述第二梅尔频谱编码值；
将所述注意力加和的所述第二素编码值以及所述第二梅尔频谱真实编码值变换为第二梅尔频谱值；
根据与所述第二音素序列对应的真实梅尔频谱值和所述第二梅尔频谱值对所述教师神经网络进行自训练，直至所述教师神经网络的第二损失函数收敛，得到训练好的所述教师神经网络。
3.根据权利要求2所述的基于深度学习的语音训练方法，其特征在于，在所述通过预先训练好的教师神经网络提供的隐变量以及所述第一梅尔频谱值对学生神经网络进行训练，训练至所述学生神经网络的第一损失函数收敛时，得到训练好的所述学生神经网络的步骤中，还包括：
所述训练好的教师神经网络对所述第一音素序列进行编码，得到第三音素键编码值；
所述训练好的教师神经网络对与所述第一音素序列对应的梅尔频谱真实值向左偏移预设值后进行编码，得到第三梅尔频谱编码值；
所述训练好的教师神经网络对第三音素编码值以及第三梅尔频谱真实编码值进行注意力机制处理，得到注意力加和的第三音素编码值以及第三梅尔频谱真实编码值；
将所述注意力加和的所述第三音素编码值以及第三梅尔频谱编码值变换为第三梅尔频谱值；
通过所述训练好的教师神经网络将所述注意力加和的所述第三音素编码值以及第三梅尔频谱真实编码值、所述第三梅尔频谱值作为所述隐变量输出到所述学生神经网络。
4.根据权利要求3所述的基于深度学习的语音训练方法，其特征在于：
所述第一损失函数选用所述第一梅尔频谱值和所述第三梅尔频谱值之间的均值绝对误差和；
或，所述第一损失函数选用Huber损失函数。
5.根据权利要求3所述的基于深度学习的语音训练方法，其特征在于，所述基于所述第一发音时长预测值对所述第一音素序列中的每个音素进行扩展处理，得到所述第一音素序列中的每个音素的扩展特征的步骤具体包括：<...
【专利技术属性】
技术研发人员：孙奥兰，王健宗，程宁，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。