语音合成模型训练及语音合成方法、装置及语音合成器制造方法及图纸

技术编号:28059069 阅读:21 留言:0更新日期:2021-04-14 13:34
本发明专利技术提供了一种语音合成模型训练及语音合成方法、装置及语音合成器,采用的的语音合成模型是一种全卷积语音合成模型,全卷积语音合成模型可以对多个待合成数据执行并行处理,提高语音合成效率。在对全卷积语音合成模型进行训练的过程中,通过调用待训练全卷积语音合成模型,对所述声学特征训练样本进行处理,得到离散语音合成结果,将所述离散语音合成结果转化为连续语音合成结果,进而利用连续语音合成结果得到损失函数,才能够利用损失函数对所述待训练全卷积语音合成模型的模型参数进行调整,即对待训练全卷积语音合成模型的模型参数进行优化,经过模型参数优化,最终得到的训练好的全卷积语音合成模型能够提高语音合成质量。音合成质量。音合成质量。

【技术实现步骤摘要】
语音合成模型训练及语音合成方法、装置及语音合成器


[0001]本专利技术涉及人工智能
,更具体的说,是涉及一种语音合成模型训练及语音合成方法、装置及语音合成器。

技术介绍

[0002]随着人工智能技术的发展,语音合成技术越来越受到人们的重视,语音合成技术可以应用在人机交互或者将文本转化成自然语言输出等领域,目前采用循环神经网络模型进行语音合成,但利用循环神经网络模型进行语音合成的方式存在合成效率低的问题。
[0003]基于此,如何提高语音合成效率,成为目前需要解决的技术问题。

技术实现思路

[0004]有鉴于此,本专利技术提供一种语音合成模型训练及语音合成方法、装置及语音合成器,以提高语音合成效率。
[0005]为实现上述目的,本专利技术提供如下技术方案:
[0006]一种语音合成模型训练方法,所述方法包括:
[0007]获取声学特征训练样本;
[0008]调用待训练全卷积语音合成模型,对所述声学特征训练样本进行处理,得到离散语音合成结果;
[0009]将所述离散语音合成结果转化为连续语音合成结果;
[0010]对所述连续语音合成结果以及声学特征训练样本对应的参考输出语音合成结果进行比较,利用比较结果得到所述待训练全卷积语音合成模型的损失函数;
[0011]利用所述损失函数对所述待训练全卷积语音合成模型的模型参数进行调整;
[0012]将参数调整后的全卷积语音合成模型作为待训练全卷积语音合成模型,并返回执行调用待训练全卷积语音合成模型,对所述声学特征训练样本进行处理的步骤,直到满足模型训练终止条件;
[0013]将满足模型训练终止条件时的模型参数作为所述待训练全卷积语音合成模型的模型参数,得到训练好的全卷积语音合成模型。
[0014]优选的,所述将所述离散语音合成结果转化为连续语音合成结果包括:
[0015]获取服从均匀分布的均匀分布采样结果;
[0016]利用离散语音合成结果以及均匀分布采样结果,得到满足离散多项分布的语音合成概率分布结果;
[0017]利用连续性函数对所述语音合成概率分布结果进行处理,得到连续语音合成结果。
[0018]优选的,所述损失函数至少包括:短时傅里叶变换STFT损失函数。
[0019]优选的,所述利用所述损失函数对所述待训练全卷积语音合成模型的模型参数进行调整包括:
[0020]从所述损失函数中得到所述连续语音合成结果对应的连续语音合成频谱,以及所述参考输出语音合成结果对应的参考输出语音合成频谱;
[0021]将所述连续语音合成频谱与所述参考输出语音合成频谱进行比较,利用比较结果,得到所述待训练全卷积语音合成模型的模型梯度;
[0022]沿所述待训练全卷积语音合成模型的模型梯度下降的方向,对所述待训练全卷积语音合成模型的模型参数进行调整。
[0023]优选的,所述模型训练终止条件至少包括:
[0024]模型训练次数达到预设次数,或,模型训练时间达到预设时间,或,损失函数满足预设条件。
[0025]一种语音合成方法,所述方法包括:
[0026]获取待合成语音对应的声学特征;
[0027]调用如上所述的语音合成模型训练方法训练得到的全卷积语音合成模型,对所述待合成语音对应的声学特征进行处理,得到语音合成结果。
[0028]一种语音合成模型训练装置,所述装置包括:
[0029]样本获取单元,用于获取声学特征训练样本;
[0030]样本处理单元,用于调用待训练全卷积语音合成模型,对所述声学特征训练样本进行处理,得到离散语音合成结果;
[0031]转化单元,用于将所述离散语音合成结果转化为连续语音合成结果;
[0032]损失函数获取单元,用于对所述连续语音合成结果以及声学特征训练样本对应的参考输出语音合成结果进行比较,利用比较结果得到所述待训练全卷积语音合成模型的损失函数;
[0033]参数调整单元,用于利用所述损失函数对所述待训练全卷积语音合成模型的模型参数进行调整;将参数调整后的全卷积语音合成模型作为待训练全卷积语音合成模型,并返回执行样本处理单元执行的调用待训练全卷积语音合成模型,对所述声学特征训练样本进行处理的步骤,直到满足模型训练终止条件;将满足模型训练终止条件时的模型参数作为所述待训练全卷积语音合成模型的模型参数,得到训练好的全卷积语音合成模型。
[0034]一种语音合成装置,所述装置包括:
[0035]声学特征获取单元,用于获取待合成语音对应的声学特征;
[0036]声学特征处理单元,用于调用如上所述的语音合成模型训练方法训练得到的全卷积语音合成模型,对所述待合成语音对应的声学特征进行处理,得到语音合成结果。
[0037]一种语音合成器,所述语音合成器至少包括如上所述的语音合成装置。
[0038]经由上述的技术方案可知,与现有技术相比,本专利技术提供了一种语音合成模型训练及语音合成方法、装置及语音合成器,本专利技术中所采用的的语音合成模型是一种全卷积语音合成模型,全卷积语音合成模型可以对多个待合成数据执行并行处理,因此,能够提高语音合成效率。并且,本专利技术在对全卷积语音合成模型进行训练的过程中,通过调用待训练全卷积语音合成模型,对所述声学特征训练样本进行处理,得到离散语音合成结果,将所述离散语音合成结果转化为连续语音合成结果,由于本专利技术将离散语音合成结果转化为连续语音合成结果,进而利用连续语音合成结果得到损失函数,才能够利用损失函数对所述待训练全卷积语音合成模型的模型参数进行调整,即对待训练全卷积语音合成模型的模型参
数进行优化,经过模型参数优化,最终得到的训练好的全卷积语音合成模型能够提高语音合成质量。
附图说明
[0039]为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
[0040]图1为本专利技术实施例提供的WaveRNN语音合成器模型的结构示意图;
[0041]图2为本专利技术实施例提供的语音合成模型训练方法的流程图;
[0042]图3为本专利技术实施例提供的待训练全卷积语音合成模型的具体结构;
[0043]图4为本专利技术实施例提供的将所述离散语音合成结果转化为连续语音合成结果方法的流程图;
[0044]图5为本专利技术实施例提供的一种语音合成方法的流程图;
[0045]图6为本申请实施例提供的语音合成模型训练装置的结构框图;
[0046]图7为本申请实施例提供的语音合成装置的结构框图。
具体实施方式
[0047]下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种语音合成模型训练方法,其特征在于,所述方法包括:获取声学特征训练样本;调用待训练全卷积语音合成模型,对所述声学特征训练样本进行处理,得到离散语音合成结果;将所述离散语音合成结果转化为连续语音合成结果;对所述连续语音合成结果以及声学特征训练样本对应的参考输出语音合成结果进行比较,利用比较结果得到所述待训练全卷积语音合成模型的损失函数;利用所述损失函数对所述待训练全卷积语音合成模型的模型参数进行调整;将参数调整后的全卷积语音合成模型作为待训练全卷积语音合成模型,并返回执行调用待训练全卷积语音合成模型,对所述声学特征训练样本进行处理的步骤,直到满足模型训练终止条件;将满足模型训练终止条件时的模型参数作为所述待训练全卷积语音合成模型的模型参数,得到训练好的全卷积语音合成模型。2.根据权利要求1所述的方法,其特征在于,所述将所述离散语音合成结果转化为连续语音合成结果包括:获取服从均匀分布的均匀分布采样结果;利用离散语音合成结果以及均匀分布采样结果,得到满足离散多项分布的语音合成概率分布结果;利用连续性函数对所述语音合成概率分布结果进行处理,得到连续语音合成结果。3.根据权利要求1所述的方法,其特征在于,所述损失函数至少包括:短时傅里叶变换STFT损失函数。4.根据权利要求3所述的方法,其特征在于,所述利用所述损失函数对所述待训练全卷积语音合成模型的模型参数进行调整包括:从所述损失函数中得到所述连续语音合成结果对应的连续语音合成频谱,以及所述参考输出语音合成结果对应的参考输出语音合成频谱;将所述连续语音合成频谱与所述参考输出语音合成频谱进行比较,利用比较结果,得到所述待训练全卷积语音合成模型的模型梯度;沿所述待训练全卷积语音合成模型的模型梯度下降的方向,对所述待训练全卷积语音合成模型的模型参数进行调整。5.根据权利要求1所述的方法,其特征...

【专利技术属性】
技术研发人员:马达标
申请(专利权)人:上海优扬新媒信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1