基于单调性约束函数进行序列语音合成的方法及装置制造方法及图纸

技术编号:34858082 阅读:39 留言:0更新日期:2022-09-08 08:00
本申请实施例属于人工智能领域,应用于序列语音合成领域中,涉及一种基于单调性约束函数进行序列语音合成的方法,包括获取待合成序列文本;基于编码器获取编码序列;通过解码器获取特征序列;通过具有单调性约束的注意力机制,获取各特征值对应的注意力权重值;将各特征值与其对应的注意力权重值进行加权平均,获取上下文向量;通过各特征值和其对应的上下文向量,实现序列语音合成。本申请还提供一种基于单调性约束函数进行序列语音合成的装置、计算机设备及存储介质。本申请相较于传统序列语音合成方法,训练合成过程简单,在保证注意力机制的单调性情况下提升了对齐速度、减少了对齐问题,也提高了合成稳定性。也提高了合成稳定性。也提高了合成稳定性。

【技术实现步骤摘要】
基于单调性约束函数进行序列语音合成的方法及装置


[0001]本申请涉及人工智能和序列语音合成
,尤其涉及一种基于单调性约束函数进行序列语音合成的方法及装置。

技术介绍

[0002]序列到序列模型使用注意力机制来对齐输入和输出序列,是目前端到端语音合成的主要范式,端到端语音合成方法已经证明,合成语音在某些特定领域下的自然度可以与人类真实语音相媲美,尽管取得了这些成功,但同时基于注意力机制的对齐存在鲁棒性问题,会导致合成语音不完整,可能遗漏或重复某些字词,并难以泛化到长文本。
[0003]传统注意力机制主要基于内容信息,没有利用语音合成对齐的单调性和局部性,改进的混合注意力机制结合内容和位置信息,提升了对长文本的泛化能力,但其仍然存在偶发性的对齐问题,一些利用单调性的注意力机制提高了合成稳定性、提升了对齐速度和减少了对齐问题,却存在训练过程复杂等问题。

技术实现思路

[0004]本申请实施例的目的在于提出一种基于单调性约束函数进行序列语音合成的方法、装置、计算机设备及存储介质,以便于在训练过程简单的情况下,既能减少对齐本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单调性约束函数进行序列语音合成的方法,其特征在于,包括下述步骤:获取待进行语音合成的序列文本;基于预设编码器对所述序列文本进行编码,获取其映射在隐状态下的编码序列;通过预设解码器对所述编码序列进行特征值提取,获取特征序列;将所述特征序列传入具有单调性约束函数的注意力机制,获取所述特征序列中各特征值对应的注意力权重值;将所述特征序列中各特征值与其对应的注意力权重值进行加权平均,获取上下文向量;将所述特征序列中当前特征值和所述当前特征值对应的上下文向量作为序列语音合成参数,合成当前特征值对应的序列语音片段,将当前特征值对应的序列语音片段与前一个特征值获取到的序列语音合成结果进行拼接,获取当前特征值对应的序列语音合成结果,完成当前特征值处的序列语音合成。2.根据权利要求1所述的基于单调性约束函数进行序列语音合成的方法,其特征在于,所述将所述特征序列传入具有单调性约束函数的注意力机制之前,所述方法还包括:将softplus函数和sigmoid函数作为所述注意力机制的单调性约束函数。3.根据权利要求1所述的基于单调性约束函数进行序列语音合成的方法,其特征在于,在将所述特征序列传入具有单调性约束函数的注意力机制之前,还包括:预先在所述预设解码器内设置两层前馈神经网络MLP;通过其中一层前馈神经网络MLP,获取所述特征序列中两个相邻特征值间的变量值;通过另一层前馈神经网络MLP,获取所述特征序列中包括当前特征值在内的之前所有特征值的标准差;基于softplus函数对所述变量值和所述标准差分别进行正值化处理。4.根据权利要求3所述的基于单调性约束函数进行序列语音合成的方法,其特征在于,所述编码和解码过程,由两层循环神经网络RNN完成,将其中一层循环神经网络RNN作为所述编码器执行编码过程,另一层循环神经网络RNN作为所述解码器执行解码过程,所述预先在所述预设解码器内设置两层前馈神经网络MLP,具体为:将两层所述前馈神经网络MLP设置在执行解码过程的所述循环神经网络RNN的最后一个隐藏层之前。5.根据权利要求3所述的基于单调性约束函数进行序列语音合成的方法,其特征在于,所述将所述特征序列传入具有单调性约束的注意力机制,获取所述特征序列中各特征值对应的注意力权重值,具体包括:将经正值化处理后的所述变量值和所述标准差作为参数,依次传入预设第一算法公式和预设第二算法公式;将所述第一算法公式和第二算法公式的运算结果作为相对参数,分别传入所述sigmoid函数,并进行差值运算,获取差值运算结果作为所述注意力权重值。6.根据权利要求5所述的基于单调性约束函数进行序列语音合成的方法,其特征在于,所述第一算法公式和第二算法公式,具体为:第一算法公式为:第二算法公式为:其中,u
i<...

【专利技术属性】
技术研发人员:郭洋王健宗程宁
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1