语音合成方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:35640456 阅读:14 留言:0更新日期:2022-11-19 16:31
本申请涉及一种语音合成方法、装置、计算机设备和存储介质。所述方法包括:通过对中文文本对应的音素特征信息进行编码,确定待预测声谱的编码段;在每轮迭代预测中,确定本轮预测的所述编码段对应的当前声谱特征、以及本轮预测所述当前声谱特征时使用的注意力权重;在所述注意力权重达到预设权重阈值的情况下,基于所述当前声谱特征的长度对所述编码段对应的预设解码次数进行调整,得到调整后的预设解码次数;在迭代预测的轮数达到所述预设解码次数的情况下,停止迭代,并将所述当前声谱特征确定为所述编码段对应的目标声谱特征;所述目标声谱特征用于合成所述中文文本对应的语音。采用本方法能够提高语音合成的准确性。采用本方法能够提高语音合成的准确性。采用本方法能够提高语音合成的准确性。

【技术实现步骤摘要】
语音合成方法、装置、计算机设备和存储介质


[0001]本申请涉及语音处理
,特别是涉及一种语音合成方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着语音处理技术的发展,出现了语音合成技术。语音合成技术能够将计算机自己产生的、或外部输入的文字信息转变为可以听得懂的、流利的汉语口语输出,从而实现计算机设备的语音通信。
[0003]传统的基于自回归的语音合成模型需要大量的训练数据,如果训练数据不够多,语音合成模型进行声谱预测时容易出现解码提前结束或者无法结束的情况,造成声谱预测错误,从而导致无法准确进行语音合成。

技术实现思路

[0004]基于此,有必要针对上述技术问题,提供一种能够提高准确性的语音合成方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面,本申请提供了一种语音合成方法。所述方法包括:
[0006]通过对中文文本对应的音素特征信息进行编码,确定待预测声谱的编码段;
[0007]在每轮迭代预测中,确定本轮预测的所述编码段对应的当前声谱特征、以及本轮预测所述当前声谱特征时使用的注意力权重;
[0008]在所述注意力权重达到预设权重阈值的情况下,基于所述当前声谱特征的长度对所述编码段对应的预设解码次数进行调整,得到调整后的预设解码次数;
[0009]在迭代预测的轮数达到所述预设解码次数的情况下,停止迭代,并将所述当前声谱特征确定为所述编码段对应的目标声谱特征;所述目标声谱特征用于合成所述中文文本对应的语音
[0010]在其中一个实施例中,所述通过对中文文本对应的音素特征信息进行编码,确定待预测声谱的编码段包括:
[0011]确定中文文本对应的音素特征信息;
[0012]对所述音素特征信息进行编码,得到所述中文文本对应的文本编码序列;
[0013]按照预设时间步,从文本编码序列中确定待进行声谱预测的编码段。
[0014]在其中一个实施例中,所述方法还包括:
[0015]在迭代预测的轮数未达到所述预设解码次数的情况下,将下一轮作为本轮,返回确定本轮预测的所述编码段对应的当前声谱特征、以及本轮预测所述当前声谱特征时使用的注意力权重的步骤继续执行。
[0016]在其中一个实施例中,所述方法还包括计算注意力权重的步骤;所述计算注意力权重的步骤包括:
[0017]在每轮迭代预测中,确定本轮预测当前声谱特征时使用的当前注意力向量;
[0018]基于所述当前注意力向量与所述编码段之间的相似度,计算所述当前注意力向量对应的注意力权重;所述注意力权重用于指示对所述注意力向量进行特征提取以得到当前特征向量;所述当前特征向量用于预测当前声谱特征。
[0019]在其中一个实施例中,所述在所述注意力权重达到预设权重阈值的情况下,基于所述当前声谱特征的长度对所述编码段对应的预设解码次数进行调整,得到调整后的预设解码次数包括:
[0020]在所述注意力权重达到预设权重阈值的情况下,确定所述编码段对应的解码轮次偏移值;
[0021]根据所述解码轮次偏移值和所述当前声谱特征的长度,对所述编码段对应的预设解码次数进行调整,得到调整后的预设解码次数。
[0022]在其中一个实施例中,所述方法还包括:
[0023]基于所述当前声谱特征预测所述编码段对应的结束标识信息;
[0024]在所述结束标识信息无法满足预设结束条件的情况下,将迭代预测的轮数与所述预设解码次数进行比对,并执行所述在迭代预测的轮数与所述预设解码次数相匹配的情况下,停止迭代的步骤。
[0025]在其中一个实施例中,所述方法还包括:
[0026]在所述结束标识信息满足预设结束条件的情况下,停止迭代,并将所述当前声谱特征确定为所述编码段对应的目标声谱特征。
[0027]第二方面,本申请还提供了一种语音合成装置。所述装置包括:
[0028]编码模块,用于通过对中文文本对应的音素特征信息进行编码,确定待预测声谱的编码段;
[0029]解码模块,在每轮迭代预测中,确定本轮预测的所述编码段对应的当前声谱特征、以及本轮预测所述当前声谱特征时使用的注意力权重;在所述注意力权重达到预设权重阈值的情况下,基于所述当前声谱特征的长度对所述编码段对应的预设解码次数进行调整,得到调整后的预设解码次数;在迭代预测的轮数达到所述预设解码次数的情况下,停止迭代,并将所述当前声谱特征确定为所述编码段对应的目标声谱特征;所述目标声谱特征用于合成所述中文文本对应的语音。
[0030]在其中一个实施例中,所述编码模块,还用于确定中文文本对应的音素特征信息;对所述音素特征信息进行编码,得到所述中文文本对应的文本编码序列;按照预设时间步,从文本编码序列中确定待进行声谱预测的编码段。
[0031]在其中一个实施例中,所述解码模块,还用于在迭代预测的轮数未达到所述预设解码次数的情况下,将下一轮作为本轮,返回确定本轮预测的所述编码段对应的当前声谱特征、以及本轮预测所述当前声谱特征时使用的注意力权重的步骤继续执行。
[0032]在其中一个实施例中,所述解码模块,还用于在每轮迭代预测中,确定本轮预测当前声谱特征时使用的当前注意力向量;基于所述当前注意力向量与所述编码段之间的相似度,计算所述当前注意力向量对应的注意力权重;所述注意力权重用于指示对所述注意力向量进行特征提取以得到当前特征向量;所述当前特征向量用于预测当前声谱特征。
[0033]在其中一个实施例中,所述解码模块,还用于在所述注意力权重达到预设权重阈值的情况下,确定所述编码段对应的解码轮次偏移值;根据所述解码轮次偏移值和所述当
前声谱特征的长度,对所述编码段对应的预设解码次数进行调整,得到调整后的预设解码次数。
[0034]在其中一个实施例中,所述解码模块,还用于基于所述当前声谱特征预测所述编码段对应的结束标识信息;在所述结束标识信息无法满足预设结束条件的情况下,将迭代预测的轮数与所述预设解码次数进行比对,并执行所述在迭代预测的轮数与所述预设解码次数相匹配的情况下,停止迭代的步骤。
[0035]在其中一个实施例中,所述解码模块,还用于在所述结束标识信息满足预设结束条件的情况下,停止迭代,并将所述当前声谱特征确定为所述编码段对应的目标声谱特征。
[0036]第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现本申请所述方法各实施例中的步骤。
[0037]第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本申请所述方法各实施例中的步骤。
[0038]第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本申请所述方法各实施例中的步骤。
[0039]上述语本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种语音合成方法,其特征在于,所述方法包括:通过对中文文本对应的音素特征信息进行编码,确定待预测声谱的编码段;在每轮迭代预测中,确定本轮预测的所述编码段对应的当前声谱特征、以及本轮预测所述当前声谱特征时使用的注意力权重;在所述注意力权重达到预设权重阈值的情况下,基于所述当前声谱特征的长度对所述编码段对应的预设解码次数进行调整,得到调整后的预设解码次数;在迭代预测的轮数达到所述预设解码次数的情况下,停止迭代,并将所述当前声谱特征确定为所述编码段对应的目标声谱特征;所述目标声谱特征用于合成所述中文文本对应的语音。2.根据权利要求1所述的方法,其特征在于,所述通过对中文文本对应的音素特征信息进行编码,确定待预测声谱的编码段包括:确定中文文本对应的音素特征信息;对所述音素特征信息进行编码,得到所述中文文本对应的文本编码序列;按照预设时间步,从文本编码序列中确定待进行声谱预测的编码段。3.根据权利要求1所述的方法,其特征在于,所述方法还包括:在迭代预测的轮数未达到所述预设解码次数的情况下,将下一轮作为本轮,返回确定本轮预测的所述编码段对应的当前声谱特征、以及本轮预测所述当前声谱特征时使用的注意力权重的步骤继续执行。4.根据权利要求1所述的方法,其特征在于,所述方法还包括计算注意力权重的步骤;所述计算注意力权重的步骤包括:在每轮迭代预测中,确定本轮预测当前声谱特征时使用的当前注意力向量;基于所述当前注意力向量与所述编码段之间的相似度,计算所述当前注意力向量对应的注意力权重;所述注意力权重用于指示对所述注意力向量进行特征提取以得到当前特征向量;所述当前特征向量用于预测当前声谱特征。5.根据权利要求1所述的方法,其特征在于,所述在所述注意力权重达到预设权重阈值的情况下,基于所述当前声谱特征的长度对所述编码段对应的预设解码次数进行...

【专利技术属性】
技术研发人员:王启腾程杨詹维典徐伟张文锋朱煜
申请(专利权)人:招联消费金融有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1