端到端语音合成模型的优化方法及装置，电子设备制造方法及图纸

本发明专利技术提供了一种端到端语音合成模型的优化方法及装置，电子设备及存储介质，其中，方法包括：按照第一预设规则，对输入所述端到端语音合成模型中的文本所包含的音素进行第一软遮挡，生成第二文本；依次采用音素编码器对所述第二文本进行编码，采用可变信息预测器对编码后的所述第二文本进行预测处理后，得到第一输出；按照第二预设规则，对所述第一输出进行第二软遮挡；将经过所述第二软遮挡处理的所述第一输出，输入至预设解码器中解码得到梅尔谱。本发明专利技术提供的端到端语音合成模型的优化方法，对端到端语音合成模型的输入和解码器输入分别添加软遮挡，从而增加数据扰动，能够提升对端到端语音合成模型的鲁棒性。

【技术实现步骤摘要】
端到端语音合成模型的优化方法及装置，电子设备
本专利技术涉及语音合成
，特别是涉及一种端到端语音合成模型的优化方法及装置，电子设备。
技术介绍
一般而言如图1所示，TTS(text-to-speech，语音合成)分为文本分析(例如，文本正则化、多音字消歧等)模块、韵律预测模块、时长模型、声学模型和声码器等几个部分。处理过的文本经过韵律预测模块，输出带有韵律符号的文本，再进行字音转换等环节。目前主流的端到端模型，将时长模型和声学模型融合到一个模型中，文本通过前端生成音素信息，而端到端模型以音素信息作为输入，生成梅尔谱，再外接一个声码器，把声学特征信息转化为音频。在语音合成领域，常用的端到端模型分为两类：自回归模型和全并行模型。TTS技术可以实现根据文本生成音频。语音合成技术经历了三个主要发展阶段，分别为拼接、参数合成、端到端合成方式。目前，业界主流的合成技术为端到端，因为利用端到端的方法合成的声音，能很大程度上脱离机器感，自然度高，同时对录音数据量要求较低。但是端到端合成也存在一定问题，这与端到端模型纯黑盒的结构有关。比如，对于含有本文档来自技高网...

【技术保护点】
1.一种端到端语音合成模型的优化方法，其特征在于，所述方法包括：/n按照第一预设规则，对输入所述端到端语音合成模型中的文本所包含的音素进行第一软遮挡，生成第二文本；/n依次采用音素编码器对所述第二文本进行编码，采用可变信息预测器对编码后的所述第二文本进行预测处理后，得到第一输出；/n按照第二预设规则，对所述第一输出进行第二软遮挡；/n将经过所述第二软遮挡处理的所述第一输出，输入至预设解码器中解码得到梅尔谱。/n

【技术特征摘要】
1.一种端到端语音合成模型的优化方法，其特征在于，所述方法包括：
按照第一预设规则，对输入所述端到端语音合成模型中的文本所包含的音素进行第一软遮挡，生成第二文本；
依次采用音素编码器对所述第二文本进行编码，采用可变信息预测器对编码后的所述第二文本进行预测处理后，得到第一输出；
按照第二预设规则，对所述第一输出进行第二软遮挡；
将经过所述第二软遮挡处理的所述第一输出，输入至预设解码器中解码得到梅尔谱。


2.根据权利要求1所述的方法，其特征在于，所述按照第一预设规则，对输入所述端到端语音合成模型中的文本所包含的音素进行第一软遮挡，生成第二文本的步骤，包括：
按照所述端到端语音合成模型中的第一预设权重，对输入所述端到端语音合成模型中的文本所包含的音素进行遮挡；
通过检测网络预测出音素在所述文本中各位置上出现错误的第一概率；
依据所述第一概率和所述第一预设权重，确定第一校正权重，其中，所述第一校正权重作为下一次软遮挡时的第一预设权重；
针对所述文本中的每个位置，依据所述第一校正权重、预设的掩码特征对所述位置对应的音素进行遮挡。


3.根据权利要求1所述的方法，其特征在于，所述依据所述第一概率和所述第一预设权重，确定第一校正权重的步骤，包括：
将所述第一概率和所述第一预设权重的乘积，确定为所述第一校正权重。


4.根据权利要求1所述的方法，其特征在于，所述按照第二预设规则，对所述第一输出进行第二软遮挡的步骤，包括：
按照所述端到端语音合成模型中的第二预设权重，对所述第一输出进行遮挡；
通过检测网络预测出音素在所述第一输出中各位置上出现错误的第二概率；
依据所述第二概率和所述第二预设权重，确定第二校正权重，其中，所述校正权重作为下一次软遮挡时的第二预设权重；
针对所述第一输出中的每个位置，依据所述第二校正权重、预设的掩码特征对所述位置对应的音素进行遮挡。


5.根据权利要求1所述的方法，其特征在于，所述可变信息预测器包括：时长预测器、音高预测器以及能量预测器中的至少之一。


6.一种端到端语音合成模型的优化装置，应用于端到端语音合成模型，其特征在...

【专利技术属性】
技术研发人员：李睿端，李健，陈明，武卫东，
申请(专利权)人：北京捷通华声科技股份有限公司，
类型：发明
国别省市：北京;11