【技术实现步骤摘要】
韵律预测模型的训练方法及装置、语音合成方法及装置
[0001]本说明书实施例涉及计算机
，具体地，涉及韵律预测模型的训练方法及装置、语音合成方法及装置。
技术介绍
[0002]随着元宇宙概念成为热点，各大企业开始推进元宇宙相关的技术，其中虚拟数字人作为元宇宙概念中的重要组成部分，需要能像真人一样具备“能说会动”的能力，其中的“说”即是虚拟数字人的语音合成技术所实现的。真人说话与机器人说话的一大区别就在于真人的发音具有韵律特征，也就是说真人说话是具有停顿变化和节奏的。
[0003]迫切需要一种合理、可靠的方案，能有助于在语音合成中加入韵律，使得合成的语音更加自然拟真。
技术实现思路
[0004]本说明书实施例提供了韵律预测模型训练方案和语音合成方案，能有助于在语音合成中加入韵律，使得合成的语音更加自然拟真。
[0005]第一方面，本说明书实施例提供了一种韵律预测模型的训练方法，所述韵律预测模型包括编码器，所述方法包括：利用所述编码器对样本字符序列进行编码处理，得到编码结果；利用切分值预测网...
【技术保护点】
【技术特征摘要】
1.一种韵律预测模型的训练方法，所述韵律预测模型包括编码器，所述方法包括：利用所述编码器对样本字符序列进行编码处理，得到编码结果；利用切分值预测网络处理所述编码结果，从而针对各相邻字符之间的各位置，预测得到在该位置处进行语义切分的切分值；基于各位置的所述切分值，生成表征所述样本字符序列的句法的第一句法二叉树；利用预训练的结构化语言模型，针对所述样本字符序列生成第二句法二叉树；基于所述第一句法二叉树和所述第二句法二叉树，确定结构损失；以最小化总预测损失为目标，调整所述编码器的参数；其中,所述总预测损失基于所述结构损失确定、且与所述结构损失正相关。2.根据权利要求1所述的方法，其中，所述韵律预测模型还包括韵律预测网络，所述样本字符序列标注有训练标签，所述训练标签指示出所述相邻字符之间的位置在多个韵律标签中对应的韵律标签；以及所述方法还包括：利用所述韵律预测网络对所述相邻字符的编码进行预测处理，得到指示出所述相邻字符之间的位置对应的韵律标签的韵律预测结果；基于所述韵律预测结果和所述训练标签，确定韵律预测损失；基于所述韵律预测损失和所述结构损失，确定所述总预测损失，其与所述韵律预测损失正相关。3.根据权利要求2所述的方法，还包括：以最小化所述韵律预测损失为目标，调整所述韵律预测网络的参数。4.根据权利要求2所述的方法，其中，单个韵律标签用于表示以下中的任一项：非韵律边界、韵律词边界、韵律短语边界、语调短语边界。5.根据权利要求1所述的方法，其中，所述编码器包括预训练的编码器。6.根据权利要求1所述的方法，其中，所述样本字符序列中的字符包括汉字。7.根据权利要求1所述的方法，其中，所述基于各位置的所述切分值，生成表征所述样本字符序列的句法的第一句法二叉树，包括：对各位置的所述切分值进行排序，基于排序结果生成切分位置序列；其中，所述切分位置序列中依次排列的各切分位置所对应的切分值按由大到小的顺序排列，所述切分位置序列用于表征所述第一句法二叉树。8.根据权利要求1所述的方法，其中，所述利用预训练的结构化语言模型，针对所述样本字符序列生成第二句法二叉树，包括：利用所述结构化语言模型，计算所述样本字符序列中多个字符组合的表征及其组合概率；基于所述组合概率采样各个切分步骤的切分位置，基于采样的各切分位置，生成所述第二句法二叉树。9.根据权利要求1所述的方法，其中，所述第一句法二叉树和所述第二句法二叉树各自表征对所述样本字符序列进行语义切分过程的多个时间步各自的切分位置；以及所述基于所述第一句法二叉树和所述第二句法二叉树，确定结构损失，包括：对于所述多个时间步中的每个目标时间步，从所述第二句法二叉树中获取所述目标时
间步的目标切分位置和多个不切分位置；获取所述第一句法二叉树中与所述目标切分位置相同的切分位置的第一切分值和与所述多个不切分位置相同的切分位置的第二切分值；计算切分值排序损失，其与所述第一切分值负相关、与所述第二切分值正相关；基于计算出的各个切分值排序损失，确定所述结构损失。10.根据权利要求9所述的方法，其中，所述第二句法二叉树为一个样本句法二叉树；以及所述基于计算出的各个切分...
【专利技术属性】
技术研发人员：薛吕欣，胡翔，伏冠宇，金春祥，杨明晖，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。