歌声合成模型训练方法、歌声合成方法、设备和存储介质技术

技术编号:41874444 阅读:15 留言:0更新日期:2024-07-02 00:26
本申请涉及一种歌声合成模型训练方法、歌声合成方法、计算机设备和存储介质。所述训练方法包括:获取第一样本歌声的第一歌声波形信息,以及第二样本歌声的第二歌声波形信息;第一样本歌声对应有曲谱信息,第二样本歌声未对应有曲谱信息;第一样本歌声的数量小于第二样本歌声;将第一歌声波形信息以曲谱信息输入待训练的歌声合成模型,利用第一歌声波形信息以及曲谱信息训练歌声合成模型的编码器与解码器,得到初始歌声合成模型;将第二歌声波形信息输入初始歌声合成模型,利用第二歌声波形信息训练初始歌声合成模型的解码器,得到训练完成的歌声合成模型。采用本方法能够减少歌声音频进行曲谱标注的时间,从而提高歌声合成模型的训练效率。

【技术实现步骤摘要】

本申请涉及音频处理,特别是涉及一种歌声合成模型训练方法、歌声合成方法、计算机设备和存储介质。


技术介绍

1、随着语音合成(tts,text to speech)技术的发展,出现了一种合成用户歌声的子领域,其与常规的语音合成的不同之处在于对节拍,音高要求较为严格,通过输入一段歌声的曲谱以及用户的音频数据,从而利用歌声的曲谱和用户的音色,来生成用该用户音色进行唱歌的歌声。

2、传统技术中,对用户歌声的合成通常是利用预先训练的歌声合成模型来实现,该模型可以通过使用大量携带有曲谱标注的音频数据进行训练得到。

3、然而上述训练歌声合成模型的方法,需要使用到大量携带有曲谱标注的音频数据来训练模型,因此会造成大量的数据清洗和处理工作,同时对音频数据进行曲谱标注耗时较长,并且该数据的获取难度较大,因此歌声合成模型的训练效率较低。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高歌声合成模型训练效率的歌声合成模型训练方法、歌声合成方法、装置、计算机设备、计算机可读存储介质和计算机程序产本文档来自技高网...

【技术保护点】

1.一种歌声合成模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述利用所述第一歌声波形信息以及所述第一样本歌声对应的曲谱信息训练所述待训练的歌声合成模型的编码器与解码器,得到初始歌声合成模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述待训练的歌声合成模型的编码器,包括:音色编码器、文本编码器以及后验编码器;

4.根据权利要求3所述的方法,其特征在于,所述将所述第一样本歌声的曲谱信息输入所述文本编码器,得到所述第一样本歌声对应的先验分布,包括:

5.根据权利要求2至4任意一项所述的方法,其特征...

【技术特征摘要】

1.一种歌声合成模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述利用所述第一歌声波形信息以及所述第一样本歌声对应的曲谱信息训练所述待训练的歌声合成模型的编码器与解码器,得到初始歌声合成模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述待训练的歌声合成模型的编码器,包括:音色编码器、文本编码器以及后验编码器;

4.根据权利要求3所述的方法,其特征在于,所述将所述第一样本歌声的曲谱信息输入所述文本编码器,得到所述第一样本歌声对应的先验分布,包括:

5.根据权利要求2至4任意一项所述的方法,其特征在于,所述根据所述第一预测波形信息与所述第一歌声波形信息的差异,以及所述先验分布与第一后验分布的差异,训练所述待训练的歌声合成模型的编码器与解码器,得到初始歌声合成模型,包括:

6.根据权利要求1所述的方法,其特征在于,所述利用所述第二歌声波形信息训练所述初始歌声合成模型的解码器,得到训练完成的歌声合成模型,包括:

7...

【专利技术属性】
技术研发人员:刘若澜陈梦
申请(专利权)人:腾讯音乐娱乐科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1