基于迁移学习的歌声合成方法、装置及存储介质制造方法及图纸

技术编号:21895636 阅读:30 留言:0更新日期:2019-08-17 15:59
本发明专利技术涉及语言信号处理领域,本发明专利技术提出一种基于迁移学习的歌声合成方法、装置及存储介质,其中的方法包括:基于语音数据库获取读模型训练数据;基于读模型训练数据训练读模型,读模型输出与语音特征及语音标签数据对应的声音声学特征;获取唱模型训练数据,基于唱模型训练数据创建唱模型;将待合成歌声的歌词输入读模型,生成与歌词对应的目标声音声学参数,同时将待合成的乐谱特征和读模型输出的与歌词对应的声音声学参数输入唱模型,输出目标歌声声学参数;通过声码器将目标歌声声学参数转换为歌声输出。本发明专利技术通过将歌声合成分为读与唱两个步骤,能够在有限的歌声数据下,学习出更好的歌声合成效果。

Method, Device and Storage Medium of Song Synthesis Based on Transfer Learning

【技术实现步骤摘要】
基于迁移学习的歌声合成方法、装置及存储介质
本专利技术涉及语言信号处理
,尤其涉及一种基于迁移学习的歌声合成方法、装置及计算机可读存储介质。
技术介绍
歌声合成是提供乐谱与歌词,机器自动合成出拟人的歌声的过程。传统的歌声合成与语音合成非常类似,不同的是歌声合成引入了乐谱信息,其合成的声音不仅与歌词相关,而且与乐谱也有着很大的联系。主流的歌声合成算法都是从语音合成算法中移植过来的,乐谱信息也只是作为数据特征的一部分融入到算法训练与合成过程中。但是,与语音合成相比较,歌声合成引入的乐谱信息增加了数据的复杂度,而且歌声的发音规律也是更加的复杂多变,这些因素都增加了歌声合成的难度。常规的,我们可以通过录音更多的歌声数据,使用更复杂的声学模型,来达到比较好的合成效果。然而,录音的歌声数据需要耗费人力、财力,使用更复杂的声学模型也会加长训练时长、提升训练难度。可知,现有的歌声合成方法,不仅需要大量的歌声数据,而且合成效果差,准确度低。
技术实现思路
本专利技术提供一种基于迁移学习的歌声合成方法、电子装置及计算机可读存储介质,其主要目的在于通过有限的歌声数据,合成出效果更好的歌声。为实现上述目的,本专利技术提供一种基于迁移学习的歌声合成方法,应用于电子装置,所述方法包括:基于语音数据库获取读模型训练数据,所述读模型训练数据包括语音特征及对应的语音标签数据;基于所述读模型训练数据训练读模型,所述读模型输出与所述语音特征及语音标签数据对应的声音声学特征;获取唱模型训练数据,所述唱模型训练数据包括从乐谱中提取出来的乐谱特征、从与所述乐谱对应的歌声数据中提取的样本歌声声学参数,以及从读模型中输出的样本声音声学参数;基于唱模型训练数据创建唱模型;将待合成歌声的歌词输入所述读模型,生成与所述歌词对应的目标声音声学参数,同时将待合成的乐谱特征和读模型输出的与所述歌词对应的目标声音声学参数输入所述唱模型,输出目标歌声声学参数;通过声码器将所述目标歌声声学参数转换为歌声输出。此外,优选地,所述语音数据库中的语音数据包括由录制的人声数据组成的语音录音数据以及与所述语音录音数据对应的语音标签数据;所述语音特征为从与所述语音录音数据对应的每段录制声音中提取出的基频特征与梅尔倒谱系数;所述语音标签数据包括与所述语音录音数据对应的每段录制声音的音节信息。此外,优选地,所述读模型和/或所述唱模型采用因果卷积网络、长短期记忆神经网络或双向循环神经网络。此外,优选地,当所述读模型采用因果卷积网络时:所述因果卷积网络包括10个隐含层,各隐含层的扩张系数分别为:1、2、4、8、16、32、64、128、256、512,状态通道数为32;在相邻的两隐含层之间了连接有一个残差层,所述残差层的状态通道数为32;所述各隐含层的输出会输入至一个全连接神经网络,所述全连接神经网络包括2个隐含层,状态通道数为512,激活函数为线性整流函数;所述因果卷积网络的输出层为全连接层,所述全连接层的激活函数为S型函数,其输出通道数根据预测输出确定。此外,优选地,所述基于所述读模型训练数据创建读模型的步骤包括:将所述语音标签数据作为所述读模型的条件输入;所述基于所述唱模型训练数据创建唱模型的步骤包括:将所述乐谱特征作为所述唱模型的条件输入。为实现上述目的,本专利技术还提供一种电子装置,该电子装置包括:存储器、处理器,所述存储器中包括基于迁移学习的歌声合成程序,所述基于迁移学习的歌声合成程序被所述处理器执行时实现如下步骤:基于语音数据库获取读模型训练数据,所述读模型训练数据包括语音特征及对应的语音标签数据;基于所述读模型训练数据训练读模型,所述读模型输出与所述语音特征及语音标签数据对应的声音声学特征;获取唱模型训练数据,所述唱模型训练数据包括从乐谱中提取出来的乐谱特征、从与所述乐谱对应的歌声数据中提取的样本歌声声学参数,以及从读模型中输出的样本声音声学参数;基于唱模型训练数据创建唱模型;将待合成歌声的歌词输入所述读模型,生成与所述歌词对应的目标声音声学参数,同时将待合成的乐谱特征和读模型输出的与所述歌词对应的目标声音声学参数输入所述唱模型,输出目标歌声声学参数;通过声码器将所述目标歌声声学参数转换为歌声输出。此外,优选地,所述语音数据库中的语音数据包括由录制的人声数据组成的语音录音数据以及与所述语音录音数据对应的语音标签数据;所述语音特征为从与所述语音录音数据对应的每段录制声音中提取出的基频特征与梅尔倒谱系数;所述语音标签数据包括与所述语音录音数据对应的每段录制声音的音节信息。此外,优选地,当所述读模型采用因果卷积网络时:所述因果卷积网络包括10个隐含层,各隐含层的扩张系数分别为:1、2、4、8、16、32、64、128、256、512,状态通道数为32;在相邻的两隐含层之间了连接有一个残差层,所述残差层的状态通道数为32;所述各隐含层的输出会输入至一个全连接神经网络,所述全连接神经网络包括2个隐含层,状态通道数为512,激活函数为线性整流函数;所述因果卷积网络的输出层为全连接层,所述全连接层的激活函数为S型函数,其输出通道数根据预测输出确定。此外,优选地,所述基于所述读模型训练数据创建读模型的步骤包括:将所述语音标签数据作为所述读模型的条件输入;所述基于所述唱模型训练数据创建唱模型的步骤包括:将所述乐谱特征作为所述唱模型的条件输入。为实现上述目的,本专利技术还提供一种计算机可读存储介质,所述计算机可读存储介质中包括基于迁移学习的歌声合成程序,所述基于迁移学习的歌声合成程序被处理器执行时,实现如上所述的基于迁移学习的歌声合成方法的步骤。本专利技术提出的基于迁移学习的歌声合成方法、电子装置及计算机可读存储介质,通过语音合成领域的语音数据库,创建读模型和唱模型,待合成歌声的歌词通过读模型处理后,形成相应的目标声音声学参数;同时,待合成歌声的乐谱,在提取其乐谱特征后,与声音声学参数或特征、目标歌声声学参数一同输入唱模型,通过唱模型输出合成的目标歌声声学参数,该方案能够避免使用复杂的声学模型,且可实现较好的歌声合成效果。附图说明图1为根据本专利技术基于迁移学习的歌声合成方法具体实施例的应用环境示意图;图2为因果卷积网络的结构示意图一;图3为因果卷积网络的结构示意图二;图4为图1中基于迁移学习的歌声合成程序具体实施例的模块示意图;图5为根据本专利技术基于迁移学习的歌声合成方法具体实施例的流程图;图6为根据本专利技术基于迁移学习的歌声合成方法具体实施例的流程框图。本专利技术目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。具体实施方式应当理解,此处所描述的具体实施例仅仅用以解释本专利技术,并不用于限定本专利技术。本专利技术提供一种基于迁移学习的歌声合成方法,应用于一种电子装置1。参照图1所示,为本专利技术基于迁移学习的歌声合成方法具体实施例的应用环境示意图。在本实施例中,电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。该电子装置1包括:处理器12、存储器11、网络接口14及通信总线15。存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器11等的非易失性存储介质。在一些实施例中,所述可读存储介质可以是所述电子装置1的本文档来自技高网...

【技术保护点】
1.一种基于迁移学习的歌声合成方法,应用于电子装置,其特征在于,所述方法包括:基于语音数据库获取读模型训练数据,所述读模型训练数据包括语音特征及对应的语音标签数据;基于所述读模型训练数据训练读模型,所述读模型输出与所述语音特征及语音标签数据对应的声音声学特征;获取唱模型训练数据,所述唱模型训练数据包括从乐谱中提取出来的乐谱特征、从与所述乐谱对应的歌声数据中提取的样本歌声声学参数,以及从读模型中输出的样本声音声学参数;基于唱模型训练数据训练唱模型;将待合成歌声的歌词输入所述读模型,生成与所述歌词对应的目标声音声学参数,同时将待合成的乐谱特征和读模型输出的与所述歌词对应的目标声音声学参数输入所述唱模型,输出目标歌声声学参数;通过声码器将所述目标歌声声学参数转换为歌声输出。

【技术特征摘要】
1.一种基于迁移学习的歌声合成方法,应用于电子装置,其特征在于,所述方法包括:基于语音数据库获取读模型训练数据,所述读模型训练数据包括语音特征及对应的语音标签数据;基于所述读模型训练数据训练读模型,所述读模型输出与所述语音特征及语音标签数据对应的声音声学特征;获取唱模型训练数据,所述唱模型训练数据包括从乐谱中提取出来的乐谱特征、从与所述乐谱对应的歌声数据中提取的样本歌声声学参数,以及从读模型中输出的样本声音声学参数;基于唱模型训练数据训练唱模型;将待合成歌声的歌词输入所述读模型,生成与所述歌词对应的目标声音声学参数,同时将待合成的乐谱特征和读模型输出的与所述歌词对应的目标声音声学参数输入所述唱模型,输出目标歌声声学参数;通过声码器将所述目标歌声声学参数转换为歌声输出。2.根据权利要求1所述的基于迁移学习的歌声合成方法,其特征在于,所述语音数据库中的语音数据包括由录制的人声数据组成的语音录音数据以及与所述语音录音数据对应的语音标签数据;所述语音特征为从与所述语音录音数据对应的每段录制声音中提取出的基频特征与梅尔倒谱系数;所述语音标签数据包括与所述语音录音数据对应的每段录制声音的音节信息。3.根据权利要求1所述的基于迁移学习的歌声合成方法,其特征在于,所述读模型和/或所述唱模型采用因果卷积网络、长短期记忆神经网络或双向循环神经网络。4.根据权利要求3所述的基于迁移学习的歌声合成方法,其特征在于,当所述读模型采用因果卷积网络时:所述因果卷积网络包括10个隐含层,各隐含层的扩张系数分别为:1、2、4、8、16、32、64、128、256、512,状态通道数为32;在相邻的两隐含层之间了连接有一个残差层,所述残差层的状态通道数为32;所述各隐含层的输出会输入至一个全连接神经网络,所述全连接神经网络包括2个隐含层,状态通道数为512,激活函数为线性整流函数;所述因果卷积网络的输出层为全连接层,所述全连接层的激活函数为S型函数,其输出通道数根据预测输出确定。5.根据权利要求1所述的基于迁移学习的歌声合成方法,其特征在于,所述基于所述读模型训练数据创建读模型的步骤包括:将所述语音标签数据作为所述读模型的条件输入;所述基于所述唱模型训练数据创建唱模型的步骤包括:将所述乐谱特征作为所述唱模型的条件输入。6.一种电子装置,其特征在于,该电子装置包括:存储...

【专利技术属性】
技术研发人员:王健宗曾振罗剑
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1