基于旋律的歌曲信息合成方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，提供一种基于旋律的歌曲信息合成方法、装置、设备及存储介质，用于提高对歌曲信息合成的普适性。基于旋律的歌曲信息合成方法包括：获取包括对数幅度谱的预处理语音信息和目标旋律信息，通过目标歌唱合成模型中的编码器，分别对对数幅度谱和目标旋律轮廓进行音素编码处理，得到语音音素和旋律音素；通过目标歌唱合成模型中的跳跃连接网络，将语音音素和旋律音素传递至目标歌唱合成模型中的解码器，解码器包括转置的一维卷积核的上采样层；通过解码器，对语音音素和旋律音素依次进行合成、音素筛选和解码处理，得到目标歌曲信息。此外，本发明专利技术还涉及区块链技术，预处理语音信息和目标旋律信息可存储于区块链中。

【技术实现步骤摘要】
基于旋律的歌曲信息合成方法、装置、设备及存储介质
本专利技术涉及人工智能的语言信号处理领域，尤其涉及一种基于旋律的歌曲信息合成方法、装置、设备及存储介质。
技术介绍
对于音乐作曲家，较为希望的是能够听到同一句歌词的多种旋律变化，以探索音频中的变化规律，因而随着计算机技术和人工智能的发展，如何将语音转换为歌唱旋律成为了一个发展和关注方向。目前，将语音转换为歌唱旋律的方式一般为基于模型的转换方式和基于模板的转换方式。基于模型的方式为：输入语音、乐谱和手动分割音素，通过同步信息和手动设计的模型，将语音和乐谱合成并输出歌唱旋律。基于模板的转换方式：输入语音和歌唱模板，将语音和歌唱模板进行匹配，提取语音和匹配的歌唱模板的特征，根据特征估算对齐语音合成的参数，根据参数输出歌唱旋律。但是，由于基于模型的转换方式中的手动分割音素，需要人工进行分割以及将每个音素与相应的音符关联，歌唱的输出需要音素同步信息，基于模板的转换方式中的歌唱模板对于质量的要求较大，且需要人工来创建，因而，基于模型的转换方式和基于模板的转换方式均需要额外的高质量的输入，其适本文档来自技高网...

【技术保护点】
1.一种基于旋律的歌曲信息合成方法，其特征在于，所述基于旋律的歌曲信息合成方法包括：/n获取预处理语音信息和目标旋律信息，所述预处理语音信息包括时域语音信号对应的对数幅度谱，所述目标旋律信息包括目标旋律轮廓；/n通过预置的目标歌唱合成模型中的编码器，分别对所述对数幅度谱和所述目标旋律轮廓进行音素编码处理，得到语音音素和旋律音素，所述编码器包括一维卷积的下采样层和基于门控循环单元的递归层；/n通过所述目标歌唱合成模型中的跳跃连接网络，将所述语音音素和所述旋律音素传递至所述目标歌唱合成模型中的解码器，其中，所述解码器中的上采样层的卷积核为转置的一维卷积核；/n通过所述解码器，对所述语音音素和所述旋...

【技术特征摘要】
1.一种基于旋律的歌曲信息合成方法，其特征在于，所述基于旋律的歌曲信息合成方法包括：
获取预处理语音信息和目标旋律信息，所述预处理语音信息包括时域语音信号对应的对数幅度谱，所述目标旋律信息包括目标旋律轮廓；
通过预置的目标歌唱合成模型中的编码器，分别对所述对数幅度谱和所述目标旋律轮廓进行音素编码处理，得到语音音素和旋律音素，所述编码器包括一维卷积的下采样层和基于门控循环单元的递归层；
通过所述目标歌唱合成模型中的跳跃连接网络，将所述语音音素和所述旋律音素传递至所述目标歌唱合成模型中的解码器，其中，所述解码器中的上采样层的卷积核为转置的一维卷积核；
通过所述解码器，对所述语音音素和所述旋律音素依次进行合成、音素筛选和解码处理，得到目标歌曲信息。


2.根据权利要求1所述的基于旋律的歌曲信息合成方法，其特征在于，所述获取预处理语音信息和目标旋律信息，包括：
获取时域语音信号，以及从预置数据库中匹配与所述时域语音信号对应的目标旋律轮廓，得到目标旋律信息；
对所述时域语音信号进行无声帧移除，得到候选语音信号；
对所述候选语音信号进行对数幅度谱转换，得到预处理语音信息。


3.根据权利要求2所述的基于旋律的歌曲信息合成方法，其特征在于，所述对所述时域语音信号进行无声帧移除，得到候选语音信号，包括：
对所述时域语音信号进行固定量的基音偏移处理，得到初始语音信号；
对所述初始语音信号依次进行声音能量判断、无声帧标记和无声帧移除，得到候选语音信号。


4.根据权利要求2所述的基于旋律的歌曲信息合成方法，其特征在于，所述对所述候选语音信号进行对数幅度谱转换，得到预处理语音信息，包括：
通过预置相位声码器，将所述候选语音信号的时长与所述目标旋律信息的旋律时长进行对齐处理，得到对齐时域语音信号；
通过预置转换函数，将所述对齐时域语音信号转换为对数幅度谱，得到预处理语音信号。


5.根据权利要求1所述的基于旋律的歌曲信息合成方法，其特征在于，所述通过所述解码器，对所述语音音素和所述旋律音素依次进行合成、音素筛选和解码处理，得到目标歌曲信息，包括：
通过所述解码器中的上采样层，分别对所述语音音素和所述旋律音素进行基于转置的一维卷积核的卷积处理，得到语音采样音素和旋律采样音素；
将所述语音采样音素和所述旋律采样音素进行组合，得到组合音素；
通过预置音素字典，从所述组合音素中匹配对应的目标音素，并对所述目标音素进行解码，得到目标歌曲信息。


6.根据权利要求1-5中任一项所述的基于旋律的歌曲信息合成方法，其特征在于，所述获取预处理语音信息和目标旋律信息之前，还包括：
获取经过预处理的训练语音信息和训练旋律信息，所述训练语音信息包括训练时域语音信号对应的训练对数幅度谱，所述训练旋律信息包括训练旋律轮廓；
通过预置...

【专利技术属性】
技术研发人员：刘奡智，陈政培，韩宝强，肖京，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44