歌曲合成方法及其装置、设备、介质、产品制造方法及图纸

本申请公开一种歌曲合成方法及其装置、设备、介质、产品，所述方法包括：确定目标歌曲相对应的第一音源对象、第二音源对象及目标乐谱，所述目标乐谱包括曲谱及其相应的歌词文本；调用音高生成模型根据目标乐谱中的曲谱及歌词文本生成融合了第一音源对象的音高变化特征的音高特征信息；获取目标歌曲相对应的合成特征信息集，所述合成特征信息集包括第一音源对象的音高特征信息、第二音源对象的音色特征信息、根据目标乐谱中的曲谱及歌词文本编码形成的音素特征信息以及音序特征信息；采用声学模型编解码获得梅尔频谱信息；采用声码器将梅尔频谱信息转换出音频数据。本申请能全自动合成出融合了第一音源对象的唱功和第二音源对象的音色的目标歌曲。对象的音色的目标歌曲。对象的音色的目标歌曲。

【技术实现步骤摘要】
歌曲合成方法及其装置、设备、介质、产品


[0001]本申请涉及音频处理
，尤其涉及一种歌曲合成方法及其相应的装置、计算机设备、计算机可读存储介质，以及计算机程序产品。

技术介绍

[0002]歌曲辅助创作相关的技术，借助语音合成技术来实现，由用户创作好旋律与和弦之后，由系统应用虚拟说话人为其生成相关的音频数据。这种系统的局限，主要体现为其辅助创作所得的虚拟歌曲中，虚拟说话人的声音通常不够自然，导致相应的创作歌曲无法得到听众的认可。
[0003]业内针对虚拟歌曲中存在的先天不足，存在一些探索和尝试，例如，在生产出虚拟歌曲的基础上，由用户指定某一音色，然后以该音色对虚拟歌曲进行转换，使虚拟歌曲以该音色进行演唱。由此，虚拟歌曲的播放效果倾向更为自然。即使如此，听众仍无法接受虚拟歌曲，原因在于虚拟歌曲中，每一音符的音调均无变化，而真人演唱歌曲时，针对每个音符的音调，是存在变化的，这些变化体现为演唱者的唱功，不同的演唱者具有不同的唱功，因此，每个演唱者的唱功相对而言是独特的。
[0004]同理，业内也曾就演唱者的唱功相对应的音高特征的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种歌曲合成方法，其特征在于，包括如下步骤：确定目标歌曲相对应的第一音源对象、第二音源对象及目标乐谱，所述目标乐谱包括曲谱及其相应的歌词文本；调用音高生成模型根据目标乐谱中的曲谱及歌词文本生成融合了第一音源对象的音高变化特征的音高特征信息；获取目标歌曲相对应的合成特征信息集，所述合成特征信息集包括第一音源对象的音高特征信息、第二音源对象的音色特征信息、根据目标乐谱中的曲谱及歌词文本编码形成的音素特征信息以及音序特征信息；采用声学模型对所述合成特征信息集进行编解码，获得梅尔频谱信息；采用声码器将梅尔频谱信息转换为目标歌曲人声演唱部分相对应的音频数据。2.根据权利要求1所述的歌曲合成方法，其特征在于，调用音高生成模型根据目标乐谱中的曲谱及歌词文本生成融合了第一音源对象的音高变化特征的音高特征信息，包括如下步骤：获取第一音源对象的身份标签；根据该身份标签调用相应的控制参数集配置所述音高生成模型，所述音高生成模型根据该第一音源对象的音频数据及其相应的目标乐谱为训练样本训练而生成关联于该第一音源对象的身份标签的所述控制参数集；由该音高生成模型根据所述目标乐谱中的曲谱及歌词文本生成融合了第一音源对象的音高变化特征的所述音高特征信息。3.根据权利要求1所述的歌曲合成方法，其特征在于，获取目标歌曲相对应的合成特征信息集，包括如下步骤：获取音高生成模型生成的音高特征信息；获取第二音源对象的身份标签相对应的音色特征信息，所述音色特征信息为调用预设的音色提取模型从所述第二音源对象的音频数据中提取出的声纹特征；将所述音高特征信息、音色特征信息、音素特征信息以及音序特征信息拼接为合成特征信息集。4.根据权利要求1所述的歌曲合成方法，其特征在于，采用声学模型对所述合成特征信息集进行编解码，获得梅尔频谱信息，包括如下步骤：采用声学模型中的编码网络对合成特征信息集进行编码处理，获得编码后的编码特征向量；对编码后的编码特征向量进行降采样处理...

【专利技术属性】
技术研发人员：劳振锋，陈传艺，黄杰雄，孙洪文，关迪聆，黄不群，
申请(专利权)人：广州酷狗计算机科技有限公司，
类型：发明
国别省市：