跨语种歌曲合成方法及其装置、设备、介质、产品制造方法及图纸

本申请公开一种跨语种歌曲合成方法及其装置、设备、介质、产品，所述方法包括：获取目标歌曲的目标乐谱及合成配置信息，所述合成配置信息包括歌曲演唱语种、目标音高对象以及目标音色对象；根据所述歌曲演唱语种调用其相对应的音素词典对所述目标乐谱进行编码，获得目标歌曲的音素特征信息和音序特征信息；采用声学模型，根据歌曲合成特征信息进行编解码，获得梅尔频谱信息，所述歌曲合成特征信息包含音素特征信息、音序特征信息、所述目标音高对象的音高特征信息以及所述目标音色对象的音色特征信息；采用声码器将梅尔频谱信息转换为目标歌曲。本申请可实现跨语种的歌曲合成服务，利用同一声学模型按需服务于多种演唱语种的目标歌曲的合成。标歌曲的合成。标歌曲的合成。

【技术实现步骤摘要】
跨语种歌曲合成方法及其装置、设备、介质、产品


[0001]本申请涉及音频处理
，尤其涉及一种跨语种歌曲合成方法及其相应的装置、计算机设备、计算机可读存储介质，以及计算机程序产品。

技术介绍

[0002]目前，歌曲合成技术通常采用神经网络模型来实现，具体是采用预训练的声学模型和声码器来实现，其基本原理均是根据相关乐谱将多种声学特征结合来获得相应的歌唱音频数据。
[0003]一方面，由于声学模型需经预训练，而相关的歌曲版权费用比较高昂，因此，歌曲合成高昂的实现成本为相应的技术实现提取更高要求，一个好的技术实现方案，有利于节约相应的训练成本是关键。
[0004]另一方面，一种现实需求中，常希望能够针对同一歌曲合成出不同演唱语种的歌曲，例如，用户希望基于自身的音色演唱同一歌曲的不同语种的版本，在传统技术框架下，需要采用利用不语种训练的声学模型分别为用户合成歌曲，而不同语种分别训练的声学模型，其所需的训练样本的成本以及训练过程中的种种困难可想而知。
[0005]此外，现有技术中，各种语言的声学模型各自为政，无法实现跨语种服务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨语种歌曲合成方法，其特征在于，包括如下步骤：获取目标歌曲的目标乐谱及合成配置信息，所述合成配置信息包括歌曲演唱语种、目标音高对象以及目标音色对象；根据所述歌曲演唱语种调用其相对应的音素词典对所述目标乐谱进行编码，获得目标歌曲的音素特征信息和音序特征信息，所述音素词典包含其相应的语种的音素与编码数值之间的映射关系；采用预训练的声学模型，根据歌曲合成特征信息进行编解码，获得梅尔频谱信息，所述歌曲合成特征信息包含所述音素特征信息、音序特征信息、对应所述目标音高对象生成的音高特征信息以及对应所述目标音色对象生成的预设音色特征信息；采用声码器将所述梅尔频谱信息转换为目标歌曲相对应的音频数据。2.根据权利要求1所述的跨语种歌曲合成方法，其特征在于，根据所述歌曲演唱语种调用其相对应的音素词典对所述目标乐谱进行编码，获得目标歌曲的音素特征信息和音序特征信息，包括如下步骤：根据所述歌曲演唱语种，从音素词典库中确定与该演唱语种相对应的音素词典，所述音素词典库包含不同演唱语种相对应的多个音素词典；根据所述目标乐谱中的歌词文本对应所述演唱语种的歌词发音标注信息中的各个音素，从所述音素词典中查找所述各个音素相对应的编码数值，构造出所述歌词相对应的音素特征信息；根据所述各个音素的位置信息编码出与所述音素特征信息相对应的音序特征信息。3.根据权利要求1所述的跨语种歌曲合成方法，其特征在于，采用预训练的声学模型，根据歌曲合成特征信息进行编解码，获得梅尔频谱信息之前，包括如下步骤：根据所述目标乐谱中的旋律标注信息生成目标歌曲的音符特征信息；将所述目标歌曲的音符特征信息、音素特征信息以及音序特征信息输入预训练的匹配所述目标对象的控制参数的音高生成模型，以生成所述目标音高对象的音高特征信息；根据所述目标音色对象从预设的音色特征库中调用该目标音色对象的音色特征信息；将所述音素特征信息、音序特征信息、目标音高对象的音高特征信息以及目标音色对象的音色特征信息拼接为歌曲合成特征信息。4.根据权利要求1所述的跨语种歌曲合成方法，其特征在于，采用预训练的声学模型，根据歌曲合成特征信息进行编解码，获得梅尔频谱信息，包括如下步骤：采用声学模型中的编码网络对歌曲合成特征信息集进行编码处理，获得编码后的编码特征向量；对编码后的编码特征向量进行降采样处理，得到降采样后的编码特征向量；采用注意力机制对降采样后的编码特征向量进行特征重组处理，得到根据上下文信息重组后的编码特征向量；采用声学模型中的解码网络对重组后的编码特征向量进行解码处理，得到梅尔频谱信息。5.根据权利要求4所述的跨语种歌曲合成方法，其特征在于，采用声学模型中的解码网络对重组后的编码特...

【专利技术属性】
技术研发人员：劳振锋，
申请(专利权)人：广州酷狗计算机科技有限公司，
类型：发明
国别省市：