歌声合成方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了一种歌声合成方法、装置、计算机设备及存储介质，应用于计算机技术领域。本发明专利技术提供的方法包括：获取目标歌曲的音乐数据，通过预设的编码器对所述音乐数据进行编码，生成音乐编码数据；将音乐数据编码输入到注意力机制网络进行编码，生成特征信息；将特征信息输入到歌声合成模型中，并生成第一声谱数据；对所述第一声谱数据进行解码，得到第一线性谱数据，并通过傅里叶变换方式，将所述第一线性谱数据转换成目标歌曲音频。本发明专利技术通过少量的训练数据训练得到歌声合成模型，提高了目标歌曲音频的合成效率，同时保证目标歌曲音频的合成效果。频的合成效果。频的合成效果。

【技术实现步骤摘要】
歌声合成方法、装置、计算机设备及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种歌声合成方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着计算机技术的发展，语音合成技术在趋向成熟，在交通、教育。医疗和社交等领域得到了广泛的应用。如交通语音导航、语言学习发音、医疗语音控制等，便利了人们的工作和生活。
[0003]进一步的歌声合成系统(singing voice synthesis，SVS)是一种根据给定的乐谱和歌词信息生成自然的歌声的系统。SVS要求每个音节的持续时间和音调具有可控性。
[0004]目前的歌声合成系统采用深度神经网络的方式，将目标歌手的音频数据作为训练数据，输入到神经网络中进行训练，以采用该歌手的声音合成音频。
[0005]但是，这种方法需要大量的训练数据，且只能针对同一个歌手进行训练，得到同一个歌手的歌声合成音频。这种方法导致歌声合成系统的适用性不高，且需要大量训练数据，合成歌声的效率不高。

技术实现思路

[0006]本专利技术提供一种歌声合成方法、装置、计算机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种歌声合成方法，其特征在于，包括：获取目标歌曲的音乐数据，通过预设的编码器对所述音乐数据进行编码，生成音乐编码数据，其中，所述音乐数据包括歌词数据、声谱数据、音调数据以及目标歌手的音频数据，所述音乐编码包括歌词编码、声谱编码、音调编码和音频编码；将所述歌词编码、音频编码输入到第一注意力机制模型进行编码，得到音色特征信息；将所述音频编码、声谱编码、音调编码输入到第二注意力机制模型进行编码，得到风格特征信息；将所述音色特征信息与所述风格特征信息输入到歌声合成模型中进行声谱合成，得到第一声谱数据；对所述第一声谱数据进行解码，得到第一线性谱数据，并通过傅里叶变换方式，将所述第一线性谱数据转换成目标歌曲音频。2.根据权利要求1所述的歌声合成方法，其特征在于，所述通过预设的编码器对所述音乐数据进行编码，生成音乐编码数据的步骤还包括：获取所述歌词数据的音素特征，并通过所述文本编码器，生成所述歌词编码；获取所述音频数据的声纹特征，并通过所述歌手身份编码器，生成所述音频数据的音频编码；获取所述声谱数据的基频特征，并通过所述梅尔谱编码器，生成所述声谱数据的声谱编码；获取所述音调数据的音高特征，并通过所述音调编码器，生成所述音调数据的音调编码。3.根据权利要求1所述的歌声合成方法，其特征在于，所述将所述歌词编码、音频编码输入到第一注意力机制模型进行编码，得到音色特征信息的步骤包括：通过所述第一注意力机制模型，对所述歌词编码、所述音频编码进行处理，得到共振峰掩码向量；通过共振峰掩码解码器对所述共振峰掩码向量进行解码，得到所述音色特征信息。4.根据权利要求1所述的歌声合成方法，其特征在于，所述将所述音频编码、声谱编码、音调编码输入到第二注意力机制模型进行编码，得到风格特征信息的步骤包括：通过所述第二注意力机制模型，对所述音频编码、声谱编码、音调编码进行处理，生成音调特征向量；通过音调解码器对所述音调特征向量进行解码，得到所述风格特征信息。5.根据权利要求1至4任一项所述的歌声合成方法，其特征在于，所述将所述音色特征信息与所述风格特征信息输入到歌声合成模型中进行声谱合成，得到第一声谱数据的步骤包括：采用时值编码器对时值特征进行编码，得到时值特征向量；将所述时值特征向量、所述音色特征信息以及所述风格特征信息输入至所述歌声合成模...

【专利技术属性】
技术研发人员：张旭龙，王健宗，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：