本申请涉及人工智能技术领域，提供了一种歌声美化方法、装置、电子设备及计算机可读存储介质，方法包括：获取待美化歌声音频；对待美化歌声音频进行音频数据化处理得到待美化歌声梅尔频谱；基于音高调整网络模型对待美化歌声梅尔频谱进行音高调整处理得到音高特征信息；以及基于声乐提升网络模型对待美化歌声梅尔频谱进行声乐调整处理得到声乐特征信息；以及基于音色调整网络模型对待美化歌声梅尔频谱进行音色抽取处理得到音色特征信息；对音高特征信息、声乐特征信息和音色特征信息进行融合处理，得到歌声优化梅尔频谱；对歌声优化梅尔频谱进行转换处理得到歌声优化音频。通过上述技术方案能够快速灵活实现歌声美化处理。述技术方案能够快速灵活实现歌声美化处理。述技术方案能够快速灵活实现歌声美化处理。
【技术实现步骤摘要】
歌声美化方法、装置、电子设备及计算机可读存储介质
[0001]本申请实施例涉及但不限于人工智能
，尤其涉及一种歌声美化方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]随着深度学习技术的发展，人工智能驱动的歌声美化系统已经逐渐成为一个新的研究方向，吸引了大量来自学术界和工业界的目光；对于工业界而言，歌声美化系统潜力无限，特别是在直播以及全民歌唱的火热环境中，一个优秀的歌声美化系统能够极大地提升直播的效果以及歌唱的热情。对于学术界而言，歌声美化系统是一个全新的研究方向，具有巨大的研究价值，同时研究成果也是比较容易转换为产业界的实际产品。
[0003]目前解决歌声美化的方法大致分为两种：第一是由专业的音频工程师使用昂贵的商业调音软件进行歌声的调整；第二是由预先设定好当前歌曲的音调模板，在歌唱的时候，将歌声的音调调整为模板音调。然而这两种方法均存在不足，第一种方法较难做到实时性，第二种方法容易造成歌曲的歌唱风格同质化严重，不利于歌曲的多样化演奏。
技术实现思路
[0004]以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
[0005]为了解决上述
技术介绍
中提到的问题，本申请实施例提供了一种歌声美化方法、装置、电子设备及计算机可读存储介质，能够快速灵活实现歌声美化处理，给用户带来了较好的使用体验。
[0006]第一方面，本申请实施例提供了一种歌声美化方法，所述方法包括：
[0007]获取待美化歌声音频；
[0008]对所述待美化歌声音频进行音频数据化处理得到待美化歌声梅尔频谱；
[0009]基于预训练的音高调整网络模型对所述待美化歌声梅尔频谱进行音高调整处理得到音高特征信息；以及基于预训练的声乐提升网络模型对所述待美化歌声梅尔频谱进行声乐调整处理得到声乐特征信息；以及基于预训练的音色调整网络模型对所述待美化歌声梅尔频谱进行音色抽取处理得到音色特征信息；
[0010]对所述音高特征信息、所述声乐特征信息和所述音色特征信息进行融合处理，得到歌声优化梅尔频谱；
[0011]对所述歌声优化梅尔频谱进行转换处理得到歌声优化音频。
[0012]根据本申请的一些实施例，所述对所述待美化歌声音频进行音频数据化处理得到待美化歌声梅尔频谱，包括：
[0013]对所述待美化歌声音频进行预处理得到第一音频信号；
[0014]对所述第一音频信号进行快速傅里叶变换处理得到初始幅度谱；
[0015]对所述初始幅度谱进行滤波处理得到所述待美化歌声梅尔频谱。
[0016]根据本申请的一些实施例，所述音高调整网络模型包括音高提取器和音高修正器，所述基于预训练的音高调整网络模型对所述待美化歌声梅尔频谱进行音高调整处理得到音高特征信息，包括：
[0017]基于所述音高提取器对所述待美化歌声梅尔频谱进行音高轮廓提取，得到待美化歌声轮廓曲线；
[0018]基于所述音高修正器与预设的标准音高轮廓线对所述待美化歌声轮廓曲线进行修正处理，得到所述音高特征信息。
[0019]根据本申请的一些实施例，所述声乐提升网络模型包括声乐技巧编码器和声乐技巧提升器，所述基于预训练的声乐提升网络模型对所述待美化歌声梅尔频谱进行声乐调整处理得到声乐特征信息，包括：
[0020]基于所述声乐技巧编码器对所述待美化歌声梅尔频谱进行声乐技巧编码处理，得到声乐技巧信息；
[0021]基于所述声乐技巧提升器对所述声乐技巧信息进行调整处理，得到所述声乐特征信息。
[0022]根据本申请的一些实施例，所述音色调整网络模型包括音色编码器，所述基于预训练的音色调整网络模型对所述待美化歌声梅尔频谱进行音色抽取处理得到音色特征信息，包括：
[0023]基于所述音色编码器对所述待美化歌声梅尔频谱进行音色编码处理，得到所述音色编码信息；
[0024]将所述音色编码信息确定为所述音色特征信息。
[0025]根据本申请的一些实施例，所述对所述待美化歌声音频进行预处理得到第一音频信号，包括：
[0026]对所述待美化歌声音频进行预加重处理得到第一歌声处理信息；
[0027]对所述第一歌声处理信息进行分帧处理得到第二歌声处理信息；
[0028]对所述第二歌声处理信息进行加窗处理得到所述第一音频信号。
[0029]根据本申请的一些实施例，所述对所述音高特征信息、所述声乐特征信息和所述音色特征信息进行融合处理，得到歌声优化梅尔频谱，包括：
[0030]从所述音高特征信息、所述声乐特征信息和所述音色特征信息中确定各自的时间节点信息；
[0031]根据所述时间节点信息，将所述音高特征信息、所述声乐特征信息和所述音色特征信息进行叠加处理，得到所述歌声优化梅尔频谱。
[0032]第二方面，本申请实施例还提供了一种歌声美化装置，所述装置包括：
[0033]第一处理模块，用于获取待美化歌声音频；
[0034]第二处理模块，用于对所述待美化歌声音频进行音频数据化处理得到待美化歌声梅尔频谱；
[0035]第三处理模块，用于基于预训练的音高调整网络模型对所述待美化歌声梅尔频谱进行音高调整处理得到音高特征信息；以及基于预训练的声乐提升网络模型对所述待美化歌声梅尔频谱进行声乐调整处理得到声乐特征信息；以及基于预训练的音色调整网络模型对所述待美化歌声梅尔频谱进行音色抽取处理得到音色特征信息；
[0036]第四处理模块，用于对所述音高特征信息、所述声乐特征信息和所述音色特征信息进行融合处理，得到歌声优化梅尔频谱；
[0037]第五处理模块，用于对所述歌声优化梅尔频谱进行转换处理得到歌声优化音频。
[0038]第三方面，本申请实施例还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的歌声美化方法。
[0039]第四方面，本申请实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上第一方面所述的歌声美化方法。
[0040]根据本申请提供的实施例的歌声美化方法，至少具有如下有益效果：在歌声美化的过程中，首先获取待美化歌声音频；接着对待美化歌声音频进行音频数据化处理得到待美化歌声梅尔频谱；接着基于预训练的音高调整网络模型对待美化歌声梅尔频谱进行音高调整处理从而得到音高特征信息；以及基于预训练的声乐提升网络模型对待美化歌声梅尔频谱进行声乐调整处理就可以得到声乐特征信息；以及基于预训练的音色调整网络模型对待美化歌声梅尔频谱进行音色抽取处理就可以得到音色特征信息；接着对音高特征信息、声乐特征信息和音色特征信息进行融合处理就可以得到歌声优化梅尔频谱；最后对歌声优化梅尔频谱进行转换处理就可以得到歌声优化音频。通过上述技术方案，能够快速灵活实现歌声美化处理，给用户带来了较好的使用体验。
附图说明
[0041]本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种歌声美化方法，其特征在于，所述方法包括：获取待美化歌声音频；对所述待美化歌声音频进行音频数据化处理得到待美化歌声梅尔频谱；基于预训练的音高调整网络模型对所述待美化歌声梅尔频谱进行音高调整处理得到音高特征信息；以及基于预训练的声乐提升网络模型对所述待美化歌声梅尔频谱进行声乐调整处理得到声乐特征信息；以及基于预训练的音色调整网络模型对所述待美化歌声梅尔频谱进行音色抽取处理得到音色特征信息；对所述音高特征信息、所述声乐特征信息和所述音色特征信息进行融合处理，得到歌声优化梅尔频谱；对所述歌声优化梅尔频谱进行转换处理得到歌声优化音频。2.根据权利要求1所述的歌声美化方法，其特征在于，所述对所述待美化歌声音频进行音频数据化处理得到待美化歌声梅尔频谱，包括：对所述待美化歌声音频进行预处理得到第一音频信号；对所述第一音频信号进行快速傅里叶变换处理得到初始幅度谱；对所述初始幅度谱进行滤波处理得到所述待美化歌声梅尔频谱。3.根据权利要求1所述的歌声美化方法，其特征在于，所述音高调整网络模型包括音高提取器和音高修正器，所述基于预训练的音高调整网络模型对所述待美化歌声梅尔频谱进行音高调整处理得到音高特征信息，包括：基于所述音高提取器对所述待美化歌声梅尔频谱进行音高轮廓提取，得到待美化歌声轮廓曲线；基于所述音高修正器与预设的标准音高轮廓线对所述待美化歌声轮廓曲线进行修正处理，得到所述音高特征信息。4.根据权利要求1所述的歌声美化方法，其特征在于，所述声乐提升网络模型包括声乐技巧编码器和声乐技巧提升器，所述基于预训练的声乐提升网络模型对所述待美化歌声梅尔频谱进行声乐调整处理得到声乐特征信息，包括：基于所述声乐技巧编码器对所述待美化歌声梅尔频谱进行声乐技巧编码处理，得到声乐技巧信息；基于所述声乐技巧提升器对所述声乐技巧信息进行调整处理，得到所述声乐特征信息。5.根据权利要求3所述的歌声美化方法，其特征在于，所述音色调整网络模型包括音色编码器，所述基于预训练的音色调整网络模型对所述待美化歌声梅尔频谱进行音色抽取处理得到音色特...
【专利技术属性】
技术研发人员：张旭龙，王健宗，程宁，茹港徽，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。