音乐风格迁移方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:38253897 阅读:13 留言:0更新日期:2023-07-27 10:18
本发明专利技术公开了一种音乐风格迁移方法,该方法获取待合成音乐和待迁移音乐;将待合成音乐和待迁移音乐分别输入至预设风格解耦模型中,获取第一音高内容编码,以及获取第二音高内容编码和节奏编码;将第一音高内容编码和节奏编码输入至第一解码器中,获取迁移音乐;将第二音高内容编码和节奏编码输入至第二解码器中,获取重构音乐;根据判别器对迁移音乐和重构音乐进行检测,得到风格迁移检测结果;当风格迁移检测结果表征迁移成功时,将迁移音乐确定为目标音乐。本发明专利技术通过预设风格解耦模型对音乐进行完全解耦,避免了音高内容和节奏风格之间的相互混杂。通过判别器对迁移音乐和重构音乐进行检测,确保节奏风格迁移成功,提升了音乐风格迁移的效果。风格迁移的效果。风格迁移的效果。

【技术实现步骤摘要】
音乐风格迁移方法、装置、计算机设备及存储介质


[0001]本专利技术涉及语音合成
,尤其涉及一种音乐风格迁移方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着科学技术不断的发展,语音风格迁移技术也逐渐应用在不同的领域当中。比如变声系统或语音聊天等场景中。语音风格迁移指的是给出某一说话人的音频,针对任意文本序列,生成具有该说话人特点的语音。
[0003]现有技术中,往往语音风格迁移是通过对语音成分特征进行解耦和重组。语音解耦是将原始语音拆分成多个维度的音频成分,但往往音高内容和节奏特征仍然混杂,不能将原始语音的音频成分完全解耦。重组是指给定任何的节奏特征,即可将音高内容特征转换为任意风格的语音。通过该方法对音乐风格进行迁移的效果不佳,远远达不到用户对音乐风格迁移的需求,严重影响了用户的体验。

技术实现思路

[0004]本专利技术实施例提供一种音乐风格迁移方法、装置、计算机设备及存储介质,以解决现有技术中音乐风格迁移效果不佳的问题。
[0005]一种音乐风格迁移方法,包括:
[0006]获取待合成音乐和待迁移音乐;
[0007]获取预设风格解耦模型,将所述待合成音乐和所述待迁移音乐分别输入至所述预设风格解耦模型中,获取与所述待合成音乐对应的第一音高内容编码,以及获取与所述待迁移音乐对应的第二音高内容编码和节奏编码;
[0008]将所述第一音高内容编码和所述节奏编码输入至第一解码器中,获取迁移音乐;
[0009]将所述第二音高内容编码和所述节奏编码输入至第二解码器中,获取重构音乐;
[0010]根据判别器对所述迁移音乐和所述重构音乐进行检测,得到风格迁移检测结果;
[0011]当所述风格迁移检测结果表征节奏风格迁移成功时,将所述迁移音乐确定为目标音乐。
[0012]一种音乐风格迁移装置,包括:
[0013]音乐获取模块,用于获取待合成音乐和获取待迁移音乐;所述待合成音乐和所述待迁移音乐是不同的音乐;
[0014]编码获取模块,用于获取预设风格解耦模型,将所述待合成音乐和所述待迁移音乐分别输入至所述预设风格解耦模型中,获取与所述待合成音乐对应的第一音高内容编码,以及获取与所述待迁移音乐对应的第二音高内容编码和节奏编码;
[0015]第一解码模块,用于将所述第一音高内容编码和所述节奏编码输入至第一解码器中,获取迁移音乐;
[0016]第二解码模块,用于将所述第二音高内容编码和所述节奏编码输入至第二解码器
中,获取重构音乐;
[0017]检测结果确定模块,用于根据判别器对所述迁移音乐和所述重构音乐进行检测,得到风格迁移检测结果;
[0018]迁移成功确定模块,用于当所述风格迁移检测结果表征节奏风格迁移成功时,将所述迁移音乐确定为目标音乐。
[0019]一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述音乐风格迁移方法。
[0020]一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述音乐风格迁移方法。
[0021]本专利技术提供一种音乐风格迁移方法、装置、计算机设备及存储介质,该方法通过预设风格解耦模型对待合成音乐和待迁移音乐进行风格解耦,从而实现了对音乐中音高内容和节奏风格的完全解耦,避免了音高内容和节奏风格之间的相互混杂,简化了音乐风格解耦过程。通过判别器对风格迁移之后的迁移音乐和对待迁移音乐重构后的重构音乐进行检测,从而实现了对风格迁移检测结果的确定,进而实现了对音乐风格是否迁移成功的判断。当风格迁移检测结果表征迁移成功时,将迁移音乐确定为目标音乐,从而确保了音乐风格迁移成功,进而提升了音乐风格迁移的效果,提高了用户的体验感。
附图说明
[0022]为了更清楚地说明本专利技术实施例的技术方案,下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0023]图1是本专利技术一实施例中音乐风格迁移方法的应用环境示意图;
[0024]图2是本专利技术一实施例中音乐风格迁移方法的流程图;
[0025]图3是本专利技术一实施例中音乐风格迁移方法中步骤S20的流程图;
[0026]图4是本专利技术一实施例中音乐风格迁移方法中步骤S201的流程图;
[0027]图5是本专利技术一实施例中音乐风格迁移装置的原理框图;
[0028]图6是本专利技术一实施例中计算机设备的示意图。
具体实施方式
[0029]下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。
[0030]本专利技术实施例提供的音乐风格迁移方法,该音乐风格迁移方法可应用如图1所示的应用环境中。具体地,该音乐风格迁移方法应用在音乐风格迁移装置中,该音乐风格迁移装置包括如图1所示的客户端和服务器,客户端与服务器通过网络进行通信,用于解决现有技术中音乐风格迁移效果不佳的问题。其中,该服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全
服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。客户端又称为用户端,是指与服务器相对应,为客户提供分类服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。
[0031]在一实施例中,如图2所示,提供一种音乐风格迁移方法,以该方法应用在图1中的客户端为例进行说明,包括如下步骤:
[0032]S10:获取待合成音乐和获取待迁移音乐。
[0033]可理解地,待合成音乐为对其节奏风格进行改变,也即将另一种节奏风格迁移至待合成音乐。待迁移音乐为将其节奏风格迁移至待合成音乐。如在变声器的应用场景下,将一个流行风格的音乐改变成一个摇滚风格的音乐或嘻哈风格的音乐,其中,流行风格的音乐即为待合成音乐,摇滚风格的音乐或嘻哈风格的音乐即为待迁移音乐。待合成音乐和待迁移音乐可以是两个完全不同的人的音乐,即两个人的音乐,也可以是相同的人的音乐,其音乐的风格不同。进一步的,通过爬虫技术从不同的网站或客户端采集得到待合成音乐和待迁移音乐,亦或者从不同的数据库中采集得到待合成音乐和待迁移音乐,也可以由用户从客户端发送到服务器中的待合成音乐和待迁移音乐。
[0034]S20:获取预设风格解耦模型,将所述待合成音乐和所述待迁移音乐分别输入至所述预设风格解耦模型中,获取与所述待本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种音乐风格迁移方法,其特征在于,包括:获取待合成音乐和待迁移音乐;获取预设风格解耦模型,将所述待合成音乐和所述待迁移音乐分别输入至所述预设风格解耦模型中,获取与所述待合成音乐对应的第一音高内容编码,以及获取与所述待迁移音乐对应的第二音高内容编码和节奏编码;将所述第一音高内容编码和所述节奏编码输入至第一解码器中,获取迁移音乐;将所述第二音高内容编码和所述节奏编码输入至第二解码器中,获取重构音乐;根据判别器对所述迁移音乐和所述重构音乐进行检测,得到风格迁移检测结果;当所述风格迁移检测结果表征节奏风格迁移成功时,将所述迁移音乐确定为目标音乐。2.如权利要求1所述的音乐风格迁移方法,其特征在于,所述预设风格解耦模型包括节奏类别编码器、音高内容编码器、解码器和判别器;所述获取与所述待合成音乐对应的第一音高内容编码,以及获取与所述待迁移音乐对应的第二音高内容编码和节奏编码,包括:将所述待迁移音乐输入至所述节奏类别编码器中,通过所述节奏类别编码器对所述待迁移音乐进行节奏风格编码,得到所述节奏编码;将所述待迁移音乐输入至所述音高内容编码器中,通过所述音高内容编码器对所述待迁移音乐进行音高内容编码,得到所述第二音高内容编码;将所述待合成音乐输入至所述音高内容编码器中,通过所述音高内容编码器对所述待合成音乐进行音高内容编码,得到所述第一音高内容编码。3.如权利要求2所述的音乐风格迁移方法,其特征在于,所述节奏类别编码器包括参考编码器和扩散模型;所述通过所述节奏类别编码器对所述待迁移音乐进行节奏风格编码,得到所述节奏编码,包括:根据所述参考编码器对所述待迁移音乐进行编码处理,得到参考节奏编码;基于所述扩散模型对所述参考节奏编码进行噪音处理,得到所述节奏编码。4.如权利要求1所述的音乐风格迁移方法,其特征在于,所述将所述第一音高内容编码和所述节奏编码输入至第一解码器中,获取迁移音乐,包括:通过循环一致损失函数对所述第一音高内容编码进行循环处理,得到循环音高内容编码;通过循环一致损失函数对所述节奏编码进行循环处理,得到循环节奏编码;根据所述循环音高内容编码和所述循环节奏编码进行风格迁移,得到所述迁移音乐。5.如权利要求1所述的音乐风格迁移方法,其特征在于,所述将所述第二音高内容编码和所述节奏编码输入至第二解码器中,获取重构音乐,包括:通过重建损失函数对所述第二音高内容编码进行重建处理,得到重建音高内容编码;通过重建损失函数对所述节奏编码进行重建处理,得到重建节奏编码;将所述重建音...

【专利技术属性】
技术研发人员:张旭龙王健宗唐浩彬
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1