一种伴奏音乐的提取方法、装置、设备和介质制造方法及图纸

本申请属于音乐数据处理技术领域，公开了一种伴奏音乐的提取方法、装置、设备和介质，本申请公开的一种伴奏音乐的提取方法包括，对音频音乐进行转换，获得左声道相位谱、右声道相位谱、左声道幅度谱和右声道幅度谱；分别将左声道幅度谱和右声道幅度谱输入至伴奏提取模型，分别获得左声道伴奏幅度谱掩码和右声道伴奏幅度谱掩码；基于左声道幅度谱和左声道伴奏幅度谱掩码获得左声道伴奏幅度谱，并基于右声道幅度谱和右声道伴奏幅度谱掩码获得右声道伴奏幅度谱，以及基于左声道伴奏幅度谱、右声道伴奏幅度谱、左声道相位谱和右声道相位谱，确定音频音乐的立体声伴奏音乐。这样，可以获得高质量的立体声伴奏音乐。

【技术实现步骤摘要】
一种伴奏音乐的提取方法、装置、设备和介质
本申请涉及音乐数据处理
，尤其涉及一种伴奏音乐的提取方法、装置、设备和介质。
技术介绍
随着生活水平的提高，音乐已经进入人们的日常生活中，成为休闲娱乐的重要方式。在公共娱乐场所(如，KTV)或私人视听系统中，通常需要大量歌曲的伴奏音乐。现有技术下，提取伴奏音乐时，通常采用以下两类方法：第一类方法为：采用传统方法进行伴奏音乐的提取，主要利用大多数歌曲中人声在左右声道中的强度比较相似的特点提取伴奏音乐。但是，采用这种方式，提取的伴奏音乐中容易存在人声残留，伴奏音乐的音质较差。第二类方法为：基于深度神经网络提取伴奏音乐。然而，这类方法主要采用单声道提取歌曲的伴奏音乐，无法获得立体声伴奏音乐，并且存在较强的人声残留。综上所述，亟待需要一种可以提取高质量的伴奏音乐的技术方案。
技术实现思路
本申请实施例提供一种伴奏音乐的提取方法、装置、设备和介质，用以在提取音频音乐的伴奏音乐时，提高提取的伴奏音乐的质量。一方面，提供一种伴奏音乐的提取方法，本文档来自技高网...

【技术保护点】
1.一种伴奏音乐的提取方法，其特征在于，包括：/n获得音频音乐的左声道相位谱、右声道相位谱、左声道幅度谱和右声道幅度谱；/n采用预先训练的伴奏提取模型，分别获得所述左声道幅度谱的左声道伴奏幅度谱掩码和所述右声道幅度谱的右声道伴奏幅度谱掩码，所述伴奏提取模型是基于注意力机制的深度神经网络，采用音乐样本对数据训练得到的，每个音乐样本对数据包括音频音乐样本及其伴奏音乐样本；/n基于所述左声道幅度谱和左声道伴奏幅度谱掩码获得左声道伴奏幅度谱，并基于所述右声道幅度谱和右声道伴奏幅度谱掩码获得右声道伴奏幅度谱；/n基于所述左声道伴奏幅度谱、所述右声道伴奏幅度谱、所述左声道相位谱和所述右声道相位谱，确定所述...

【技术特征摘要】
1.一种伴奏音乐的提取方法，其特征在于，包括：
获得音频音乐的左声道相位谱、右声道相位谱、左声道幅度谱和右声道幅度谱；
采用预先训练的伴奏提取模型，分别获得所述左声道幅度谱的左声道伴奏幅度谱掩码和所述右声道幅度谱的右声道伴奏幅度谱掩码，所述伴奏提取模型是基于注意力机制的深度神经网络，采用音乐样本对数据训练得到的，每个音乐样本对数据包括音频音乐样本及其伴奏音乐样本；
基于所述左声道幅度谱和左声道伴奏幅度谱掩码获得左声道伴奏幅度谱，并基于所述右声道幅度谱和右声道伴奏幅度谱掩码获得右声道伴奏幅度谱；
基于所述左声道伴奏幅度谱、所述右声道伴奏幅度谱、所述左声道相位谱和所述右声道相位谱，确定所述音频音乐的立体声伴奏音乐。


2.如权利要求1所述的方法，其特征在于，进一步包括：
根据所述左声道伴奏幅度谱掩码获得左声道人声幅度谱掩码，并根据所述右声道伴奏幅度谱掩码获得右声道人声幅度谱掩码；
基于所述左声道人声幅度谱掩码和所述左声道幅度谱获得左声道人声幅度谱，并基于所述右声道人声幅度谱掩码和所述右声道幅度谱获得右声道人声幅度谱；
基于所述左声道人声幅度谱、所述右声道人声幅度谱、所述左声道相位谱和所述右声道相位谱，获得人声音频。


3.如权利要求1所述的方法，其特征在于，所述采用预先训练的伴奏提取模型，分别获得所述左声道幅度谱的左声道伴奏幅度谱掩码和所述右声道幅度谱的右声道伴奏幅度谱掩码，包括：
分别对所述左声道幅度谱和右声道幅度谱逐级进行多级卷积处理，获得每级卷积提取的编码特征，所述编码特征包括左声道编码特征和右声道编码特征；
采用注意力机制，针对第一级注意门执行以下步骤：使用最后一级卷积输出的编码特征作为门控信息，并作用于通过跳跃连接skipconnections连接的编码特征，获得相应的显著编码特征；
依次针对其它每一级注意门执行以下步骤：使用当前卷积提取的特征作为门控信息，并作用于通过skipconnections连接的编码特征，获得相应的显著编码特征，其中，所述当前卷积提取的特征是基于上一级注意门输出的显著编码特征以及上采样阶段提取的特征拼接并卷积获得的；
输出所述左声道幅度谱的左声道伴奏幅度谱掩码和所述右声道幅度谱的右声道伴奏幅度谱掩码。


4.如权利要求1-3任一项所述的方法，其特征在于，所述伴奏提取模型是基于注意力机制的深度神经网络，采用音乐样本对数据训练得到的，其中，采用音乐样本对数据所述伴奏提取模型进行训练，具体包括：
基于音乐样本对数据中的音频音乐样本，获得音频音乐样本的左声道幅度谱和右声道幅度谱，并基于音乐样本对数据中的伴奏音乐样本，获得伴奏幅度谱样本；
基于注意力机制的深度神经网络，以音频音乐样本的左声道幅度谱和右声道幅度谱为输入，获得音频音乐样本的左声道伴奏幅度谱掩码和右声道伴奏幅度谱掩码；
根据音频音乐样本的左声道伴奏幅度谱掩码和左声道幅度谱，以及音频音乐样本的右声道伴奏幅度谱掩码和右声道幅度谱，获得预测的音频音乐样本的伴奏幅度谱；
根据预测的伴奏幅度谱，以及相应的伴奏幅度谱样本，确定损失函数值；
根据所述损失函数值对所述伴奏提取模型参数进行调整，获得调整后的伴奏提取模型。


5.如权利要求4所述的方法，其特征在于，所述音乐样本对数据按照以下步骤筛选获得的：
分别确定每一初始音乐样本对数据中包含的音频音乐样本和伴奏样本的长度差值和余弦相似度，所述长度差值是音频音乐样本和伴奏样本之间的时间长度的差值，所述余弦相似度是根据音频音乐样本的数据和伴奏样本的数据之间的相似度确定的；
在各初始音乐样本对数据中，筛选出长度差值为零，并且余弦相似度低于预设相似度门限值的音乐样本对数据。


6.一种伴奏音乐的提取装置，其特征在于，包括：
第一获得单元，用于获得音频音乐的左声道相位谱、右...

【专利技术属性】
技术研发人员：柯川，朱明清，彭艺，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44