音乐神经网络模型预训练方法及电子设备和存储介质技术

本申请公开了一种音乐神经网络模型预训练方法、电子设备和存储介质，该方法包括：对原始音频特征向量中的待掩码特征子向量进行掩码处理得到掩码特征子向量，并将原始音频特征向量中的待掩码特征子向量替换为掩码特征子向量；将掩码特征向量输入待训练神经网络中预测预测音频特征子向量；对待掩码特征子向量中的原始音频特征进行离散化处理得到离散化待掩码特征子向量，并将离散化待掩码特征子向量作为正样本与多个负样本进行拼接得到拼接音频特征向量；基于预测音频特征子向量和拼接音频特征向量构建损失函数，调整待训练神经网络中的参数直至损失函数收敛，得到预训练完成的音乐神经网络模型，提高了下游任务中神经网络模型的训练速度和性能。模型的训练速度和性能。模型的训练速度和性能。

【技术实现步骤摘要】
音乐神经网络模型预训练方法及电子设备和存储介质


[0001]本申请涉及音乐
，更具体地说，涉及音乐神经网络模型预训练方法及电子设备和计算机可读存储介质。

技术介绍

[0002]对于音乐领域的神经网络模型，在相关技术中，基于原始音频进行预训练，即将原始音频转化为频谱，对部分频谱进行掩码，然后通过编码器
‑
解码器的方法对被掩码音频进行预测，进而进行神经网络模型的预训练。编码器
‑
解码器的目的在于重建被掩码掉的音频，但是在下游任务中，如分类任务中，模型通常不需要音频的全部信息来进行预测，基于上述方式预训练完成的神经网络模型进行训练，影响训练速度和训练完成的神经网络模型的性能较差。
[0003]因此，如何提高下游任务中神经网络模型训练的速度和训练完成的神经网络模型的性能是本领域技术人员需要解决的技术问题。

技术实现思路

[0004]本申请的目的在于提供一种音乐神经网络模型预训练方法及一种电子设备和一种计算机可读存储介质，提高了下游任务中神经网络模型训练的速度和训练完成的神经网络模型的性能。
[0005]为实现上述目的，本申请第一方面提供了一种音乐神经网络模型预训练方法，包括：
[0006]获取原始音频特征向量，对所述原始音频特征向量中的待掩码特征子向量进行掩码处理得到掩码特征子向量，并将所述原始音频特征向量中的待掩码特征子向量替换为所述掩码特征子向量；
[0007]将所述掩码特征向量输入待训练神经网络中，以预测所述掩码特征子向量对应的预测音频特征子向量；
[0008]对所述待掩码特征子向量中的原始音频特征进行离散化处理得到离散化待掩码特征子向量，并将所述离散化待掩码特征子向量作为正样本与多个负样本进行拼接得到拼接音频特征向量；
[0009]基于所述预测音频特征子向量和所述拼接音频特征向量构建损失函数，并基于所述损失函数的当前值调整所述待训练神经网络中的参数，直至所述损失函数收敛，得到预训练完成的音乐神经网络模型。
[0010]为实现上述目的，本申请第二方面提供了一种电子设备，包括：
[0011]存储器，用于存储计算机程序；
[0012]处理器，用于执行所述计算机程序时实现如上述音乐神经网络模型预训练方法的步骤。
[0013]为实现上述目的，本申请第三方面提供了一种计算机可读存储介质，所述计算机
可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述音乐神经网络模型预训练方法的步骤。
[0014]通过以上方案可知，本申请提供的一种音乐神经网络模型预训练方法，包括：获取原始音频特征向量，对所述原始音频特征向量中的待掩码特征子向量进行掩码处理得到掩码特征子向量，并将所述原始音频特征向量中的待掩码特征子向量替换为所述掩码特征子向量；将所述掩码特征向量输入待训练神经网络中，以预测所述掩码特征子向量对应的预测音频特征子向量；对所述待掩码特征子向量中的原始音频特征进行离散化处理得到离散化待掩码特征子向量，并将所述离散化待掩码特征子向量作为正样本与多个负样本进行拼接得到拼接音频特征向量；基于所述预测音频特征子向量和所述拼接音频特征向量构建损失函数，并基于所述损失函数的当前值调整所述待训练神经网络中的参数，直至所述损失函数收敛，得到预训练完成的音乐神经网络模型。
[0015]对于音乐领域的神经网络模型，下游任务需要使用音频特征进行模型训练，因此，在预训练阶段，本申请直接对音频特征进行掩码，待训练神经网络对掩码特征进行预测，进而进行预训练。基于预训练完成的音乐神经网络模型进行下游任务的模型训练时可提高神经网络模型的收敛速度，进而提高了训练速度。另外，本申请通过离散化处理对原始音频特征进行编码，基于预训练完成的音乐神经网络模型进行下游任务的模型训练时可提高神经网络模型的性能。由此可见，本申请提供的音乐神经网络模型预训练方法，提高了下游任务中神经网络模型训练的速度和训练完成的神经网络模型的性能。本申请还公开了一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。
[0016]应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
[0017]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
[0018]图1为本申请实施例提供的一种音乐神经网络模型预训练方法的流程图；
[0019]图2为本申请实施例提供的另一种音乐神经网络模型预训练方法的流程图；
[0020]图3为本申请实施例提供的一种电子设备的结构图。
具体实施方式
[0021]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0022]本申请实施例公开了一种音乐神经网络模型预训练方法，提高了下游任务中神经
网络模型训练的速度和训练完成的神经网络模型的性能。
[0023]参见图1，本申请实施例提供的一种音乐神经网络模型预训练方法的流程图，如图1所示，包括：
[0024]S101：获取原始音频特征向量，对所述原始音频特征向量中的待掩码特征子向量进行掩码处理得到掩码特征子向量，并将所述原始音频特征向量中的待掩码特征子向量替换为所述掩码特征子向量；
[0025]本实施例的目的在于对待训练神经网络进行预训练，以得到训练完成的音乐神经网络模型，此处的待训练神经网络可以包括bert等，在此不进行具体限定。在本步骤中，首先获取原始音频特征向量[v1,v2,
…
,v
n
]T
，此处的原始音频特征向量可以为待训练音乐神经网络模型中部分层输出的特征，即将原始音乐输入待训练音乐神经网络模型中，经过其中部分层的特征提取得到原始音频特征向量。其次，在原始音频特征向量选取部分特征即待掩码特征子向量，可以表示为[v
k
,v
k+1
,v
k+2
,
…
]T
，并保存原始的待掩码特征子向量和其位置，对其进行掩码处理得到掩码特征子向量，可以表示为[m
k
,m
k+1
,m
k+2
,
…
]T
。最后，将原始音频特征向量中的待掩码特征子向量替换为掩码特征子向量，可以表示为[v1,v2,
…
m本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音乐神经网络模型预训练方法，其特征在于，包括：获取原始音频特征向量，对所述原始音频特征向量中的待掩码特征子向量进行掩码处理得到掩码特征子向量，并将所述原始音频特征向量中的待掩码特征子向量替换为所述掩码特征子向量；将所述掩码特征向量输入待训练神经网络中，以预测所述掩码特征子向量对应的预测音频特征子向量；对所述待掩码特征子向量中的原始音频特征进行离散化处理得到离散化待掩码特征子向量，并将所述离散化待掩码特征子向量作为正样本与多个负样本进行拼接得到拼接音频特征向量；基于所述预测音频特征子向量和所述拼接音频特征向量构建损失函数，并基于所述损失函数的当前值调整所述待训练神经网络中的参数，直至所述损失函数收敛，得到预训练完成的音乐神经网络模型。2.根据权利要求1所述音乐神经网络模型预训练方法，其特征在于，对所述原始音频特征向量中的待掩码特征子向量进行掩码处理得到掩码特征子向量，包括：基于预设概率分布和预设长度确定掩码特征数量，并在所述原始音频特征向量中确定待掩码特征子向量；其中，所述待掩码特征子向量中原始音频特征为所述掩码特征数量；对所述待掩码特征子向量进行掩码处理得到掩码特征子向量。3.根据权利要求1所述音乐神经网络模型预训练方法，其特征在于，对所述待掩码特征子向量中的原始音频特征进行离散化处理得到离散化待掩码特征子向量，包括：基于预设分类规则生成目标维度的离散化向量表；其中，所述目标维度为所述待掩码特征子向量中原始音频特征的维度；基于所述预设分类规则确定所述待掩码特征子向量中每个原始音频特征对应的类别，以生成所述待掩码特征子向量对应的类别向量；将所述类别向量与所述离散化向量表的乘积确定为离散化待掩码特征子向量。4.根据权利要求3所述音乐神经网络模型预训练方法，其特征在于，所述基于所述预设分类规则确定所述待掩码特征子向量中每个原始音频特征对应的类别，以生成所述待掩码特征子向量对应的类别向量，包括：利用全连接层基于预设分类规则确定所述待掩码特征子向量中每...

【专利技术属性】
技术研发人员：李宇峰，
申请(专利权)人：腾讯音乐娱乐科技深圳有限公司，
类型：发明
国别省市：