本公开提供了一种节拍检测方法、装置、电子设备和存储介质，所述方法的训练节拍预测方法包括：从训练样本数据集获取具有大幅度节拍变化的多个训练样本数据；提取所述多个训练样本数据的频域特征，将提取的频域特征输入节拍预测模型并获得所述多个训练样本数据的节拍概率预测值；通过目标损失函数计算所述多个训练样本数据的节拍概率预测值与所述多个训练样本数据的节拍标注之间的偏差，并根据偏差调整节拍预测模型的参数。整节拍预测模型的参数。整节拍预测模型的参数。
【技术实现步骤摘要】
节拍检测方法、装置、电子设备和存储介质
[0001]本公开涉及音视频
，尤其涉及一种检测音乐节拍的节拍检测方法、装置、电子设备和存储介质。
技术介绍
[0002]节拍是音乐中表示固定单位时值和强弱规律的组织形式，节拍检测是音乐信息检索领域的重要任务之一。节拍检测算法通过分析音频数据来自动识别节拍位置。准确的节拍检测算法可以被应用于很多方面，如视频制作、游戏、音乐风格转变等。近些年来，深度学习的发展使得各个领域有了更多的可能性去解决之前难以处理的问题。在算力和数据的支撑下，越来越多的基于神经网络的算法应用到具体的产业中。对于节拍检测算法，深度学习可以被应用于两个方面：第一个方面是利用深度神经网络对数据提取深层特征；第二个方面是利用深度学习挖掘数据序列之间的相关性。相比与相关技术的节拍检测算法，基于深度学习的节拍检测方法依赖于更少的先验知识和人工设定的参数，在不同类型的音乐种类上都取得了较大的效果提升。
[0003]但是，深度学习需要大量的数据支持，现有的节拍检测数据库相对有限，且节拍检测的标注因为人工主观的差异会有一些偏差，这就导致了相关技术的基于深度学习的节拍检测算法的几个问题：一是对数据库中大量存在的音乐类型拟合的较好，但是对于标注较少的音乐类型拟合的不好；一些算法为了让算法能适应于不同类型音乐，一般使用多个模型进行建模，导致算法复杂度增加。二是节拍检测的数据不像简单的分类问题，存在数据比例不匹配、重复数据太多和数据标注有偏差的问题，导致训练难以收敛到最优点。
技术实现思路
[0004]本公开提供一种训练节拍预测模型的方法以及一种使用该方法训练的节拍预测模型来预测节拍的方法。
[0005]根据本公开的第一方面，提供了一种用于训练节拍预测模型的方法，其特征在于，包括：从训练样本数据集获取具有大幅度节拍变化的多个训练样本数据；提取所述多个训练样本数据的频域特征，将提取的频域特征输入节拍预测模型并获得所述多个训练样本数据的节拍概率预测值；通过目标损失函数计算所述多个训练样本数据的节拍概率预测值与所述多个训练样本数据的节拍标注之间的偏差，并根据偏差调整节拍预测模型的参数。
[0006]根据本公开的第一方面，所述多个训练样本数据中的每个训练样本数据是通过对训练样本数据集中的至少两个训练样本数据进行拼接而形成的拼接样本数据，其中，被拼接的至少两个训练样本数据的每分钟节拍数BPM之间的差大于阈值。
[0007]根据本公开的第一方面，在被拼接之前，对被拼接的至少两个训练样本数据的音量和/或倍速进行调整，并且在调整之后从所述至少两个训练样本数据中的每个训练样本数据随机选择部分数据进行拼接以形成所述拼接样本数据。
[0008]根据本公开的第一方面，训练样本数据集中的预定比例的训练样本数据被选择用
于拼接生成所述拼接样本数据。
[0009]根据本公开的第一方面，所述根据偏差调整节拍预测模型的参数包括：根据目标损失函数计算与多个训练样本数据中的每个训练样本数据对应的损失值；根据损失值对所述多个训练样本数据中的每个训练样本数据分配权重；使用分配了权重的所述多个训练样本数据中的每个训练样本数据对节拍预测模型的参数进行调整。
[0010]根据本公开的第一方面，所述对每个训练样本数据的分配权重包括：对与所述多个训练样本数据中的每个训练样本数据对应的损失值进行排序；剔除排序在前预定范围和排序在后预定范围内的损失值所对应的训练样本数据；对剔除后的剩余训练样本数据中的部分训练样本数据赋予高于其他训练样本数据的权重。
[0011]根据本公开的第一方面，所述对节拍预测模型的参数进行调整使用梯度下降算法来调整节拍预测模型的参数。
[0012]根据本公开的第一方面，所述方法还包括：针对训练样本数据集中具有预定BPM的训练样本数据赋予高于训练样本数据集中的其它训练样本数据的学习权重以用于下一轮的训练，其中，所述具有预定BPM的训练样本数据的数量与训练样本数据集的总数据数量之比小于阈值。
[0013]根据本公开的第一方面，所述针对训练样本数据集中具有预定BPM的训练样本数据赋予高于训练样本数据集中的其它训练样本数据的学习权重包括：使用节拍预测模型对训练样本数据集中的每个训练样本数据执行节拍预测以获得针对每个训练样本数据的节拍预测值；通过目标损失函数计算每个训练样本数据的节拍预测值和节拍标注数据的损失值；计算与训练样本数据集所具有的每个BPM值对应的训练样本数据的平均损失值和训练样本数据数量；根据与每个BPM值对应的训练样本数据的平均损失值和训练样本数据数量的比值对全部BPM值进行排序；对排序在前的预定比例的BPM值所对应的训练样本数据赋予高于其他BPM值所对应的训练样本数据的学习权重。
[0014]根据本公开的第二方面，提供了一种训练节拍预测模型的装置，包括：训练样本获取单元，被配置为从训练样本数据集获取具有大幅度节拍变化的多个训练样本数据；预测单元，被配置为提取所述多个训练样本数据的频域特征，将提取的频域特征输入节拍预测模型并获得所述多个训练样本数据的节拍概率预测值；调参单元，被配置为通过目标损失函数计算所述多个训练样本数据的节拍概率预测值与所述多个训练样本数据的节拍标注之间的偏差，并根据偏差调整节拍预测模型的参数。
[0015]根据本公开的第二方面，所述多个训练样本数据中的每个训练样本数据是通过对训练样本数据集中的至少两个训练样本数据进行拼接而形成的拼接样本数据，其中，被拼接的至少两个训练样本数据的BPM之间的差大于阈值。
[0016]根据本公开的第二方面，训练样本获取单元被配置为对被拼接的至少两个训练样本数据的音量和/或倍速进行调整，并且在调整之后从所述至少两个训练样本数据中的每个训练样本数据随机选择部分数据进行拼接以形成所述拼接样本数据。
[0017]根据本公开的第二方面，训练样本数据集中的预定比例的训练样本数据被选择用于拼接生成所述拼接样本数据。
[0018]根据本公开的第二方面，所述调参单元包括：权重计算单元，被配置为根据目标损失函数计算与多个训练样本数据中的每个训练样本数据对应的损失值；权重分配单元，被
配置为根据损失值对所述多个训练样本数据中的每个训练样本数据分配权重；模型调整单元，被配置为使用分配了权重的所述多个训练样本数据中的每个训练样本数据对节拍预测模型的参数进行调整。
[0019]根据本公开的第二方面，所述权重分配单元被配置为：对与所述多个训练样本数据中的每个训练样本数据对应的损失值进行排序；剔除排序在前预定范围和排序在后预定范围内的损失值所对应的训练样本数据；对剔除后的剩余训练样本数据中的部分训练样本数据赋予高于其他训练样本数据的权重。
[0020]根据本公开的第二方面，所述模型调整单元被配置为使用梯度下降算法来调整节拍预测模型的参数。
[0021]根据本公开的第二方面，所述装置还包括：学习权重分配单元，被配置为针对训练样本数据集中具有预定BPM的训练样本数据赋予高于训练样本数据集中的其它训本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于训练节拍预测模型的方法，其特征在于，包括：从训练样本数据集获取具有大幅度节拍变化的多个训练样本数据；提取所述多个训练样本数据的频域特征，将提取的频域特征输入节拍预测模型并获得所述多个训练样本数据的节拍概率预测值；通过目标损失函数计算所述多个训练样本数据的节拍概率预测值与所述多个训练样本数据的节拍标注之间的偏差，并根据偏差调整节拍预测模型的参数。2.如权利要求1所述的方法，其特征在于，所述根据偏差调整节拍预测模型的参数包括：根据目标损失函数计算与多个训练样本数据中的每个训练样本数据对应的损失值；根据损失值对所述多个训练样本数据中的每个训练样本数据分配权重；使用分配了权重的所述多个训练样本数据中的每个训练样本数据对节拍预测模型的参数进行调整。3.如权利要求2所述的方法，其特征在于，所述对每个训练样本数据的分配权重包括：对与所述多个训练样本数据中的每个训练样本数据对应的损失值进行排序；剔除排序在前预定范围和排序在后预定范围内的损失值所对应的训练样本数据；对剔除后的剩余训练样本数据中的部分训练样本数据赋予高于其他训练样本数据的权重。4.如权利要求1所述的方法，其特征在于，还包括：针对训练样本数据集中具有预定BPM的训练样本数据赋予高于训练样本数据集中的其它训练样本数据的学习权重以用于下一轮的训练，其中，所述具有预定BPM的训练样本数据的数量与训练样本数据集的总数据数量之比小于阈值。5.如权利要求4所述的方法，其特征在于，所述针对训练样本数据集中具有预定BPM的训练样本数据赋予高于训练样本数据集中的其它训练样本数据的学习权重包括：使用节拍预测模型对训练样本数据集中的每个训练样本数据执行节拍预测以获得针对每个训练样本数据的节拍预测值；通过目标损失函数计算每个训练样本数据的节拍预测值和节拍标注数据的损失值；计算与训练样本数据集所具有的每个BPM值对应的训练样本数据的平均损失值和训练样本数据数量；根据与每个BPM值对应的训练样本数据的平均损失值和训练样本数据数量的比值...
【专利技术属性】
技术研发人员：崔凡，张晨，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。