节奏点检测方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种节奏点检测方法、装置及电子设备，涉及音乐分析的技术领域，该方法包括：获取待检测音频信号，根据待检测音频信号生成音频特征曲线；确定待检测音频信号的曲风类别；根据待检测音频信号的曲风类别确定检测峰值阈值和检测帧宽阈值；基于峰值阈值和帧宽阈值，确定音频特征曲线的节奏点。本发明专利技术提供的节奏点检测方法、装置及电子设备，能够基于峰值阈值和帧宽阈值确定音频特征曲线的节奏点，从而实现节奏点的自动检测过程，且，音频特征曲线融合了能量特征曲线和频谱特征曲线，使节奏点的检测更加准确，而峰值阈值和帧宽阈值是根据曲风确定的，因此，可以对不同风格的音频信号进行节奏点检测，有效满足了对音乐节奏检测的需求。

Rhythm point detection method, device and electronic equipment

【技术实现步骤摘要】
节奏点检测方法、装置及电子设备
本专利技术涉及音乐分析的
，尤其是涉及一种节奏点检测方法、装置及电子设备。
技术介绍
当下舞蹈文化朝着多元化的方向发展，也有越来越多的人在学习和编排舞蹈，为我们提供优质的舞蹈艺术。随着互联网的发展，在数字领域，运用计算机软件来驱动3D模型编排优美的舞蹈也是时下的热点。通常，运用计算机软件进行舞蹈编排时，用户通常是根据音乐的节奏点，在若干连续的动画帧上手K动作序列来驱动3D模型完成舞蹈动作，也可以选择一些公开的动作序列直接应用，而不管哪种方式，用户对于音乐节奏点的选择都是凭借经验的，而且过程耗时耗力，也不准确，难以满足舞蹈编排时的音乐节奏检测的需求。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种节奏点检测方法、装置及电子设备，以缓解上述技术问题。第一方面，本专利技术实施例提供了一种节奏点检测方法，该方法包括：获取待检测音频信号，根据待检测音频信号生成音频特征曲线；确定待检测音频信号的曲风类别；根据待检测音频信号的曲风类别确定检测峰值阈值和检测帧宽阈值；基于峰值阈值和帧宽阈值，确定音频特征曲线的节奏点。在一种较佳的实施方式中，上述根据待检测音频信号生成音频特征曲线的步骤包括：提取待检测音频信号对应的能量特征曲线和频谱特征曲线，根据能量特征曲线和频谱特征曲线生成包含融合特征值的音频特征曲线；其中，音频特征曲线的横坐标为以时间基准排序后的帧序号，纵坐标为融合特征值，融合特征值包括：能量特征值和频谱特征值。在一种较佳的实施方式中，上述基于峰值阈值和帧宽阈值，确定音频特征曲线的节奏点的步骤包括：基于峰值阈值和帧宽阈值，对音频特征曲线进行检测，得到音频特征曲线的节奏点，其中，节奏点的融合特征值大于或等于峰值阈值，且节奏点的融合特征值为帧宽阈值对应的音频特征曲线的曲线段中的最大值。在一种较佳的实施方式中，上述基于峰值阈值和帧宽阈值，对音频特征曲线进行检测，得到音频特征曲线的节奏点的步骤包括：检测音频特征曲线的波峰值；将超过峰值阈值的波峰值的帧作为待定帧；确定待定帧之前的帧宽阈值个帧，及之后的帧宽阈值个帧在音频特征曲线上的曲线段；如果曲线段中的最大值为待定帧对应的融合特征值，将待定帧确定为节奏点。在一种较佳的实施方式中，上述根据能量特征曲线和频谱特征曲线生成包含融合特征值的音频特征曲线的步骤包括：将能量特征曲线和频谱特征曲线进行融合计算，得到包含能量特征和频谱特征的融合特征曲线；计算融合特征曲线的变化趋势，基于融合特征曲线和融合特征曲线的变化趋势生成音频特征曲线。在一种较佳的实施方式中，上述将能量特征曲线和频谱特征曲线进行融合计算，得到包含能量特征和频谱特征的融合特征曲线的步骤包括：对频谱特征曲线进行降维处理，得到频谱特征曲线对应的降维频谱特征曲线；将能量特征曲线与降维频谱特征曲线进行融合计算，得到包含能量特征和频谱特征的融合特征曲线。在一种较佳的实施方式中，上述融合特征曲线表示为：其中，Fi为融合特征曲线，a为融合常数，i为多个连续的帧序列的帧数，为降维频谱特征曲线，Ei为能量特征曲线；计算融合特征曲线的变化趋势的步骤包括：对融合特征曲线进行滑窗处理，得到融合特征曲线对应的变化趋势；其中，融合特征曲线的变化趋势对应的变化趋势曲线表示为：其中，M表示融合特征的个数，j表示帧数。在一种较佳的实施方式中，上述基于融合特征曲线和融合特征曲线的变化趋势生成音频特征曲线的步骤包括：将融合特征曲线与变化趋势曲线做乘积运算，以生成音频特征曲线；其中，音频特征曲线表示为：Oi＝Fi×Ci。在一种较佳的实施方式中，上述方法还包括：对舞蹈音乐进行结构检测，以生成舞蹈音乐的多个结构片段，其中，多个结构片段包括如下一种或多种：音频开头片段、音频主歌片段、音频副歌片段和音频结束片段；对于每一个结构片段，分别根据音频信号生成音频特征曲线。在一种较佳的实施方式中，上述方法还包括：对于多个结构片段中结构相同的结构片段，采用对齐算法对检测到的节奏点信息进行对齐修正。在一种较佳的实施方式中，上述确定待检测音频信号的曲风类别的步骤包括：将待检测音频信号输入至预先训练好的具有确定曲风类别功能的神经网络模型，通过神经网络模型确定待检测音频信号的曲风类别。在一种较佳的实施方式中，上述方法还包括：获取带有曲风标签的音乐样本数据，将音乐样本数据输入至学习分类模型，对学习分类模型进行训练，以生成具有确定曲风类别功能的神经网络模型。第二方面，本专利技术实施例还提供一种节奏点检测装置，该装置包括：获取模块，用于获取待检测音频信号，根据待检测音频信号生成音频特征曲线；第一确定模块，用于确定待检测音频信号的曲风类别；第二确定模块，用于根据待检测音频信号的曲风类别确定检测峰值阈值和检测帧宽阈值；第三确定模块，用于基于峰值阈值和帧宽阈值，确定音频特征曲线的节奏点。第三方面，本专利技术实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。第四方面，本专利技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面所述的方法的步骤。本专利技术实施例带来了以下有益效果：本专利技术实施例提供的一种节奏点检测方法、装置及电子设备，能够获取待检测音频信号，根据待检测音频信号生成音频特征曲线，并确定待检测音频信号的曲风类别，根据该待检测音频信号的曲风类别确定检测峰值阈值和检测帧宽阈值，以便于基于该峰值阈值和帧宽阈值确定音频特征曲线的节奏点，从而实现节奏点的自动检测过程，并且，音频特征曲线融合了能量特征曲线和频谱特征曲线，使得节奏点的检测更加准确，而由于上述峰值阈值和帧宽阈值是根据曲风确定的，因此，可以对不同风格的音频信号进行节奏点的自动检测，有效满足了对音乐节奏检测的需求。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种节奏点检测方法的流程图；图2为本专利技术实施例提供的另一种节奏点检测方法的流程图；图3为本专利技术实施例提供的一种节奏点检测装置的结构示意图；图4为本专利技术实施例提供的另一种节奏点检测装置的结构示意图；图5为本专利技术实施例提供的一种电子设备的结构示意图。具体实施方式...

【技术保护点】
1.一种节奏点检测方法，其特征在于，所述方法包括：/n获取待检测音频信号，根据所述待检测音频信号生成音频特征曲线；/n确定所述待检测音频信号的曲风类别；/n根据所述待检测音频信号的曲风类别确定检测峰值阈值和检测帧宽阈值；/n基于所述峰值阈值和所述帧宽阈值，确定所述音频特征曲线的节奏点。/n

【技术特征摘要】
1.一种节奏点检测方法，其特征在于，所述方法包括：
获取待检测音频信号，根据所述待检测音频信号生成音频特征曲线；
确定所述待检测音频信号的曲风类别；
根据所述待检测音频信号的曲风类别确定检测峰值阈值和检测帧宽阈值；
基于所述峰值阈值和所述帧宽阈值，确定所述音频特征曲线的节奏点。


2.根据权利要求1所述的方法，其特征在于，所述根据所述待检测音频信号生成音频特征曲线的步骤包括：
提取所述待检测音频信号对应的能量特征曲线和频谱特征曲线，根据所述能量特征曲线和频谱特征曲线生成包含融合特征值的音频特征曲线；
其中，所述音频特征曲线的横坐标为以时间基准排序后的帧序号，纵坐标为融合特征值，所述融合特征值包括：能量特征值和频谱特征值。


3.根据权利要求2所述的方法，其特征在于，基于所述峰值阈值和所述帧宽阈值，确定所述音频特征曲线的节奏点的步骤包括：
基于所述峰值阈值和所述帧宽阈值，对所述音频特征曲线进行检测，得到所述音频特征曲线的节奏点，其中，所述节奏点的融合特征值大于或等于所述峰值阈值，且所述节奏点的融合特征值为所述帧宽阈值对应的音频特征曲线的曲线段中的最大值。


4.根据权利要求3所述的方法，其特征在于，基于所述峰值阈值和所述帧宽阈值，对所述音频特征曲线进行检测，得到所述音频特征曲线的节奏点的步骤包括：
检测所述音频特征曲线的波峰值；
将超过所述峰值阈值的波峰值的帧作为待定帧；
确定所述待定帧之前的所述帧宽阈值个帧，及之后的所述帧宽阈值个帧在所述音频特征曲线上的曲线段；
如果所述曲线段中的最大值为所述待定帧对应的融合特征值，将所述待定帧确定为所述节奏点。


5.根据权利要求2所述的方法，其特征在于，根据所述能量特征曲线和频谱特征曲线生成包含融合特征值的音频特征曲线的步骤包括：
将所述能量特征曲线和所述频谱特征曲线进行融合计算，得到包含能量特征和频谱特征的融合特征曲线；
计算所述融合特征曲线的变化趋势，基于所述融合特征曲线和所述融合特征曲线的变化趋势生成所述音频特征曲线。


6.根据权利要求5所述的方法，其特征在于，将所述能量特征曲线和所述频谱特征曲线进行融合计算，得到包含能量特征和频谱特征的融合特征曲线的步骤包括：
对所述频谱特征曲线进行降维处理，得到所述频谱特征曲线对应的降维频谱特征曲线；
将所述能量特征曲线与所述降维频谱特征曲线进行融合计算，得到包含能量特征和频谱特征的融合特征曲线。


7.根据权利要求6所述的方法，其特征在于，所述融合特征曲线表示为：
其中，Fi为融合特征曲线，a为融合常数，i为多个连续的帧...

【专利技术属性】
技术研发人员：雷进，谭志鹏，陈康，张伟东，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江;33