一种基于运动检测辅助识别的打击乐智能教育系统技术方案

本发明专利技术涉及一种基于运动检测辅助识别的打击乐智能教育系统，包括鼓棒、架子鼓和主机，鼓棒上安装有加速度传感器和陀螺仪传感器，主机还用于采集架子鼓的音频数据，数据处理过程包括在静止时刻，获取重力加速度值，确定鼓棒所握的位置；鼓棒动作时，根据陀螺仪传感器采集旋转量，基于静止时的重力加速度值，计算当前的重力加速度，然后与当前加速度传感器获取的数据作差，得到鼓棒去除重力后的加速度，最后结合鼓棒头部位置，计算鼓棒的打击坐标力度；根据音频数据提取音频特征；根据音频特征和鼓棒的打击坐标力度通过神经网络识别音色和力度，用于评分。与现有技术相比，本发明专利技术具有识别率高、打击时间获取准确、增加了手法识别等优点。等优点。等优点。

【技术实现步骤摘要】
一种基于运动检测辅助识别的打击乐智能教育系统


[0001]本专利技术涉及打击乐识别
，尤其是涉及一种基于运动检测辅助识别的打击乐智能教育系统。

技术介绍

[0002]现有的打击乐识别采用通过音频采集打击乐的发音，通过对音频的分析得到音频的短时功率谱，过零率等参数，初步该音频属于那种乐器。再利用动态时间归整比较各类乐器特征参数(MFCC)，通过编辑距离，神经网络学习等方法，得到乐器的种类和打击点。
[0003]如公开号为CN110310666A的专利技术公开了一种基于SE卷积网络的乐器识别方法及系统，方法包括如下步骤：待识别数据预处理，将待识别音频文件转换为待识别自相关谱图；待识别数据识别，将待识别自相关谱图输入预先构建的乐器识别模型进行识别，得到输出结果矩阵；乐器解析，将乐器识别模型的输出结果矩阵整合解析为自然语言表示的乐器标签。
[0004]现有的识别方法的不足之处在于系统的识别率比较低，识别的乐器打击时间的误差较大，比较小的乐器声被大声淹没，无法指出打击动作错误。

技术实现思路

[0005]本专利技术的目的就是为了克服上述现有技术存在系统的识别率比较低，识别的乐器打击时间的误差较大的缺陷而提供一种基于运动检测辅助识别的打击乐智能教育系统。
[0006]本专利技术的目的可以通过以下技术方案来实现：
[0007]一种基于运动检测辅助识别的打击乐智能教育系统，包括鼓棒、架子鼓和主机，所述鼓棒上安装有加速度传感器和陀螺仪传感器，所述加速度传感器和陀螺仪传感器均通讯连接所述主机，所述主机还用于采集架子鼓的音频数据，所述主机的数据处理过程包括以下步骤：
[0008]初始校正步骤：在乐曲开始前的一个静止时刻，根据所述加速度传感器的探测值，得到重力加速度值，确定当前鼓棒所握的位置；
[0009]打击坐标力度识别步骤：鼓棒动作时，根据所述陀螺仪传感器采集鼓棒的旋转量，并根据所述初始校正步骤中获取的重力加速度值，计算当前的重力加速度，然后与当前加速度传感器获取的数据作差，得到鼓棒去除重力后的加速度，并基于所述鼓棒所握的位置，得到鼓棒头部的位置，最后根据动量定理计算鼓棒的打击坐标力度；
[0010]音频特征提取步骤：根据所述音频数据，提取音频特征；
[0011]打击乐识别步骤：将所述音频特征和鼓棒的打击坐标力度载入预先建立并训练好的打击识别神经网络模型中，得到打击乐器的音色和力度，
[0012]评分步骤：根据所述打击乐器的音色和力度，给出乐曲评分。
[0013]进一步地，所述加速度传感器的数量为三个，三个加速度传感器两两正交设置，用于获取三个方向的加速度；
[0014]所述初始校正步骤中根据三个方向的重力加速度进行三角运算，确定当前鼓棒所握的位置。
[0015]进一步地，所述陀螺仪传感器的数量为三个，三个陀螺仪传感器两两正交设置，用于获取三个方向的旋转量，三个陀螺仪传感器与所述三个加速度传感器的位置相对应；
[0016]根据三个陀螺仪传感器获取的三个方向的旋转量分量，与所述初始校正步骤中获取的三个方向的重力加速度分别进行乘法计算，得到当前的重力加速度。
[0017]进一步地，根据所述鼓棒去除重力后的加速度进行积分运算，求取速度曲线，并根据速度时间，得到鼓棒相对于在初始校正步骤中的位置；并基于所述鼓棒所握的位置，得到鼓棒头部的位置。
[0018]进一步地，所述主机的数据处理过程还包括：根据鼓棒头部的位置的瞬间变化，确定鼓棒的状态，该鼓棒的状态包括平移、往下击打和反弹；
[0019]所述评分步骤包括：根据所述打击乐器的音色、力度和鼓棒的状态，给出乐曲评分。
[0020]进一步地，所述主机的数据处理过程还包括：根据所述加速度传感器和陀螺仪传感器的比例，得到鼓棒的用力点，该鼓棒的用力点包括手腕和全身；
[0021]所述评分步骤包括：根据所述打击乐器的音色、力度、鼓棒的状态和鼓棒的用力点，给出乐曲评分。
[0022]进一步地，音频特征提取步骤中，通过提取所述音频数据中时域的ADSR包络变化及频域的MFCC变化特征，得到所述音频特征。
[0023]进一步地，根据实时获取所述音色和力度，与预设的打击乐谱进行对比，判断打击的正确率，从而得到所述乐曲评分。
[0024]进一步地，所述打击识别神经网络模型的训练过程具体为：
[0025]获取训练数据，该训练数据包括模型输入数据和实际的打击动作结果，将该训练数据载入预先建立的打击识别神经网络模型中，进行模型训练，直至达到预设的训练停止条件，获取训练好的打击识别神经网络模型。
[0026]进一步地，所述打击识别神经网络模型采用BP神经网络。
[0027]与现有技术相比，本专利技术具有以下优点：
[0028](1)识别率提高：通过重建打击位置，通过打击位置参数，结合音频，能提高系统打击乐器和打击坐标力度的识别率；
[0029](2)打击时间精确：通过加速度传感器和陀螺仪传感器的数据，计算鼓棒去除重力后的加速度，能直接获取打击动作，获得精确的打击时间；
[0030](3)增加手法识别：通过加速度和陀螺仪数据分析可以得出打击手法状态和敲击的发力位置，有利教育辅助。
附图说明
[0031]图1为本专利技术实施例中提供的一种基于运动检测辅助识别的打击乐智能教育系统的硬件结构示意图；
[0032]图2为本专利技术实施例中提供的一种基于运动检测辅助识别的打击乐智能教育系统的打击乐器音色和力度识别过程示意图；
[0033]图中，1为主机，2为鼓棒，3为录音器。
具体实施方式
[0034]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。
[0035]因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0036]实施例1
[0037]如图1和图2所示，本实施例提供一种基于运动检测辅助识别的打击乐智能教育系统，包括鼓棒2、架子鼓和主机1，鼓棒上安装有加速度传感器和陀螺仪传感器，加速度传感器和陀螺仪传感器均通讯连接主机，本实施例中通过蓝牙通讯连接，主机还用于采集有架子鼓的音频数据，本实施例中通过录音器3采集音频数据，主机的数据处理过程包括以下步骤：
[0038]初始校正步骤：在乐曲开始前的一个静止时刻，根据加速度传感器的探测值，得到重力加速度值，确定当前鼓棒所握的位置；
[0039]打击坐标力度识别步骤：鼓棒动作时，根据陀螺仪传感器采集鼓棒的旋转量，并根据初始校正步骤中获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于运动检测辅助识别的打击乐智能教育系统，包括鼓棒、架子鼓和主机，其特征在于，所述鼓棒上安装有加速度传感器和陀螺仪传感器，所述加速度传感器和陀螺仪传感器均通讯连接所述主机，所述主机还用于采集架子鼓的音频数据，所述主机的数据处理过程包括以下步骤：初始校正步骤：在乐曲开始前的一个静止时刻，根据所述加速度传感器的探测值，得到重力加速度值，确定当前鼓棒所握的位置；打击坐标力度识别步骤：鼓棒动作时，根据所述陀螺仪传感器采集鼓棒的旋转量，并根据所述初始校正步骤中获取的重力加速度值，计算当前的重力加速度，然后与当前加速度传感器获取的数据作差，得到鼓棒去除重力后的加速度，并基于所述鼓棒所握的位置，得到鼓棒头部的位置，最后根据动量定理计算鼓棒的打击坐标力度；音频特征提取步骤：根据所述音频数据，提取音频特征；打击乐识别步骤：将所述音频特征和鼓棒的打击坐标力度载入预先建立并训练好的打击识别神经网络模型中，得到打击乐器的音色和力度，评分步骤：根据所述打击乐器的音色和力度，给出乐曲评分。2.根据权利要求1所述的一种基于运动检测辅助识别的打击乐智能教育系统，其特征在于，所述加速度传感器的数量为三个，三个加速度传感器两两正交设置，用于获取三个方向的加速度；所述初始校正步骤中根据三个方向的重力加速度进行三角运算，确定当前鼓棒所握的位置。3.根据权利要求2所述的一种基于运动检测辅助识别的打击乐智能教育系统，其特征在于，所述陀螺仪传感器的数量为三个，三个陀螺仪传感器两两正交设置，用于获取三个方向的旋转量，三个陀螺仪传感器与所述三个加速度传感器的位置相对应；根据三个陀螺仪传感器获取的三个方向的旋转量分量，与所述初始校正步骤中获取的三个方向的重力加速度分别进行乘法计算，得到当前的重力加速度。4.根据权利要求3所述的一种基于运动检测辅助识别的打击乐智能教育系统，其特...

【专利技术属性】
技术研发人员：高建平，
申请(专利权)人：上海渐华科技发展有限公司，
类型：发明
国别省市：