一种交互式音乐节奏练习系统技术方案

本发明专利技术涉及一种交互式音乐节奏练习系统，包括音频采集模块，存储模块，节奏识别模块和播放器；音频采集模块用于从用户端采集实时音频流并把所述实时音频流保存为时域数据；节奏识别模块从时域数据中识别节奏特征，还用于比较不同音频流的节奏特征；播放器用于根据用户端指令或所述节奏特征调整音频播放的节奏快慢。本发明专利技术的技术方案可以自动识别学生演奏的节奏并根据演奏的节奏调整播放的音频节奏的快慢，具有良好的互动效果。具有良好的互动效果。具有良好的互动效果。

【技术实现步骤摘要】
一种交互式音乐节奏练习系统


[0001]本专利技术属于音频时域特征分析
，具体涉及一种交互式音乐节奏练习系统。

技术介绍

[0002]在现有的音乐教学软件中，音乐交互应用能够根据音乐的节奏点，将交互提示展示给用户，用户根据交互提示输入交互操作，对于节奏感的联系非常有帮助。鉴于很多初学者在练习演奏乐器时对节奏感的把握不好，经常与乐曲的节奏相比较出现偏差，而且，现有的音乐教学软件在节奏感练习上没有与学生产生很好的互动效果。

技术实现思路

[0003]针对以上技术问题，本专利技术提出一种交互式音乐节奏练习系统，包括音频采集模块，存储模块，节奏识别模块和播放器；
[0004]所述音频采集模块用于从用户端实时采集音频流；
[0005]所述存储模块把所述音频流保存为时域数据，所述音频流包括从用户端采集的第一音频流和从网络接口获取的第二音频流；
[0006]所述节奏识别模块从时域数据中识别并提取节奏特征；
[0007]所述节奏识别模块比较从不同音频流的时域数据中提取的节奏特征；
[0008]所述播放器用于根据用户端指令或所述节奏特征调整音频播放的节奏快慢。
[0009]本专利技术的技术方案可以自动识别学生演奏的节奏并根据演奏的节奏调整播放的音频节奏的快慢，具有良好的互动效果。
附图说明
[0010]图1：一种实施方式涉及的系统结构；
[0011]图2：一种实施方式的流程图；
[0012]图3：一种实施方式中的音频流时域数据。/>具体实施方式
[0013]以下实施例进一步说明本专利技术的内容，但不应理解为对本专利技术的限制。在不背离本专利技术精神和实质的情况下，对本专利技术方法、步骤或条件所作的修改或替换，均属于本专利技术的范围。
[0014]一些实施方式提出的系统，具有图1所示的功能模块，包括音频采集模块，存储模块，节奏识别模块和播放器；其中音频采集模块连接用户端的包括麦克风的音频采集器，音频采集模块将采集的音频处理后存储在缓存模块供节奏识别模块调用；各功能模块可以实现图2的步骤：
[0015]所述音频采集模块用于从用户端实时采集音频流；
[0016]所述存储模块把所述音频流保存为时域数据，所述音频流包括从用户端采集的第一音频流和从网络接口获取的第二音频流；
[0017]所述节奏识别模块从时域数据中识别并提取节奏特征；
[0018]所述节奏识别模块比较从不同音频流的时域数据中提取的节奏特征；
[0019]所述播放器用于根据用户端指令或所述节奏特征调整音频播放的节奏快慢。
[0020]一些实施方式的节奏识别模块从时域数据中识别并提取节奏特征的步骤具体包括：
[0021]获取窗口时间段内的所述时域数据，计算所述时域数据的包括起点时间、持续时间、音量峰值的时域分析数据，优选地，时域分析数据还包括峰值因子、脉冲因子、裕度因子、偏度和峭度；
[0022]将所述时域数据的时域分析数据保存成节奏特征矩阵。
[0023]上述术语基于本领域技术公知常识应理解为：
[0024]音量峰值包括峰值音量电平，分贝dB为单位；峰值因子是音频信号峰值与有效值(RMS)的比值，代表的是峰值在波形中的极端程度；脉冲因子是音频信号峰值与整流平均值(绝对值的平均值)的比值；裕度因子是音频信号峰值与方根幅值的比值。偏度也叫偏斜度、偏态；是三阶中心矩和标准差的三次方的比值；峭度是四阶中心矩和标准差的四次方的比值；偏度与峭度描述了音频信号分布情况。
[0025]具体地，可根据用户端指令进行所述窗口时间段设置。
[0026]一些实施方式的节奏识别模块从时域数据中识别并提取节奏特征的步骤还具体包括：
[0027]将第二音频流分成若干时间区间，按时间顺序遍历不同时间区间上的所述第二音频流的时域数据；
[0028]将所述第一音频流的节奏特征矩阵与所述第二音频流的节奏特征矩阵匹配，若匹配成功，标记所述第一音频流的节奏特征矩阵的窗口时间段在所述第二音频流中所对应的时间区间；
[0029]一些实施方式在以上实施方式的基础上，具体地，播放器根据时间区间与所述时间窗口调整所述第二音频流的播放速度。
[0030]一些实施方式的节奏识别模块从时域数据中识别并提取节奏特征的步骤具体还包括降噪步骤、振幅包络线分析、计算短时平均能量、计算能量均方根、计算过零率、计算短时自相关函数。
[0031]振幅包络线是将不同频率的振幅最高点连结起来形成的曲线。
[0032]短时平均能量可以用来从清音中区分浊音(浊音的En比清音大得多)，可以用来确定声母和韵母、无声与有声、连字等的分界，还可以作为一种超音段信息用于语音识别。
[0033]计算短时平均能量包括的步骤：先计算信号格采样值的平方，然后用一个移动窗h(n
‑
m)选取出一个个短时平方序列，并将各段的平方值求和，从而得到短时能量序列。
[0034]均方根能量RMS表达的是一帧内所有样本点的一个综合信息能表达响度的信息，可应用于音频分割、音乐流派分类。
[0035]在语音录制过程中，由于多种原因，包括静态效应、麦克风上的呼吸和50Hz交流电压信号，录制的语音信号很可能会在非零时变值附近振荡(偏移)。为了避免在一帧内出现
这种漂移，一种简单的方法是通过多项式拟合来识别时变零曲线(就是说即使没有声音的情况下，也有在0点附近的信号时变近0信号)，并通过在原始帧的曲线中删除噪音子轨道来消除漂移。
[0036]对于语音序列x(n)，第i帧语音信号为x_{i}(m)，则短时自相关函数的定义为
[0037]R_{i}(k)＝\sum_{m＝1}^{N
‑
m}x_{i}(m)x_{i}(m+k)k为时间延迟量。相关函数用于测定两个信号的时域相似性。
[0038]一些实施方式的系统，节奏识别模块从时域数据中识别并提取节奏特征的步骤还具体包括：识别所述音频流的节奏特征矩阵中的节奏型特征，所述节奏型特征包括在所述时间窗口内的音量峰值分布，所述节奏型特征具体包括音值均分型、长短交替型、附点节奏型、切分节奏型、含有休止符的节奏型。
[0039]本专利技术所适合的一个应用场景中，用户使用该系统作为架子鼓的节奏练习目的，在练习过程中，用户端播放从网络获取的音乐的标准乐谱数据作为练习模板(即第二音频流)，同时打开麦克风采集架子鼓所演奏的音乐(即第一音频流)。
[0040]该场景中，对采集到的架子鼓所演奏的音乐保存的时域数据，获取其中按照8beat小节的时间窗口T内的一段时域数据进行以下处理：
[0041]将该时间窗口T等分成8段，每段对应8beat中的一个beat，计算如图3的每个时间段上出现的音量峰值个数(或其他类型的时域分析数据)，将该计算结果表征为一个8维度的向量：V1＝[0,2,1,0,0,1,1,0]；该向量可作为节奏特征矩阵中的一个向量，用于识别时域数据中出现的节奏型。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交互式音乐节奏练习系统，其特征在于，所述系统包括音频采集模块，存储模块，节奏识别模块和播放器；所述音频采集模块用于从用户端实时采集音频流；所述存储模块把所述音频流保存为时域数据，所述音频流包括从用户端采集的第一音频流和从网络接口获取的第二音频流；所述节奏识别模块从时域数据中识别并提取节奏特征；所述节奏识别模块比较从不同音频流的时域数据中提取的节奏特征；所述播放器用于根据用户端指令或所述节奏特征调整音频播放的节奏快慢。2.如权利要求1所述的系统，其特征在于，所述节奏识别模块从时域数据中识别并提取节奏特征的步骤具体包括：获取窗口时间段内的所述时域数据，计算所述时域数据的包括起点时间、持续时间、音量峰值的时域分析数据，优选地，时域分析数据还包括峰值因子、脉冲因子、裕度因子、偏度和峭度；将所述时域数据的时域分析数据保存成节奏特征矩阵。3.如权利要求2所述的系统，其特征在于，所述节奏识别模块从时域数据中识别并提取节奏特征的步骤还具体包括：将第二音频流分成若干时间区间，按时间顺序遍历不同时间区间上的所述第二音频流的时域数据；将所述第一音频流的节奏特征矩阵与所述第二音频流的节奏特征矩阵匹配，若匹配成功，标记所述第一音频流的节奏特征矩阵的窗口时间段在所述第二音频流中所对应的时间区间。4.如权利要求3所述的系统，其特征在于，所述节奏识别模块从时域数据中识别并提取节奏特征的步骤还具体包括：识别所述音频流的节奏特征矩阵中的节奏型特征，所述节奏型特征包括在所述时间窗口内的音量峰值分布，所述节奏型...

【专利技术属性】
技术研发人员：李现峰，葛宏宇，王超，郭达，
申请(专利权)人：北京金三惠科技有限公司，
类型：发明
国别省市：