乐谱跟随路径的确定方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及数据处理技术领域，尤其涉及一种乐谱跟随路径的确定方法、装置、电子设备及存储介质。其中，乐谱跟随路径的确定方法，包括：获取当前正在演奏的演奏音频及对应的乐谱音频；确定所述演奏音频的音符起始点，根据所述音符起始点及恒Q变换确定演奏音频特征向量；获取所述乐谱音频的泛音列分布，按照预设规则确定乐谱音频的泛音列向量；根据所述演奏音频特征向量及所述乐谱音频的特征泛音列向量确定演奏音频与乐谱音频之间的相似度矩阵；根据所述相似度矩阵确定所述演奏音频对所述乐谱音频的跟随路径。根据本申请提供的方案，实现对于乐谱音频的准确跟随。

【技术实现步骤摘要】
乐谱跟随路径的确定方法、装置、电子设备及存储介质
本申请涉及数据处理
，尤其涉及一种乐谱跟随路径的确定方法、装置、电子设备及存储介质。
技术介绍
乐谱跟随(ScoreFollowing)是确定演奏者所演奏的乐曲在乐谱上的位置，乐谱跟随是计算机识谱的重要组成部分，能够实现计算机收听现场演奏音乐，具备跟踪演奏音符在乐谱上位置的功能，利用乐谱跟随获得演奏者所演奏乐曲的跟随结果，利用跟随结果获知演奏者在演奏过程中出现的问题，如：节奏快/慢、节拍不稳、出现错音、出现跳音等，根据该跟随结果可以对演奏者的演奏水平进行测评，演奏者还可以根据测评信息调整乐曲的演奏，实现对乐曲的有效学习。现有技术中，乐谱跟随只能做到简单乐谱的跟随，对复杂乐谱的跟随准确性较低，一旦演奏者在演奏过程中变换演奏节奏或演奏中出现错乱，则无法继续进行乐谱跟随或跟随效果不佳。
技术实现思路
本申请提供一种乐谱跟随路径的确定方法、装置、电子设备及存储介质，其主要目的在于实现演奏音频对乐谱音频的准确跟随。本申请实施例首先提供了一种乐谱跟随路径的确本文档来自技高网...

【技术保护点】
1.一种乐谱跟随路径的确定方法，其特征在于，包括：/n获取当前正在演奏的演奏音频及对应的乐谱音频；/n确定所述演奏音频的音符起始点，根据所述音符起始点及恒Q变换确定演奏音频特征向量；/n获取所述乐谱音频的泛音列分布，按照预设规则确定乐谱音频的泛音列向量；/n根据所述演奏音频特征向量及所述乐谱音频的泛音列向量确定演奏音频与乐谱音频之间的相似度矩阵；/n根据所述相似度矩阵确定所述演奏音频对所述乐谱音频的跟随路径。/n

【技术特征摘要】
1.一种乐谱跟随路径的确定方法，其特征在于，包括：
获取当前正在演奏的演奏音频及对应的乐谱音频；
确定所述演奏音频的音符起始点，根据所述音符起始点及恒Q变换确定演奏音频特征向量；
获取所述乐谱音频的泛音列分布，按照预设规则确定乐谱音频的泛音列向量；
根据所述演奏音频特征向量及所述乐谱音频的泛音列向量确定演奏音频与乐谱音频之间的相似度矩阵；
根据所述相似度矩阵确定所述演奏音频对所述乐谱音频的跟随路径。


2.根据权利要求1所述的乐谱跟随路径的确定方法，其特征在于，所述确定所述演奏音频的音符起始点的步骤，包括：
根据预设处理时长切分所述演奏音频得到多个音频片段，相邻所述音频片段存在时间上的重叠；
基于相邻音频片段的重叠时间形成目标窗口；
利用神经网络确定所述目标窗口中音符起始点的触发概率，根据所述触发概率确定音符起始点。


3.根据权利要求1所述的乐谱跟随路径的确定方法，其特征在于，所述根据演奏音频的音符起始点及恒Q变换确定演奏音频特征向量的步骤，包括：
利用恒Q变换分别获得所述音符起始点的前一音符的特征向量及所述音符起始点的后一音符的特征向量；
根据所述前一音符的特征向量及后一音符的特征向量确定两个音符的特征向量差值；
基于所述特征向量差值及预设音符比对函数确定演奏音频特征向量。


4.根据权利要求3所述的乐谱跟随路径的确定方法，其特征在于，所述利用恒Q变换分别获得所述音符起始点的前一音符的特征向量及所述音符起始点的后一音符的特征向量的步骤，包括：
针对任一时间帧中时域信号及其窗函数进行恒Q变换，依次获得该时间帧中所有半音频率分量；
保留所述半音频率分量在频率方向上的局部最大值，所述局部最大值的保留数量根据所述演奏音频同时击发的和弦数量确定；
根据所述保留数量的局部最大值确定音符起始点的前一音符的特征向量及后一音符的特征向量。


5.根据权利要求1所述的乐谱跟随路径的确定方法，其特征在于，根据所述演奏音频特征向量及所述乐谱音频的泛音列向量确定演奏音频与乐谱音频之间的相似度矩阵的步骤，包括：
计算所述演奏音频特征向量与按照预设规则确...

【专利技术属性】
技术研发人员：蒋慧军，姜凯英，韩宝强，肖京，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44