一种钢琴演奏评分系统及其方法技术方案

本发明专利技术公开了一种钢琴演奏评分系统及其方法，其中所述方法包括如下步骤：提取演奏音频的音乐特征，并对其进行归一化处理；将归一化处理后的音乐特征作为神经网络数学模型的输入，获取演奏音频的琴键后验概率特征序列；将演奏音频的琴键后验概率特征序列与模板音频的琴键后验概率特征序列进行模板匹配处理，获得描述匹配程度的多个音乐特征，以评判演奏音频；将描述匹配程度的多个音乐特征输入钢琴演奏评分模型，以获得评分结果。本发明专利技术所公开的技术方案克服了传统的评分方式中因评分者个人差异所带来的主观因素偏差，真实地反映演奏者的真实水平，且能够为钢琴学习者的自行练习提供必要的评分。

【技术实现步骤摘要】
一种钢琴演奏评分系统及其方法
本专利技术涉及语音处理
，尤其涉及一种钢琴演奏的评分系统及其方法。
技术介绍
近年来，随着物质生活水平的提高，人们对精神生活的质量提出了更高的要求，越来越多人选择学习钢琴。然而，传统的钢琴演奏水平的评价采用人工评分方式进行，尤其是钢琴演奏的现场考核。现场钢琴演奏完成后，利用表格的形式，把考试曲目的演奏内容拆分成各个具体细节要求，每位评分者根据演奏者现场发挥的水平各自进行评分。尽管为了摒弃评分者主观喜好厌恶的个人色彩，其最终得分的取值方式是将所有评分者的分数相加后取平均分，但是人工评价机制的先天缺陷决定了其仍然不能从根本上消除主观因素带来的偏差。此外，人工评分方式往往忽视了各评价指标与演唱效果之间的非线性关系，不能真实地反映演奏者的真实水平。另外，对于钢琴初学者而言，在音乐教师或音乐专业人士不在场的情况下其仍然需要自行练习。然而，没有专业人士的评分，初学者并不真正清楚自己钢琴演奏的好坏，使得自学效果大打折扣。
技术实现思路
本专利技术的主要目的在于提供一种钢琴演奏自动评分系统及方法，以克服传统的评分方式中因评分者个人差异所带来的主观因素偏差，真实地反映演奏者的真实水平，且能够为钢琴学习者的自行练习提供必要的评分。为了实现上述目的，根据本专利技术的一个方面，提供了一种钢琴演奏评分方法，包括如下步骤：提取演奏音频的音乐特征，并对其进行归一化处理；将归一化处理后的音乐特征作为神经网络数学模型的输入，获取所述演奏音频的琴键后验概率特征序列；将所述演奏音频的琴键后验概率特征序列与模板音频的琴键后验概率特征序列进行模板匹配处理，获得描述匹配程度的多个音乐特征，以评判所述演奏音频；将所述描述匹配程度的多个音乐特征输入钢琴演奏评分模型，以获得评分结果。进一步地，所述提取演奏音频的音乐特征，并对其进行归一化处理的步骤包括：对所述演奏音频提取其常数Q变换的音乐特征，并对常数Q变换的音乐特征进行归一化处理；所述将归一化处理后的音乐特征作为神经网络数学模型的输入，获取所述演奏音频的琴键后验概率特征序列的步骤包括：将归一化后的常数Q变换的音乐特征作为卷积神经网络声学模型的输入，其输出为每一帧对应的琴键后验概率，以获取所述演奏音频的琴键后验概率特征序列；所述将所述演奏音频的琴键后验概率特征序列与模板音频的琴键后验概率特征序列进行模板匹配处理，获得描述匹配程度的多个音乐特征，以评判所述演奏音频的步骤包括：将所述演奏音频的琴键后验概率特征序列与模板音频的琴键后验概率特征序列作动态时间规整算法处理，获得规整路径及积累代价，并从所述规整路径及积累代价中提取音乐特征，从而获得用以评判所述演奏音频的多个音乐特征；所述将所述描述匹配程度的多个音乐特征输入钢琴演奏评分模型，以获得评分结果的步骤包括：将所述描述匹配程度的多个音乐特征输入有监督回归模型，以获得钢琴演奏的评分结果。进一步地，所述提取演奏音频的音乐特征，并对其进行归一化处理的步骤进一步包括：对所述演奏音频的每一帧，生成维度为D的常数Q变换特征向量，并对其进行均值归一化处理。进一步地，所述将归一化处理后的音乐特征作为神经网络数学模型的输入，获取所述演奏音频的琴键后验概率特征序列的步骤进一步包括：将均值归一化处理后的常数Q变换特征向量以窗的形式作为所述卷积神经网络声学模型的输入，而窗的中心帧所对应的琴键后验概率特征为所述卷积神经网络声学模型的输出；所述卷积神经网络声学模型由2个二维卷积层以及1个全连接层组成，其中，第一个卷积层采用50个30×5的卷积核以及3×1的池化核，第二个卷积采用50个10×3的卷积核以及3×1的池化核，二维转换至一维的数据则被输出至全连接层，以获得88维或12维的琴键后验概率特征。进一步地，所述将所述演奏音频的琴键后验概率特征序列与模板音频的琴键后验概率特征序列进行模板匹配处理，获得描述匹配程度的多个音乐特征，以评判所述演奏音频的步骤进一步包括：采用如下公式更新积累矩阵中的节点Ci,j：Ci,j＝min{Cx,y+tx,y,i,j+di,j}，其中，x,y∈{(i,j-1),(i-1,j),(i-1,j-1),(i-2,j-1),(i-1,j-2)}，di,j表示节点ni,j的代价即所述演奏音频的第i帧与所述模板音频的第j帧的余弦距离；tx,y,i,j表示从节点ni,j转移到节点nx,y的代价；Ci,j则表示所述规整路径上的积累代价；在所述积累矩阵上回溯以获得所述规整路径；从所述规整路径中提取平均代价c、路径上暂停的次数h以及帧的比率r，并将其作为所述有监督回归模型的输入。进一步地，所述钢琴演奏评分方法还包括如下步骤：将训练数据中的所有音频降采样至16KHZ，并提取向量维度D分别为294和88的常数Q变换特征，以每首音频为单位对其进行均值方差归一化处理；以窗的形式将所述常数Q变换特征的每一帧都处理成维度为D×w的矩阵，其中w为窗长，采用所述卷积神经网络声学模型提取常数Q变换特征中每一帧对应的钢琴键是否被弹下的后验概率，从而使得所述卷积神经网络声学模型得到训练。根据本专利技术的另一方面，提供了一种钢琴演奏评分装置，包括：音乐特征提取模块，用于提取演奏音频的音乐特征，并对其进行归一化处理；琴键后验概率特征序列获取模块，用于将归一化处理后的音乐特征作为神经网络数学模型的输入，获取所述演奏音频的琴键后验概率特征序列；模板匹配处理模块，用于将所述演奏音频的琴键后验概率特征序列与模板音频的琴键后验概率特征序列进行模板匹配处理，获得描述匹配程度的多个音乐特征，以评判所述演奏音频；评分生成模块，用于将所述描述匹配程度的多个音乐特征输入钢琴演奏评分模型，以获得评分结果。进一步地，所述音乐特征提取模块包括常数Q变换模块，所述常数Q变换模块用于对所述演奏音频提取其常数Q变换的音乐特征，并对常数Q变换的音乐特征进行归一化处理；所述琴键后验概率特征序列获取模块包括卷积神经网络模块，所述卷积神经网络模块用于将归一化后的常数Q变换的音乐特征作为卷积神经网络声学模型的输入，输出每一帧对应的琴键后验概率，以获取所述演奏音频的琴键后验概率特征序列；所述匹配处理模块包括动态时间规整模块，所述动态时间规整算法模块用于将所述演奏音频的琴键后验概率特征序列与模板音频的琴键后验概率特征序列作动态时间规整算法处理，获得规整路径及积累代价，并从所述规整路径及积累代价中提取音乐特征，从而获得用以评判所述演奏音频的多个音乐特征；所述评分生成模块包括有监督回归模型模块，所述有监督回归模型模块用于将所述描述匹配程度的多个音乐特征输入有监督回归模型，以获得钢琴演奏的评分结果。根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时，使得所述处理器执行任一种所述钢琴演奏评分方法的步骤。根据本专利技术的又一方面，还提供了一种计算机设备，包括存储器和处理器，所述存储器中储存有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行任一种所述钢琴演奏评分方法的步骤。本专利技术的技术方案至少具备如下有益效果：输入演奏音频录音后，提取其常数Q变换特征并通过已经训练好的卷积神经网络模型提取其琴键后验概率特征，将提取出的演奏音频琴键本文档来自技高网...

【技术保护点】
1.一种钢琴演奏评分方法，其特征在于，包括如下步骤：提取演奏音频的音乐特征，并对其进行归一化处理；将归一化处理后的音乐特征作为神经网络数学模型的输入，获取所述演奏音频的琴键后验概率特征序列；将所述演奏音频的琴键后验概率特征序列与模板音频的琴键后验概率特征序列进行模板匹配处理，获得描述匹配程度的多个音乐特征，以评判所述演奏音频；将所述描述匹配程度的多个音乐特征输入钢琴演奏评分模型，以获得评分结果。

【技术特征摘要】
1.一种钢琴演奏评分方法，其特征在于，包括如下步骤：提取演奏音频的音乐特征，并对其进行归一化处理；将归一化处理后的音乐特征作为神经网络数学模型的输入，获取所述演奏音频的琴键后验概率特征序列；将所述演奏音频的琴键后验概率特征序列与模板音频的琴键后验概率特征序列进行模板匹配处理，获得描述匹配程度的多个音乐特征，以评判所述演奏音频；将所述描述匹配程度的多个音乐特征输入钢琴演奏评分模型，以获得评分结果。2.根据权利要求1所述的钢琴演奏评分方法，其特征在于，所述提取演奏音频的音乐特征，并对其进行归一化处理的步骤包括：对所述演奏音频提取其常数Q变换的音乐特征，并对常数Q变换的音乐特征进行归一化处理；所述将归一化处理后的音乐特征作为神经网络数学模型的输入，获取所述演奏音频的琴键后验概率特征序列的步骤包括：将归一化后的常数Q变换的音乐特征作为卷积神经网络声学模型的输入，其输出为每一帧对应的琴键后验概率，以获取所述演奏音频的琴键后验概率特征序列；所述将所述演奏音频的琴键后验概率特征序列与模板音频的琴键后验概率特征序列进行模板匹配处理，获得描述匹配程度的多个音乐特征，以评判所述演奏音频的步骤包括：将所述演奏音频的琴键后验概率特征序列与模板音频的琴键后验概率特征序列作动态时间规整算法处理，获得规整路径及积累代价，并从所述规整路径及积累代价中提取音乐特征，从而获得用以评判所述演奏音频的描述匹配程度的多个音乐特征；所述将所述描述匹配程度的多个音乐特征输入钢琴演奏评分模型，以获得评分结果的步骤包括：将所述描述匹配程度的多个音乐特征输入有监督回归模型，以获得钢琴演奏的评分结果。3.根据权利要求2所述的钢琴演奏评分方法，其特征在于，所述提取演奏音频的音乐特征，并对其进行归一化处理的步骤进一步包括：对所述演奏音频的每一帧，生成维度为D的常数Q变换特征向量，并对其进行均值归一化处理。4.根据权利要求3所述的钢琴演奏评分方法，其特征在于，所述将归一化处理后的音乐特征作为神经网络数学模型的输入，获取所述演奏音频的琴键后验概率特征序列的步骤进一步包括：将均值归一化处理后的常数Q变换特征向量以窗的形式作为所述卷积神经网络声学模型的输入，而窗的中心帧所对应的琴键后验概率特征为所述卷积神经网络声学模型的输出；所述卷积神经网络声学模型由2个二维卷积层以及1个全连接层组成，其中，第一个卷积层采用50个30×5的卷积核以及3×1的池化核，第二个卷积采用50个10×3的卷积核以及3×1的池化核，二维转换至一维的数据则被输出至全连接层，以获得88维或12维的琴键后验概率特征。5.根据权利要求2所述的钢琴演奏评分方法，其特征在于，所述将所述演奏音频的琴键后验概率特征序列与模板音频的琴键后验概率特征序列进行模板匹配处理，获得描述匹配程度的多个音乐特征，以评判所述演奏音频的步骤进一步包括：采用如下公式更新积累矩阵中的节点Ci,j：Ci,j＝min{Cx,y+tx,y,i,j+di,j}，其中，x,y∈{(i,j-...

【专利技术属性】
技术研发人员：宋占美，刘小林，李昕，李明，伊华，
申请(专利权)人：山东英才学院，
类型：发明
国别省市：山东,37