动作识别方法、系统及存储介质技术方案

本发明专利技术公开动作识别方法、系统及存储介质，其中，方法包括基于预设的深度学习算法对演奏者的手指进行动作检测，生成多个与手指对应的手部检测框；根据手部检测框对手指的类型进行类别检测，得到演奏者的手指位置信息，其中，手指位置信息用于表征演奏者演奏过程中的手指的运动情况；对预设的钢琴琴键进行琴键位置采集，得到参考琴键；基于预设的姿态识别算法对演奏者的手指进行关节识别，得到手指关节集合；计算手指关节集合中每个元素与参考琴键的距离以确定与手指位置信息对应的钢琴音符；根据手指位置信息以及钢琴音符确定目标手指动作。根据本申请的技术方案，能够对演奏者的手指动作进行准确判断，提高钢琴演奏的准确性。性。性。

【技术实现步骤摘要】
动作识别方法、系统及存储介质


[0001]本专利技术涉及动作处理
，尤其涉及一种动作识别方法、系统及存储介质。

技术介绍

[0002]随着生活水平的不断提高，钢琴已经走进千家万户，然而要成为一名优秀的钢琴演奏者并不是一件容易的事，钢琴学习者需要进行大量的训练才能让水平提高到令人满意的程度。钢琴演奏的专业性要求很高，其中，指法、手型等手部姿势是否正确尤为关键。
[0003]钢琴学习者大多通过钢琴教学机构进行学习，但是学习地点和时间固定，对于上班族和时间紧缺的学习者来说很不便利，同时在学习机构中学习都是一对多学习方式，对于学习较慢的学习者来说，影响学习进度，并且学习机构的学习模式固定，学习者没有选择的空间，大大减少了学习者的学习兴趣。另外，钢琴教学资源紧张，大多数钢琴学习者在独自练习时缺少监督，若手部姿势有误且得不到及时指正，不但达不到练习效果，还会影响自身钢琴技能的提高。

技术实现思路

[0004]以下是对本文详细描述的主题的概述。
[0005]本专利技术实施例提供了一种动作识别方法、系统及存储介质，能够对演奏者的手指动作进行准确判断，提高钢琴演奏的准确性。
[0006]第一方面，本专利技术实施例提供了一种动作识别方法，包括：
[0007]基于预设的深度学习算法对演奏者的手指进行动作检测，生成多个与所述手指对应的手部检测框；
[0008]根据所述手部检测框对所述手指的类型进行类别检测，得到所述演奏者的手指位置信息，其中，所述手指位置信息用于表征所述演奏者演奏过程中的手指的运动情况；
[0009]对预设的钢琴琴键进行琴键位置采集，得到参考琴键；
[0010]基于预设的姿态识别算法对所述演奏者的手指进行关节识别，得到手指关节集合；
[0011]计算所述手指关节集合中每个元素与所述参考琴键的距离以确定与所述手指位置信息对应的钢琴音符；
[0012]根据所述手指位置信息以及所述钢琴音符确定目标手指动作。
[0013]本专利技术实施例提供的动作识别方法，至少具有如下有益效果：首先，基于预设的深度学习算法对演奏者的手指进行动作检测，生成多个与手指对应的手部检测框，从而实现对手指动作的初步定位，再根据手部检测框对手指的类型进行类别检测，得到演奏者的手指位置信息，从而得到演奏者演奏过程中的手指的运动情况，实现对演奏过程中的手指动作的初步判断，之后，对预设的钢琴琴键进行琴键位置采集，得到参考琴键，便于后续对钢琴琴键的准确识别，再基于预设的姿态识别算法对演奏者的手指进行关节识别，得到手指关节集合，实现对手指关节的精准提取，实现对演奏者的手指动作的准确判断，最后，计算
手指关节集合中每个元素与参考琴键的距离以确定与手指位置信息对应的钢琴音符，能够得到当前演奏者正在演奏的钢琴音符，便于判断当前演奏的钢琴音符是否正确，根据手指位置信息以及钢琴音符确定目标手指动作，从手指位置信息以及钢琴音符两方面进行判断，实现对演奏姿势以及演奏音符的精准判断，从而全方位提高演奏者钢琴演奏的准确性，无需人工进行监督。
[0014]在一些实施例中，所述深度学习算法包括全卷积神经网络；所述基于预设的深度学习算法对演奏者的手指进行动作检测，生成多个与所述手指对应的手部检测框，包括：
[0015]在所述演奏者演奏钢琴的过程中，对所述演奏者的手指进行图像采集，得到初始图像；
[0016]将所述初始图像输入所述全卷积神经网络进行尺度预测，输出演奏特征图；
[0017]对所述演奏特征图进行单元格划分，得到多个预测单元格；
[0018]根据所述预测单元格对预标注的目标边框以及预设的边界框进行计算，得到交并比值；
[0019]根据所述交并比值对所述边界框进行筛选，得到与所述手指对应的手部检测框。
[0020]在一些实施例中，所述根据所述手部检测框对所述手指的类型进行类别检测，得到所述演奏者的手指位置信息，包括：
[0021]对每个所述手部检测框进行置信度计算，得到与所述手部检测框对应的置信度值；
[0022]将所述置信度值与预设的阈值区间进行对比，确定所述演奏者的手指类别；
[0023]根据所述手指类别确定所述演奏者的手指位置信息。
[0024]在一些实施例中，所述对预设的钢琴琴键进行琴键位置采集，得到参考琴键，包括：
[0025]对所述钢琴琴键进行图像采集，得到钢琴图像；
[0026]对所述钢琴图像进行坐标计算，得到每个琴键的琴键坐标；
[0027]基于预设的平均算法对所有所述琴键坐标进行平均计算，确定所述参考琴键。
[0028]在一些实施例中，所述基于预设的姿态识别算法对所述演奏者的手指进行关节识别，得到手指关节集合，包括：
[0029]基于所述姿态识别算法对所述演奏者的手指进行关节识别，得到所述手指不同关节部位的关节运动信号；
[0030]根据所述关节运动信号生成与所述手指的关节部位对应的姿态特征值；
[0031]根据所述姿态特征值对所述手指的关节部位进行分类，得到多组手指节点；
[0032]根据多组所述手指节点生成所述手指关节集合。
[0033]在一些实施例中，所述计算所述手指关节集合中每个元素与所述参考琴键的距离以确定与所述手指位置信息对应的钢琴音符，包括：
[0034]计算所述手指关节集合中的多组手指节点与所述参考琴键的距离，得到多组参考距离；
[0035]将多组所述参考距离与预设的距离区间进行对比；
[0036]当所述距离区间包括所有所述参考距离，根据所述参考距离确定与所述手指位置信息对应的钢琴音符。
[0037]在一些实施例中，在所述根据所述手指位置信息以及所述钢琴音符确定目标手指动作之后，还包括：
[0038]将所述目标手指动作与预设的评分动作进行相似度计算，得到目标相似度值；
[0039]根据所述目标相似度值对所述目标手指动作进行评分，得到动作分值；
[0040]将所述钢琴音符与预设的琴谱音符进行对比；
[0041]当所述钢琴音符与所述琴谱音符一致，将所述动作分值作为目标分值。
[0042]在一些实施例中，还包括：
[0043]当所述钢琴音符与所述琴谱音符不一致，生成扣分分值，并根据所述扣分分值对所述动作分值进行扣除操作。
[0044]第二方面，本专利技术实施例还提供了一种动作识别系统，包括至少一个处理器和用于与所述至少一个处理器通信连接的存储器；所述存储器存储有能够被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的动作识别方法。
[0045]第三方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面所述的动作识别方法。
[0046]本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作识别方法，其特征在于，包括：基于预设的深度学习算法对演奏者的手指进行动作检测，生成多个与所述手指对应的手部检测框；根据所述手部检测框对所述手指的类型进行类别检测，得到所述演奏者的手指位置信息，其中，所述手指位置信息用于表征所述演奏者演奏过程中的手指的运动情况；对预设的钢琴琴键进行琴键位置采集，得到参考琴键；基于预设的姿态识别算法对所述演奏者的手指进行关节识别，得到手指关节集合；计算所述手指关节集合中每个元素与所述参考琴键的距离以确定与所述手指位置信息对应的钢琴音符；根据所述手指位置信息以及所述钢琴音符确定目标手指动作。2.根据权利要求1所述的动作识别方法，其特征在于，所述深度学习算法包括全卷积神经网络；所述基于预设的深度学习算法对演奏者的手指进行动作检测，生成多个与所述手指对应的手部检测框，包括：在所述演奏者演奏钢琴的过程中，对所述演奏者的手指进行图像采集，得到初始图像；将所述初始图像输入所述全卷积神经网络进行尺度预测，输出演奏特征图；对所述演奏特征图进行单元格划分，得到多个预测单元格；根据所述预测单元格对预标注的目标边框以及预设的边界框进行计算，得到交并比值；根据所述交并比值对所述边界框进行筛选，得到与所述手指对应的手部检测框。3.根据权利要求1所述的动作识别方法，其特征在于，所述根据所述手部检测框对所述手指的类型进行类别检测，得到所述演奏者的手指位置信息，包括：对每个所述手部检测框进行置信度计算，得到与所述手部检测框对应的置信度值；将所述置信度值与预设的阈值区间进行对比，确定所述演奏者的手指类别；根据所述手指类别确定所述演奏者的手指位置信息。4.根据权利要求1所述的动作识别方法，其特征在于，所述对预设的钢琴琴键进行琴键位置采集，得到参考琴键，包括：对所述钢琴琴键进行图像采集，得到钢琴图像；对所述钢琴图像进行坐标计算，得到每个琴键的琴键坐标；基于预设的平均算法对所有所述琴键坐标进行平均计算，确定所述参考琴键。5.根据权利要求1所述的动作识别方...

【专利技术属性】
技术研发人员：丁梦军，胡建华，李言忠，邓志坚，甘娜，邵国栋，张晓南，黄沃清，罗贵祥，张景榆，黄铿侨，曾婧，肖宇，林金彬，林良晟，钟昀烽，
申请(专利权)人：广东科学技术职业学院，
类型：发明
国别省市：