基于图像识别处理的钢琴练习纠错方法技术

本发明专利技术公开了一种基于图像识别处理的钢琴练习纠错方法，涉及智能教学技术领域。本发明专利技术方法包括以下几个步骤：步骤一、从钢琴教学视频中截取拍摄每帧指关节和钢琴按键的图像，并且对每帧图像进行预处理；步骤二、以预处理后图像进行识别计算，输出图像中包含的钢琴按键和人体指关节及其位置坐标，并且将人体指关节和钢琴按键坐标有序连线，形成标准指法模型图和标准按键顺序模型图。本发明专利技术通过图像识别将钢琴练习与教学视频进行对比分析，对练习手法、按键位置和顺序进行自动纠错，能准确找出练习者的每一步错误，并提供指导参考，实现无人监护的智能教学，可降低钢琴练习的难度。

Piano Practice Error Correction Method Based on Image Recognition Processing

The invention discloses a piano practice error correction method based on image recognition processing, which relates to the field of intelligent teaching technology. The method of the invention comprises the following steps: first, intercepting and capturing the image of finger joint and piano key in each frame from the piano teaching video, and preprocessing each frame image; second, recognizing and calculating the image after preprocessing, outputting the piano key and human finger joint and their position coordinates contained in the image, and having the coordinates of human finger joint and piano key in the image; The standard finger model diagram and the standard key sequence model diagram are formed by sequential connection. The invention compares and analyses the piano practice with the teaching video by image recognition, automatically corrects the practice technique, key position and sequence, can accurately find out each step error of the practitioner, and provides guidance and reference, realizes the intelligent teaching without supervision, and can reduce the difficulty of piano practice.

【技术实现步骤摘要】
基于图像识别处理的钢琴练习纠错方法
本专利技术属于智能教学
，特别是涉及一种基于图像识别处理的钢琴练习纠错方法。
技术介绍
正确的钢琴手型是钢琴的练习的重要部分，在钢琴弹奏中，五指需要分开，手掌拱起，整个手成半圆形，对于初学者来说，会存在五指很难分开的情况。另外，对于小孩练习钢琴时，由于孩子的手部力量较小，五指往往存在力度不够的问题，同时有部分孩子会存在掌关节凹陷，导致手型不对影响弹奏。目前，在现在的钢琴培训教育过程中，初学学员的手形指形很难保持一个正确的姿势，特别是年龄较小的学员，手指末关节很难立起来，长此以往就养成了一种不好的弹琴习惯，对演奏水平的提高有较大的阻碍，并且经常会按错钢琴按键而不自知，导致形成错误的练习，事倍功半。目前的解决的办法只能靠老师不停的提醒，并且靠老师监督有没有弹错按键，进行纠错矫正，由于老师不可能随时在身边，因此，导致初学者学习和练习钢琴的难度较大，容易产生厌恶感。
技术实现思路
本专利技术的目的在于提供一种基于图像识别处理的钢琴练习纠错方法，通过图像识别对练习手法、按键位置和顺序进行自动纠错，为钢琴初学者提供智能教学指导。本专利技术是通过以下技术方案实现的：本专利技术为一种基于图像识别处理的钢琴练习纠错方法，包括以下几个步骤：步骤一、从钢琴教学视频中截取拍摄每帧指关节和钢琴按键的图像，并且对每帧图像进行预处理；步骤二、以预处理后图像进行识别计算，输出图像中包含的钢琴按键和人体指关节及其位置坐标，并且将人体指关节和钢琴按键坐标有序连线，形成标准指法模型图和标准按键顺序模型图；步骤三、拍摄钢琴练习视频，从钢琴练习视频中截取每帧指关节和按键的图像，并且对每帧图像进行预处理；步骤四、经过对图像识别计算，输出图像中包含的钢琴按键和人体指关节及其位置坐标，并且将人体指关节和钢琴按键坐标有序连线，形成练习指法模型图和练习按键顺序模型图；步骤五、将练习指法模型图与标准指法模型图对比分析，并且将练习按键顺序模型图与标准按键顺序模型图作对比分析，输出错误指法图像和错误按键图像以实现钢琴练习纠错。进一步地，所述将练习指法模型图与标准指法模型图对比分析包括：将每帧指关节图按照时间先后顺序进行记录，将练习视频中指关节的角度、幅度特征与教学视频中标准的指关节角度、幅度特征进行对比，以特征差异程度进行评分，将评分低于阈值的练习指法图作为错误指法图像。进一步地，所述练习按键顺序模型图与标准按键顺序模型图作对比分析包括：将每帧按键图按照时间先后顺序进行记录，将练习视频中按键的位置特征与教学视频中标准的按键位置特征进行对比，将与标准的按键顺序图位置特征有差异的练习视频中的按键图确定为错误按键图像。进一步地，所述对每帧图像进行预处理包括：调整每帧指关节和钢琴按键的图像到同一尺寸；将每帧指关节和钢琴按键的图像转换成灰度图。进一步地，输出错误指法图像和错误按键图像时，同时还输出与所述错误指法图像对应的标准指法图像，以及与所述错误按键图像对应的标准按键图像。本专利技术具有以下有益效果：本专利技术通过图像识别将钢琴练习与教学视频进行对比分析，对练习手法、按键位置和顺序进行自动纠错，能准确找出练习者的每一步错误，并提供指导参考，实现无人监护的智能教学，可降低钢琴练习的难度。当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术基于图像识别处理的钢琴练习纠错方法的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。本专利技术提供的一种基于图像识别处理的钢琴练习纠错方法，包括以下几个步骤：步骤一、通过图像采集单元从钢琴教学视频中截取拍摄每帧指关节和钢琴按键的图像，并且通过图像处理单元对每帧图像进行预处理，调整每帧指关节和钢琴按键的图像到同一尺寸，并将每帧指关节和钢琴按键的图像转换成灰度图；步骤二、识别单元以预处理后图像进行识别计算，输出图像中包含的钢琴按键和人体指关节及其位置坐标，并且将人体指关节和钢琴按键坐标有序连线，处理单元通过算法计算分析，形成标准指法模型图和标准按键顺序模型图；步骤三、通过图像采集单元拍摄钢琴练习视频，从钢琴练习视频中截取每帧指关节和按键的图像，并且通过图像处理单元对每帧图像进行预处理，调整每帧指关节和钢琴按键的图像到同一尺寸，并将每帧指关节和钢琴按键的图像转换成灰度图；步骤四、识别单元经过对图像识别计算，输出图像中包含的钢琴按键和人体指关节及其位置坐标，并且将人体指关节和钢琴按键坐标有序连线，处理单元通过算法计算分析，形成练习指法模型图和练习按键顺序模型图；步骤五、处理单元再通过与存储单元存储信息进行比对计算，将练习指法模型图与标准指法模型图对比分析，将每帧指关节图按照时间先后顺序进行记录，将练习视频中指关节的角度、幅度特征与教学视频中标准的指关节角度、幅度特征进行对比，以特征差异程度进行评分，将评分低于阈值的练习指法图作为错误指法图像；并且将练习按键顺序模型图与标准按键顺序模型图作对比分析，将每帧按键图按照时间先后顺序进行记录，将练习视频中按键的位置特征与教学视频中标准的按键位置特征进行对比，将与标准的按键顺序图位置特征有差异的练习视频中的按键图确定为错误按键图像；输出错误指法图像和错误按键图像，同时还输出与错误指法图像对应的标准指法图像，以及与错误按键图像对应的标准按键图像，以实现钢琴练习纠错。在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本专利技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。以上公开的本专利技术优选实施例只是用于帮助阐述本专利技术。优选实施例并没有详尽叙述所有的细节，也不限制该专利技术仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本专利技术的原理和实际应用，从而使所属
技术人员能很好地理解和利用本专利技术。本专利技术仅受权利要求书及其全部范围和等效物的限制。本文档来自技高网...

【技术保护点】
1.一种基于图像识别处理的钢琴练习纠错方法，其特征在于：包括以下几个步骤：步骤一、从钢琴教学视频中截取拍摄每帧指关节和钢琴按键的图像，并且对每帧图像进行预处理；步骤二、以预处理后图像进行识别计算，输出图像中包含的钢琴按键和人体指关节及其位置坐标，并且将人体指关节和钢琴按键坐标有序连线，形成标准指法模型图和标准按键顺序模型图；步骤三、拍摄钢琴练习视频，从钢琴练习视频中截取每帧指关节和按键的图像，并且对每帧图像进行预处理；步骤四、经过对图像识别计算，输出图像中包含的钢琴按键和人体指关节及其位置坐标，并且将人体指关节和钢琴按键坐标有序连线，形成练习指法模型图和练习按键顺序模型图；步骤五、将练习指法模型图与标准指法模型图对比分析，并且将练习按键顺序模型图与标准按键顺序模型图作对比分析，输出错误指法图像和错误按键图像以实现钢琴练习纠错。

【技术特征摘要】
1.一种基于图像识别处理的钢琴练习纠错方法，其特征在于：包括以下几个步骤：步骤一、从钢琴教学视频中截取拍摄每帧指关节和钢琴按键的图像，并且对每帧图像进行预处理；步骤二、以预处理后图像进行识别计算，输出图像中包含的钢琴按键和人体指关节及其位置坐标，并且将人体指关节和钢琴按键坐标有序连线，形成标准指法模型图和标准按键顺序模型图；步骤三、拍摄钢琴练习视频，从钢琴练习视频中截取每帧指关节和按键的图像，并且对每帧图像进行预处理；步骤四、经过对图像识别计算，输出图像中包含的钢琴按键和人体指关节及其位置坐标，并且将人体指关节和钢琴按键坐标有序连线，形成练习指法模型图和练习按键顺序模型图；步骤五、将练习指法模型图与标准指法模型图对比分析，并且将练习按键顺序模型图与标准按键顺序模型图作对比分析，输出错误指法图像和错误按键图像以实现钢琴练习纠错。2.根据权利要求1所述的一种基于图像识别处理的钢琴练习纠错方法，其特征在于，所述将练习指法模型图与标准指法模型图对比分析包括：将每帧指关节图...

【专利技术属性】
技术研发人员：岳颀，沈建冬，于福华，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：陕西,61