一种用于辅助钢琴教学的智能识别弹奏错误的方法及系统技术方案

本发明专利技术提供一种用于辅助钢琴教学的智能识别弹奏错误的方法，包括：从钢琴键盘上方获取弹奏钢琴的包含完整钢琴键盘的2D图像；通过钢琴键盘检测网络对所述2D图像进行目标检测以检测出以2D图像的相对位置坐标表示的钢琴键盘区域，并通过转换获得2D图像原始坐标下的钢琴键盘位置坐标；通过手部检测网络对以钢琴键盘位置坐标表示的钢琴键盘区域进行目标检测以检测出以钢琴键盘区域的相对位置坐标表示的手部区域，并通过转换获得2D图像原始坐标下的手部位置坐标；通过手型错误检测网络识别以手部位置坐标表示的手部区域中的手型错误类型以及以手部区域的相对位置坐标表示的手型错误位置，并通过转换获得2D图像原始坐标下的手型错位位置坐标。的手型错位位置坐标。的手型错位位置坐标。

【技术实现步骤摘要】
一种用于辅助钢琴教学的智能识别弹奏错误的方法及系统


[0001]本专利技术涉及深度学习领域，尤其涉及一种用于辅助钢琴教学的智能识别弹奏错误的方法及系统。

技术介绍

[0002]目前钢琴教学大多数采用的是教师当面指导教学的方式，这种方式受人力、时间、金钱、教师水平等因素限制，大大增加了钢琴学习的难度。随着AI时代的到来，人工智能技术成为了解决钢琴学习问题的一个突破口，诞生了越来越多的智能钢琴教学系统。现有的智能钢琴教学系统存在以下主要缺点：
[0003]1、大部分方案采用的是基于特征比对的方法，首先，通过数学模型，建立一个正确手型的标准数据库；然后，构建预测模型，用于抽取预测图片的特征，将该特征与标准数据库进行比对，从而判断是否为错误的弹奏手型。这种方式的难点在于构建标准数据库是一个复杂且低效的过程，由于人手的大小、关节比例等具有很大的差异，这就导致在使用关节角度或关节长度构建标准手型时，具有较大的主观性，是不太准确的。同时，由于手与相机角度的变化，即使是差异很大的手型，在做比对时，也可能得出一个很高的相似度，导致得出错误结论。因此，特征比对的方法鲁棒性差，主观性高，识别率低。
[0004]2、在构建预测模型时，很多方法使用双目或者深度相机得到三维数据，从而构建3D模型。相比于2D视觉模型，3D模型计算量大、设计复杂、性差，对硬件要求高，需要大算力的芯片支持，深度相机和大算力芯片都会大大增加成本。
[0005]3、现有方法缺少一个系统全面的钢琴手型和指法校正方案。手型错误只能判断对与错，不能判断是哪种错误，也不能指出错误位置在哪里，指导学生矫正错误的能力不足。当前还没有很好的方法对按键和手指进行精确绑定，5根手指与88个键的组合有成百上千种，现有方法无法对指法错误进行精确的识别。

技术实现思路

[0006]因此，本专利技术的目的在于克服上述现有技术的缺陷，提供一种能够准确识别弹奏错误的用于辅助钢琴教学的智能识别弹奏错误的方法及系统。
[0007]根据本专利技术的第一方面，提供一种用于辅助钢琴教学的智能识别弹奏错误的方法，用于从弹奏钢琴的2D图像中识别出手型错误、和/或指法错误，所述方法包括：从钢琴键盘上方获取弹奏钢琴的包含完整钢琴键盘的2D图像；通过钢琴键盘检测网络对所述2D图像进行目标检测以检测出以2D图像的相对位置坐标表示的钢琴键盘区域，并将所述用于表示钢琴键盘区域的2D图像的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的钢琴键盘位置坐标；通过手部检测网络对以钢琴键盘位置坐标表示的钢琴键盘区域进行目标检测以检测出以钢琴键盘区域的相对位置坐标表示的手部区域，并将所述用于表示手部区域的钢琴键盘区域的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的手部位置坐标；通过手型错误检测网络识别以手部位置坐标表示
的手部区域中的手型错误类型以及以手部区域的相对位置坐标表示的手型错误位置，并将所述用于表示手型错误位置的手部区域的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的手型错位位置坐标。在本专利技术的一些实施例中，本专利技术方法还包括：从所述以钢琴键盘位置坐标表示的钢琴键盘区域中将每个琴键划分出来得到以钢琴键盘区域的相对位置坐标表示的不同琴键，并将每个用于表示琴键的钢琴键盘区域的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的琴键坐标；通过指尖特征点检测网络从以手部位置坐标表示的手部区域中检测出以手部区域的相对位置坐标表示的不同手指的指尖特征点，并将每个用于表示不同手指的指尖特征点的手部区域的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的指尖坐标；基于指尖坐标和琴键坐标进行位置判断，将落在琴键上的指尖与该琴键进行绑定获得手指按键绑定关系，并将弹奏同一个音符的手指按键绑定关系和曲谱数据库中的标准绑定关系进行对比以检测指法错误。采用本专利技术方法，可以直接通过2D图像精确识别出弹奏过程中的具体错误，计算量小。
[0008]优选的，上述方法中，在检测出钢琴键盘区域后，将钢琴键盘区域对应的钢琴键盘位置坐标进行第一预设像素的扩展，获得包含完整手部的钢琴键盘有效区域，然后基于钢琴键盘有效区域进行后续处理。优选的，所述第一预设像素为200像素。通过像素扩展，可以有效避免因有些2D图像中因为拍照角度或者手在键盘的位置不同导致的手部不完整而带来的识别不准确的问题，同时，通过直接对钢琴键盘有效区域进行弹奏错误的识别，无需对整个图像进行识别，极大的减少了计算工作量，降低了硬件开销。
[0009]优选的，在本专利技术的一些实施例中，在检测出手部区域后，基于钢琴键盘位置坐标和手部位置坐标的对比，过滤掉未落在钢琴键盘上的手的坐标即去掉未落在钢琴键盘上的手的信息，将落在钢琴键盘上的手的坐标边界向四个方向进行第二预设像素的扩展，获得包含落在钢琴键盘上的手的完整手部的手部有效区域以及对应手部位置坐标。优选的，所述第二预设像素为30像素。通过手部位置坐标的过滤，可以有效剔除未落在钢琴键盘上的手的数据无需对其进行弹奏错误识别，仅对落在钢琴键盘上的手进行弹奏错误识别，缩短了识别时间，减少计算工作量。
[0010]上述方法中，钢琴键盘检测网络、手部检测网络、手型错误检测网络、指尖特征点检测网络均通过神经网络训练得到，可以智能准确地进行目标检测是错误识别。在本专利技术的一些实施例中，通过如下方式对神经网络进行训练以获得所述钢琴键盘检测网络、手部检测网络、手型错误检测网络、指尖特征点检测网络：
[0011]S1、采集多个人在多种场景下的弹奏不同类型钢琴的图像，形成原始数据集，使原始数据集中的图像覆盖现有技术下所有钢琴类型对应的场景和全错误类型；
[0012]S2、对原始数据集进行标注，包括标注钢琴键盘位置坐标，标注手部位置坐标，标注手型错误类型和手型错误位置坐标，标注不同手指指尖特征点坐标，所有标注均在同一个二维坐标系中；
[0013]S3、根据标注的钢琴键盘位置坐标对原始数据集中的图像进行处理，获得包含以标注的钢琴键盘位置坐标表示的钢琴键盘区域的图像以形成第一数据集；进一步地，对钢琴键盘区域进行扩充得到的钢琴键盘有效区域，根据标注的键盘位置坐标和手部位置坐标以原始数据集为基础对原图进行裁剪，获得每张原图中的钢琴键盘有效区域形成第二数据
集，其中，第二数据集中将在原图中标注的手部位置坐标转换为与钢琴键盘有效区域同一坐标系下的坐标；进一步地，对手部区域进行扩充得到的手部有效区域，根据标注的手部位置坐标和手型错误位置坐标以原始数据集为基础对原图进行裁剪获得每张原图中的手部有效区域形成第三数据集，其中，第三数据集中将在原图中标注的手型错误位置坐标转换为与手部有效区域同一坐标系下的坐标；根据标注的手部位置坐标和不同手指指尖特征点坐标以原始数据集为基础对对原图进行裁剪获得每张原图中的手部有效区域形成第四数据集，其中，第四数据集中将在原图中标注的不同手指指尖特征点坐标转换为与手部有效区域同一坐标系下的坐标；
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，所述方法包括：从钢琴键盘上方获取弹奏钢琴的包含完整钢琴键盘的2D图像；通过钢琴键盘检测网络对所述2D图像进行目标检测以检测出以2D图像的相对位置坐标表示的钢琴键盘区域，并将所述用于表示钢琴键盘区域的2D图像的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的钢琴键盘位置坐标；通过手部检测网络对以钢琴键盘位置坐标表示的钢琴键盘区域进行目标检测以检测出以钢琴键盘区域的相对位置坐标表示的手部区域，并将所述用于表示手部区域的钢琴键盘区域的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的手部位置坐标；通过手型错误检测网络识别以手部位置坐标表示的手部区域中的手型错误类型以及以手部区域的相对位置坐标表示的手型错误位置，并将所述用于表示手型错误位置的手部区域的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的手型错位位置坐标。2.根据权利要求1所述的用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，所述方法还包括：从所述以钢琴键盘位置坐标表示的钢琴键盘区域中将每个琴键划分出来得到以钢琴键盘区域的相对位置坐标表示的不同琴键，并将每个用于表示琴键的钢琴键盘区域的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的琴键坐标；通过指尖特征点检测网络从以手部位置坐标表示的手部区域中检测出以手部区域的相对位置坐标表示的不同手指的指尖特征点，并将每个用于表示不同手指的指尖特征点的手部区域的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的指尖坐标；基于指尖坐标和琴键坐标进行位置判断，将落在琴键上的指尖与该琴键进行绑定获得手指按键绑定关系，并将弹奏同一个音符的手指按键绑定关系和曲谱数据库中的标准绑定关系进行对比以检测指法错误。3.根据权利要求1所述的用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，还包括：在检测出钢琴键盘区域后，将钢琴键盘区域进行第一预设像素的扩展，获得包含完整手部的钢琴键盘有效区域。4.根据权利要求3所述的用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，所述第一预设像素为200像素。5.根据权利要求1所述的用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，还包括：在检测出手部区域后，基于钢琴键盘位置坐标和手部位置坐标的对比，过滤掉未落在钢琴键盘上的手，将落在钢琴键盘上的手的坐标边界向四个方向进行第二预设像素的扩展，获得包含落在钢琴键盘上的手的完整手部的手部区域以及对应手部位置坐标。6.根据权利要求5所述的用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，所述第二预设像素为30像素。7.根据权利要求2所述的用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，
通过如下方式对神经网络进行训练以获得所述钢琴键盘检测网络、手部检测网络、手型错误检测网络、指尖特征点检测网络：S1、采集多个人在多种场景下的弹奏不同类型钢琴的图像，形成原始数据集，使原始数据集中的图像覆盖现有技术下所有钢琴类型对应的场景和全错误类型；S2、对原始数据集进行标注，包括标注钢琴键盘位置坐标，标注手部位置坐标，标注手型错误类型和手型错误位置坐标，标注不同手指指尖特征点坐标，所有标注均在同一个二维坐标系中；S3、根据标注的钢琴键盘位置坐标对原始数据集中的图像进行处理，获得包含以标注的钢琴键盘位置坐标表示的钢琴键盘区域的图像以形成第一数据集；进一步地，对钢琴键盘区域进行扩充得到的钢琴键盘有效区域，根据标注的键盘位置坐标和手部位置坐标以原始数据集为基础对原图进行裁剪，获得每张原图中的钢琴键盘有效区域形成第二数据集，其中，第二数据集中将在原图中标注的手部位置坐标转换为与钢琴键盘有效区域同一坐标系下的坐标；进一步地，对手部区域进行扩充得到的手部有效区域，根据标注的手部位置坐...

【专利技术属性】
技术研发人员：韩冰冰，陶之雨，郑庆伟，
申请(专利权)人：桂林智神信息技术股份有限公司，
类型：发明
国别省市：