一种基于计算机视觉技术的辅助钢琴练习者指法检测方法技术

本发明专利技术公开了一种基于计算机视觉技术的辅助钢琴练习者指法检测方法，它包含如下步骤：一、利用传感器采集深度信息；二、钢琴键盘定位：利用可见光传感器和直线检测技术，来获取琴键的每一个位置，从而完成定位操作；三、手指定位；四、指法分析；本发明专利技术将可见光监控技术用于钢琴练习监督的过程中；将深度摄像机应用于钢琴学习中，判断练习者是否按下钢琴的键；还能实时检测练习者的琴键按下的准确度，分析指法水准。

A Fingering Detection Method for Piano Practitioners Based on Computer Vision Technology

The invention discloses a finger detection method for assistant piano practitioners based on computer vision technology, which includes the following steps: first, collecting depth information by sensors; second, piano keyboard positioning: using visible light sensor and linear detection technology to obtain each position of keys to complete positioning operation; third, finger positioning; fourth, finger analysis; Visible light monitoring technology will be used in the process of piano practice supervision; depth camera will be used in piano learning to determine whether the practitioners press the keys of the piano; and real-time detection of practitioners'keys press accuracy, analysis of finger level.

【技术实现步骤摘要】
一种基于计算机视觉技术的辅助钢琴练习者指法检测方法
本专利技术涉及计算机视觉领域，具体涉及一种基于计算机视觉技术的辅助钢琴练习者指法检测方法。
技术介绍
传统的钢琴学习方法，大多数由于师资力量有限，无法一对一对学生进行精细的指导，故会导致学生在练习的过程中存在一些缺陷，并且，在学生的自我练习过程中，因为缺乏老师的监督，也不利于提高学习速度。
技术实现思路
本专利技术的目的在于针对现有技术的缺陷和不足，提供一种基于计算机视觉技术的辅助钢琴练习者指法检测方法，通过深度传感器和可见光传感器来对钢琴练习者进行操作的检测，从而可以发现钢琴练习者在练习时候，指法存在的一些问题，从而减轻指导老师的负担。为实现上述目的，本专利技术采用的技术方案是：它包含如下步骤：一、利用传感器采集深度信息：在钢琴琴键正上方0.5m处设置深度传感器，通过深度传感器采集深度图像数据，用于检测练习者是否按下琴键；钢琴琴键正上方0.7m处设置可见光传感器，通过可见光传感器采集可见光信息，为后续的钢琴的琴键、手指定位以及指法分析提供数据支持；二、钢琴键盘定位：利用可见光传感器和直线检测技术，来获取琴键的每一个位置，从而完成定位操本文档来自技高网...

【技术保护点】
1.一种基于计算机视觉技术的辅助钢琴练习者指法检测方法，其特征在于它包含如下步骤：一、利用传感器采集深度信息：在钢琴琴键正上方0.5m处设置深度传感器，通过深度传感器采集深度图像数据，用于检测练习者是否按下琴键；钢琴琴键正上方0.7m处设置可见光传感器，通过可见光传感器采集可见光信息，为后续的钢琴的琴键、手指定位以及指法分析提供数据支持；二、钢琴键盘定位：利用可见光传感器和直线检测技术，来获取琴键的每一个位置，从而完成定位操作，具体包含如下步骤：1、图像的灰度化：对原始图像Pi进行灰度化后，图像标记为Gi；2、霍夫直线检测：由于每一个键盘上琴键的边界是直线，通过检测出直线，便可以获取到每一个钢...

【技术特征摘要】
1.一种基于计算机视觉技术的辅助钢琴练习者指法检测方法，其特征在于它包含如下步骤：一、利用传感器采集深度信息：在钢琴琴键正上方0.5m处设置深度传感器，通过深度传感器采集深度图像数据，用于检测练习者是否按下琴键；钢琴琴键正上方0.7m处设置可见光传感器，通过可见光传感器采集可见光信息，为后续的钢琴的琴键、手指定位以及指法分析提供数据支持；二、钢琴键盘定位：利用可见光传感器和直线检测技术，来获取琴键的每一个位置，从而完成定位操作，具体包含如下步骤：1、图像的灰度化：对原始图像Pi进行灰度化后，图像标记为Gi；2、霍夫直线检测：由于每一个键盘上琴键的边界是直线，通过检测出直线，便可以获取到每一个钢琴上琴键的边缘部分；采用基于霍夫直线检测的方法来获取到图像的每一条直线；霍夫直线检测的原理如下：在笛卡尔空间中，一条直线的表现形式是y＝kx+b；其中，k和b分别表示斜率和截距；位于同一条直线上点都具有同样的斜率和截距，但是由于直线可能与X正轴垂直，斜率无法表示；故将直线换成极坐标系空间，则其表现形式是r＝xcosθ+ysinθ，其中，(x,y)表示某一点的坐标位置，(r,θ)表示经过该点直线到原点的距离，θ表示r与X正轴的夹角；则在极坐标系下，位于同一条直线上的点，都有一样的r和θ；对于图像Gi来说，逐像素点进行遍历，将每一个像素点映射到极坐标系下，则其都会得到一组(r,θ))；当所有坐标点都映射完毕后，会获得许多(r,θ)组，其中会有重复的，则重复频率最高的那两组(r,θ)，就可以两个基于笛卡尔坐标系下的直线方程；从而通过该方程，便可以在图像中获取到多组组线段，组线段既有横向线段也有纵向线段；横向线段用于表示钢琴键盘中黑色键的底部边缘以及白色键的底部边缘；纵向的线段用于表示所有琴键的竖直方向边缘；3、获取每一个琴键的定位：由于可见光传感器是安装在钢琴的正上方，因此对于其采集到的图像信息来说，练习者右手的区域，则对应着采集到图像的左边区域，从右往左开始分析图像Gi上的线段和键盘定位；三、手指定位，步骤如下：1、绘制双手轮廓：在图像中Gi绘制双手的轮廓，获取到两个手部区域的大致轮廓曲线；2、椭圆拟合，确定手掌背面中心：对上一步骤中获取到的轮廓曲线，进行一个椭圆的拟合；拟合后的椭圆中心即近似为手掌背面的中心，记为Zi，Zi中的i与Gi的中i对应；左手掌的背面中心记为右手掌的背面中心记为3、检测手指：获取椭圆的短轴半径，记为ri，左、右手掌分别记为以左手掌为例，则以为圆心，半径为的长度绘制一个圆；则该圆会与获取的手部轮廓曲线相交，分割出许多小的半椭圆轮廓；则每个小半椭圆轮廓，则对应着一个手指的轮廓；4、记录手指区域信息：分别记录下每一个小半椭圆的中心和其短轴半径；以左手为例，左手分割出的每一个手指中心记为短轴半径记为Wid，其中1≤d≤5；四、指法分析，步骤如下：1、获取每个手指的深度图像区域信息：对于深度传感器来说，若位于时刻i，则其采集到的图像标记为Di。由于深度传感器和可见光传感器采集到的图像尺寸大小都是一致的，故在图像Di和图像Gi中，手指和钢琴键盘的区域位置都是一样的；根据步骤三中获取的每一个手指的中心和其短轴半径，在对应采集到的深度图像中，裁剪出一个圆形区域，一共可以获取到10个圆形区域，分别代表10个手指，分别记为其中到表示左手5个手指，且...

【专利技术属性】
技术研发人员：邓宏平，陈波，
申请(专利权)人：深圳市象形字科技股份有限公司，
类型：发明
国别省市：广东,44