一种基于计算机视觉技术的辅助二胡练习者指法检测方法技术

本发明专利技术公开了一种基于计算机视觉技术的辅助二胡练习者指法检测方法，涉及计算机视觉技术领域。本发明专利技术包括以下步骤：深度传感器和可见光相机分别从不同角度采集背景图像信息；深度传感器初步分割背景图像，提取练习者所在区域的图像信息；深度传感器和可见光相机配合，进一步分割背景图像，提取二胡弦所在位置的图像信息；可见光相机和深度传感器配合，进一步分割背景图像，提取手指所在位置的图像信息；判断练习者手指摆放的位置是否准确。本发明专利技术通过深度传感器和可见光相机的配合对二胡练习者进行操作的检测，从而可以发现二胡练习者在指法方面的缺陷，减轻老师的工作负担，提高练习者的学习效率。

【技术实现步骤摘要】
一种基于计算机视觉技术的辅助二胡练习者指法检测方法
本专利技术属于计算机视觉
，特别是涉及一种基于计算机视觉技术的辅助二胡练习者指法检测方法。
技术介绍
现在随着生活质量的慢慢提高，人们慢慢从物质追求过渡到精神追求，二胡是一种弓弦乐器，主要由琴杆、弓和两根弦组成，现代二胡以纯五度定弦，在胡琴之中属于中高音域乐器，各地方根据需要和条件，独立发展出不同形制的弓弦乐器。传统的二胡学习方法，都是一个老师指导多名学生的方式，很容易因为师资力量的欠缺，导致对学生学习过程中的细节缺陷无法发现，造成学生的学习效率较低。并且，在学生的自我练习过程中，因为缺乏老师的监督，也不利于提高学习速度。
技术实现思路
本专利技术的目的在于提供一种基于计算机视觉技术的辅助二胡练习者指法检测方法，通过深度传感器和可见光相机的配合对二胡练习者进行操作的检测，从而可以发现二胡练习者在指法方面的缺陷，减轻老师的工作负担，提高练习者的学习效率。为解决上述技术问题，本专利技术是通过以下技术方案实现的：本专利技术为一种基于计算机视觉技术的辅助二胡练习者指法检测方法，包括以下步骤：SS01利用深度传感器采集信息：深度传感器和可见光相机分别从不同角度采集背景图像信息；SS02深度信息的利用和初步分割：深度传感器初步分割背景图像，提取练习者所在区域的图像信息；SS03二胡弦定位：深度传感器和可见光相机配合，进一步分割背景图像，提取二胡弦所在位置的图像信息；SS04可见光检测手指位置与指法分析：可见光相机和深度传感器配合，进一步分割背景图像，提取手指所在位置的图像信息；判断练习者手指摆放的位置是否准确。进一步地，包括以下步骤：SS021获取灰度值范围：设定获取的图像为M，图像M像素值的最大值和最小值分别为Mmax和Mmin则像素值的分布范围是[Mmin,Mmax]即为，，直方图的横坐标范围，竖坐标为像素值为对应横坐标值时出现的个数；SS022绘制灰度直方图：遍历图像M的每一个像素，绘制该图像M对应的灰度直方图；SS023寻找阈值：分析该灰度直方图，寻找竖坐标的值骤变点所对应的横坐标，作为分割的阈值k；SS024图像分割：利用阈值k进行分割，逐像素点遍历当前图像M，像素值大于阈值k，则像素值属于背景点区域，并将像素值置为0，否则，该像素值属于前景区域，即练习者和二胡的区域；SS025获取分割图像：得到图像M'供下步操作使用；SS026重复操作：依据SS021-SS025步骤对另一深度传感器获取的图像N分割，获得图像N'；进一步地，包括以下步骤：SS031图像灰度化：设定可见光相机采集的图像为T，灰度化后的图像设定为T'；SS032背景过滤：结合深度信息分割图像背景；SS033检测弦：检测二胡弦直线；SS034角度检测：检测二胡弦角度；SS035实时检测：实时获取二胡弦位置。进一步地，包括以下步骤：SS041可见光检测手指位置：包括左手定位和检测、手指的精确定位；SS042指法分析：分析练习者指法是否准确。进一步地，手指的精确定位包括以下步骤：SS0411获取分割图像：重复SS031-SS032步骤，获取分割后图像；SS0412获取手部区域；SS0413定位手掌背面中心；SS0414检测手指；SS0415确定手指次序：判断练习者手指的摆放位置是否正确。本专利技术具有以下有益效果：采用计算机视觉技术，通过深度传感器和可见光相机的配合对二胡练习者进行操作的检测，从而可以发现二胡练习者在指法方面的缺陷，并能够实时检测并判断练习者手指的摆放位置是否正确，及时纠正练习者指法上存在的错误，极大地减轻了老师的工作负担，提高了练习者的学习效率。当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为一种基于计算机视觉技术的辅助二胡练习者指法检测方法的原理框图；图2为深度信息分割的流程框图；图3为二胡弦定位的流程框图；图4为可见光检测手指位置与指法分析的流程框图；图5为手指精确定位的流程框图；具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。请参阅图1，本专利技术为一种基于计算机视觉技术的辅助二胡练习者指法检测方法，包括以下步骤：SS01利用深度传感器采集信息：深度传感器和可见光相机分别从不同角度采集背景图像信息，包括两个深度传感器和两个可见光相机：第一深度传感器位于练习者前方1米的距离，距离地面高度0.5米，正对着练习者；第二深度传感器位于练习者左侧1米的距离，距离地面高度0.5米，正对着练习者；第一可见光相机位于练习者前方1米的距离，距离地面高度0.5米，正对着练习者；第二可见光相机位于练习者右侧1米的距离，距离地面高度0.8米，正对着练习者；对练习者正前方、侧面不同角度采集二胡练习者的图像，为从背景图像中分割出二胡练习者相关区域奠定基础；深度传感器采用Kinect技术进行采集背景图像，Kinect一共有3个摄像头，两边的摄像头属于深度摄像头，Kinect连接电源后，利用其具有的深度摄采集背景图像；SS02深度信息的利用和初步分割：深度传感器初步分割背景图像，提取练习者所在区域的图像信息，避免背景图像中墙面或其他人造成干扰；SS03二胡弦定位：深度传感器和可见光相机配合，进一步分割背景图像，提取二胡弦所在位置的图像信息；SS04可见光检测手指位置与指法分析：可见光相机和深度传感器配合，进一步分割背景图像，提取手指所在位置的图像信息；判断练习者手指摆放的位置是否准确。其中如图2所示，包括以下步骤：SS021获取灰度值范围：设定深度传感器获取的图像为M，图像M像素值的最大值和最小值分别为Mmax和Mmin，则像素值的分布范围是[Mmin,Mmax]，即为直方图的横坐标范围，竖坐标为像素值为对应横坐标值时出现的个数；SS022绘制灰度直方图：遍历图像M的每一个像素，绘制该图像M对应的灰度直方图；SS023寻找阈值：分析该灰度直方图，寻找竖坐标的值骤变点所对应的横坐标，作为分割的阈值k；SS024图像分割：利用阈值k进行分割，逐像素点遍历当前图像M，像素值大于阈值k，则像素值属于背景点区域，并将像素值置为0，否则，该像素值属于前景区域，即练习者和二胡的区域；SS025获取分割图像：得到图像M'供下步操作使用；SS026重复操作：依据SS021-SS025步骤对另一深度传感器获取的图像N分割，获得图像N'；其中如图3所示，包括以下步骤：SS031图像灰度化：设定可见光相机采集的图像为T，灰度化后的图像设定为T'；SS032背景过滤：结合深度信息分割图像背景；练习者正前方有第一深度传感器和第一可见光相机，两个传感器采集的图像大小一样，因此采用逐像素点遍历的方式进行分割背景，在图像M中，设定像素点(x,y)对应的像素值大小为本文档来自技高网...

【技术保护点】
1.一种基于计算机视觉技术的辅助二胡练习者指法检测方法，其特征在于包括以下步骤：SS01利用深度传感器采集信息：深度传感器和可见光相机分别从不同角度采集背景图像信息；SS02深度信息的利用和初步分割：深度传感器初步分割背景图像，提取练习者所在区域的图像信息；SS03二胡弦定位：深度传感器和可见光相机配合，进一步分割背景图像，提取二胡弦所在位置的图像信息；SS04可见光检测手指位置与指法分析：可见光相机和深度传感器配合，进一步分割背景图像，提取手指所在位置的图像信息；判断练习者手指摆放的位置是否准确。

【技术特征摘要】
1.一种基于计算机视觉技术的辅助二胡练习者指法检测方法，其特征在于包括以下步骤：SS01利用深度传感器采集信息：深度传感器和可见光相机分别从不同角度采集背景图像信息；SS02深度信息的利用和初步分割：深度传感器初步分割背景图像，提取练习者所在区域的图像信息；SS03二胡弦定位：深度传感器和可见光相机配合，进一步分割背景图像，提取二胡弦所在位置的图像信息；SS04可见光检测手指位置与指法分析：可见光相机和深度传感器配合，进一步分割背景图像，提取手指所在位置的图像信息；判断练习者手指摆放的位置是否准确。2.根据权利要求1所述的一种基于计算机视觉技术的辅助二胡练习者指法检测方法，其特征在于，包括以下步骤：SS021获取灰度值范围：设定获取的图像为M，图像M像素值的最大值和最小值分别为Mmax和Mmin，则像素值的分布范围是[Mmin,Mmax]，即为直方图的横坐标范围，竖坐标为像素值为对应横坐标值时出现的个数；SS022绘制灰度直方图：遍历图像M的每一个像素，绘制该图像M对应的灰度直方图；SS023寻找阈值：分析该灰度直方图，寻找竖坐标的值骤变点所对应的横坐标，作为分割的阈值k；SS024图像分割：利用阈值k进行分割，逐像素点遍历当前图像M，像素值大于阈值k，则像素值属于背景点区域，...

【专利技术属性】
技术研发人员：邓宏平，陈波，
申请(专利权)人：深圳市象形字科技股份有限公司，
类型：发明
国别省市：广东,44