一种基于最小二乘曲线拟合的指尖检测方法技术

本发明专利技术公开了一种基于最小二乘曲线拟合的指尖检测方法，包括以下步骤：首先在RGB颜色空间进行肤色模型分割，得到手部区域，然后采用轮廓提取方法得到手部外围轮廓，在轮廓每个点处邻近范围的一段曲线用最小二乘法拟合抛物线，将一定间隔距离的点到该点所在切线的距离累加和作为曲率大小；设定阈值，将曲率大于该阈值的点判定为类指尖点，最后进行指宽限定，排除非指尖点。本发明专利技术用二次多项式曲线来拟合手指上端部分，通过设定阈值和指宽限定来检测指尖点，指尖定位准确性高，检测结果不受手部与摄像头距离发生改变的影响，并且当手指形态发生一定幅度变化时仍有良好的检测效果，有较高的鲁棒性。

A fingertip detection method based on least square curve fitting

【技术实现步骤摘要】
一种基于最小二乘曲线拟合的指尖检测方法
本专利技术涉及机器视觉领域，尤其是涉及一种基于最小二乘曲线拟合的指尖检测方法。
技术介绍
计算机应用技术的不断发展使得人机交互方式变得多样化，传统的人机交互方式如键盘、鼠标、触摸屏等，需要手动操纵硬件设备，稳定可靠，但使用不灵活。而新型的人机交互方式通过利用机器视觉、模式识别等相关技术，理解人的行为动作、语音所包含的指令，进而执行相应的操作，更加便捷和智能化。基于机器视觉的指尖检测解决了人机互动中指尖头信息的获取问题.对于指尖检测，利用摄像头在采集手部图像后需要根据手部特征提取出手部区域，一般采用肤色、运动信息等来提取手部区域，然后进一步地利用凸包、梯度图、曲率等特征来进行指尖检测(张世征.几种轮廓曲率估计角点检测算法研究[D]，重庆大学，2016.)。Okaandsato(OkaK，SatoY，KoikeH.Real-timeTrackingofMultipleFingertipsandGestureRecognitionforAugmentedDeskInterfaceSystems[C].Proceedingsofthe5thIEEEInternationalConferenceonAutomaticFaceandGestureRecognition.LosAlamitos：IEEEComputerSocietyPress，2002：429-434.)用红外摄像头采集图像，通过阈值法分割得到可靠手部区域，将手指形状看做矩形和半圆形的组合，利用适当大小的圆为模板根据归一化相关性大小来定位指尖部位。DaehoLee(LeeDH，LeeSG.Vision-BasedFingerActionRecognitionbyAngleDetectionandContourAnalysis[J].ETRIJournal，33，3(2011-06-07)，2011，33(3)：415-422.)利用轮廓的弧长与弦误差寻找最优参数，根据轮廓k余弦曲率值的大小确定指尖位置。然而，为达到理想的指尖检测效果，现有技术中的大多数指尖检测算法只限于静态手势，当手部与摄像头距离发生改变，或手指弯曲形态发生变化时，无法准确有效地定位指尖。
技术实现思路
专利技术目的：本专利技术的目的是提供一种基于最小二乘曲线拟合的指尖检测方法，该方法对非静态手势、当手部与摄像头距离发生改变，或手指弯曲形态发生变化时，均能准确有效地定位指尖，提高了机器视觉的便捷性和智能化。技术方案：本专利技术所述基于最小二乘曲线拟合的指尖检测方法包括以下步骤：步骤1：摄像头采集手部图像；步骤2：在RGB空间进行肤色模型分割得到手部二值图像；步骤3：提取分割后的手部二值图像轮廓，将手掌掌心正对摄像头，五指张开指尖朝上，从上往下用水平直线与轮廓相交，当交点个数为2时，两交点间的最大距离确定为手掌宽度；步骤4：采用最小二乘法对轮廓点集中处的每个点邻近范围内的一段曲线进行曲线拟合，并将邻域内一定间隔的点到当前点所在曲线切线的距离累加和作为当前点处的曲率大小；设定阈值，当计算得到的当前点的曲率大于该阈值时，判定当前点为指尖点；步骤5：进行指宽限定，将距离指尖点不同距离处，水平直线与轮廓相交得到的指宽进行比较，排除非指尖点。进一步地，所述步骤2包括，图像R分量的像素值分别与图像G分量、B分量的像素值求差值，所得差值较小者大于5，并对分割后的手部区域进行两次形态学开运算操作，取卷积核半径为5。进一步地，所述步骤3包括，提取手部外围轮廓，得到组成轮廓的点集，从组成轮廓点集的纵坐标最小值开始，取经过该纵坐标的水平直线，往下每隔5个像素取一条水平直线，计算直线与轮廓的交点个数；当交点数等于2时，计算两交点之间的长度，将所有长度的最大值记为手掌宽度dh，dh与图像宽度的比值记为dq。进一步地，所述步骤4包括，用最小二乘法拟合手指上端曲线，取轮廓上的当前点(xi，yi)和其两侧各两个点(xi-2l，yi-2l)、(xi-l，yi-l)、(xi+l，yi+l)、(xi+2l，yi+2l)共5个点来拟合二次多项式曲线，并将点(xi-2l，yi-2l)、(xi-l，yi-l)、(xi+l，yi+l)、(xi+2l，yi+2l)到当前点所在曲线的切线的距离累加和大小作为曲率值，当曲率值大于240*dq时，判定当前点为类指尖点。进一步地，轮廓上的当前点(xi，yi)和其两侧各两个点(xi-2l，yi-2l)、(xi-l，yi-l)、(xi+l，yi+l)、(xi+2l，yi+2l)的选取方法为：由步骤3得到组成轮廓的点数为couPointSize，从轮廓上的0到couPointSize-1个点，每个点分别向其两侧取与该点间隔点数为l＝60*dq、2l＝120*dq的两个点。进一步地，所述步骤5包括，由所述步骤4计算出的类指尖点是指尖处很多点的集合，取横、纵坐标中间值的点(xi，yi)作为指尖中心点，计算曲线上该点的切线，记(xi-l，yi-l)到指尖中心点的距离为w，分别计算与中心点切线的距离为w、1.25w、1.5w、2w的直线与轮廓相交得到的指宽d0、d1、d2、d3，令dm为d0、d1、d2、d3的平均值，d0、d1、d2、d3相邻两宽度值间的差值记为Δd1，Δd2，Δd3，满足以下条件时评定当前指尖中心点为指尖点：有益效果：与现有技术相比，本专利技术具有以下显著优点：本专利技术采用最小二乘曲线拟合的方法对指尖进行检测，检测精度较高，检测结果不受手部与摄像头距离发生改变的影响，对非静态手势、当手部与摄像头距离发生改变，或手指弯曲形态发生变化时，均能准确有效地定位指尖，大大提高了机器视觉的便捷性和智能化，有较高的鲁棒性。附图说明图1为本专利技术指尖检测方法的流程图；图2为初始化时手指向上计算手掌宽度的示意图；图3为选取轮廓上进行曲线拟合的点的位置示意图；图4为手部正常形态时指尖检测效果图；图5为手部发生弯曲变化时指尖检测效果图。具体实施方式下面结合附图对本专利技术的技术方案作进一步说明。如图1所示，基于最小二乘曲线拟合的指尖检测方法包括以下步骤：步骤1，手掌正对摄像头，采集图像；步骤2，在RGB空间(R：Red红；G：Green绿；B：Blue蓝)中进行肤色模型分割得到手部二值图像；步骤3，提取分割后的手部二值图像轮廓，在程序开始时，将手掌掌心正对摄像头，五指张开指尖朝上，从上往下用水平直线与轮廓相交，根据交点个数计算得到手掌宽度；步骤4，采用最小二乘法对轮廓点集中处的每个点邻近范围内的一段曲线进行曲线拟合，并将附近其余点到当前点所在曲线切线的距离累加和作为曲率大小；步骤5，设定阈值，若当前点两侧点到切线的距离的累加和大于该阈值，判定为指尖点，并通过限定指宽大小，排除手臂等其他位置。步骤1中，人距离摄像头距离在0.5到1米处采集图像。步骤2中，通过下式提取出肤色信息，即得到目标手部区域：式中，Rt、Gt、Bt分别代表图像的红、绿、蓝分量的像素值大小，x、y表示互相垂直的两个方向上的坐标。ε是一个预设的固定值，文中令ε＝5，ε过大会导致肤色信息不全，过小则会引入过多噪声。并为了平滑手部边缘不平处，对分割后的手部二值图像采用两次形态学开运算操作，卷积核大小为5。步骤3中，提取手部本文档来自技高网...

【技术保护点】
1.一种基于最小二乘曲线拟合的指尖检测方法，其特征在于：包括以下步骤：步骤1：摄像头采集手部图像；步骤2：在RGB空间进行肤色模型分割得到手部二值图像；步骤3：提取分割后的手部二值图像轮廓，将手掌掌心正对摄像头，五指张开指尖朝上，从上往下用水平直线与轮廓相交，当交点个数为2时，两交点间的最大距离确定为手掌宽度；步骤4：采用最小二乘法对轮廓点集中处的每个点邻近范围内的一段曲线进行曲线拟合，并将邻域内一定间隔的点到当前点所在曲线切线的距离累加和作为当前点处的曲率大小；设定阈值，当计算得到的当前点的曲率大于该阈值时，判定当前点为指尖点；步骤5：进行指宽限定，将距离指尖点不同距离处，水平直线与轮廓相交得到的指宽进行比较，排除非指尖点。

【技术特征摘要】
1.一种基于最小二乘曲线拟合的指尖检测方法，其特征在于：包括以下步骤：步骤1：摄像头采集手部图像；步骤2：在RGB空间进行肤色模型分割得到手部二值图像；步骤3：提取分割后的手部二值图像轮廓，将手掌掌心正对摄像头，五指张开指尖朝上，从上往下用水平直线与轮廓相交，当交点个数为2时，两交点间的最大距离确定为手掌宽度；步骤4：采用最小二乘法对轮廓点集中处的每个点邻近范围内的一段曲线进行曲线拟合，并将邻域内一定间隔的点到当前点所在曲线切线的距离累加和作为当前点处的曲率大小；设定阈值，当计算得到的当前点的曲率大于该阈值时，判定当前点为指尖点；步骤5：进行指宽限定，将距离指尖点不同距离处，水平直线与轮廓相交得到的指宽进行比较，排除非指尖点。2.根据权利要求1所述的指尖检测方法，其特征在于：所述步骤2包括，图像R分量的像素值分别与图像G分量、B分量的像素值求差值，所得差值较小者大于5，并对分割后的手部区域进行两次形态学开运算操作，取卷积核半径为5。3.根据权利要求1所述的指尖检测方法，其特征在于：所述步骤3包括，提取手部外围轮廓，得到组成轮廓的点集，从组成轮廓点集的纵坐标最小值开始，取经过该纵坐标的水平直线，往下每隔5个像素取一条水平直线，计算直线与轮廓的交点个数；当交点数等于2时，计算两交点之间的长度，将所有长度的最大值记为手掌宽度dh，dh与图像宽度的比值记为dq。4.根据权利要求1或2或3所述的指尖检测方法，其特征在于：所述步骤4包括，用最小二乘法拟合手指上端曲线，...

【专利技术属性】
技术研发人员：盛大富，王亦红，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏,32