一种基于手势识别的鼠标光标控制方法及系统技术方案

本发明专利技术涉及一种基于手势识别的鼠标光标控制方法及系统，使用MATLAB调用计算机自带摄像头或外接USB摄像头采集视频数据，检测和识别视频中人物的手势，并根据手势实时控制光标移动或点击。提出了一种融合PHOG（Pyramid Histogram of Oriented Gradients）特征和改进的LBP（Local Binary Pattern）特征并基于K‑NN（k‑近邻分类）分类器的手势图像识别方法。为了提高系统运行的实时性，系统通过肤色检测来确定当前帧是否有人手。当检测到有人手时，进一步提取PHOG特征和改进的LBP特征。在融合PHOG特征和改进的LBP特征后，采用K‑NN分类器实现手势分类识别。本发明专利技术实现了在不同的角度、不同的光线等复杂背景情况下，快速准确的识别用户手势，并根据识别结果准确实时的控制鼠标光标的动作。

【技术实现步骤摘要】
一种基于手势识别的鼠标光标控制方法及系统
本专利技术涉及图像处理
和人机交互领域，一种基于手势识别的鼠标光标控制方法及系统。
技术介绍
手势识别技术是人机交互领域的重要研究内容之一。通过手势识别技术，可以更自然、更有效地控制计算机设备和机器人。突破了传统人机交互如键盘、鼠标、远程控制的局限，极大程度提高了人机交互的友好性。手势识别的发展经历了两个阶段。第一阶段是以可穿戴设备为代表的手势识别技术。在这些设备中安装了很多传感器。第二阶段是基于计算机视觉的手势识别技术。第二阶段，利用相机等电子设备代替人眼对物体进行捕捉、识别和跟踪，并进行相应的处理和分析，得到最终结果。在基于计算机视觉的手势识别技术中，通常的方法是先提取手势特征，然后使用分类器进行分类识别。LBP和HOG是更常用的手势特征描述符。HOG特征具有良好的几何不变性和光学不变性，通常作为特征提取目标图像的边缘和轮廓信息。LBP常用来描述图像的局部纹理特征信息。随着对LBP特征的研究越来越深入，LBP特征的变化也越来越多，应用也越来越广泛。虽然已经有了一些关于手势识别的本文档来自技高网...

【技术保护点】
1.一种基于手势识别的鼠标光标控制方法，其特征在于：包括以下步骤：/n步骤S1：在MATLAB平台调用计算机摄像头或外接USB摄像头采集用户手势视频数据；/n步骤S2：对采集到的用户手势视频数据进行中值滤波图像预处理；/n步骤S3：对滤波后的图像进行基于椭圆聚类模型肤色检测，根据椭圆肤色聚类模型对视频数据二值化处理,从而分割出当前视频帧的手势区域；/n步骤S4：设定肤色像素点阈值，并统计检测到的肤色像素点个数；若肤色像素点个数超过设定阈值β，50<β<100，则认为当前帧检测到了手势，则进行步骤S5的HOG特征提取；若肤色像素点个数没有超过设定阈值，则认为当前帧没有检测到手势，开始...

【技术特征摘要】
1.一种基于手势识别的鼠标光标控制方法，其特征在于：包括以下步骤：
步骤S1：在MATLAB平台调用计算机摄像头或外接USB摄像头采集用户手势视频数据；
步骤S2：对采集到的用户手势视频数据进行中值滤波图像预处理；
步骤S3：对滤波后的图像进行基于椭圆聚类模型肤色检测，根据椭圆肤色聚类模型对视频数据二值化处理,从而分割出当前视频帧的手势区域；
步骤S4：设定肤色像素点阈值，并统计检测到的肤色像素点个数；若肤色像素点个数超过设定阈值β，50<β<100，则认为当前帧检测到了手势，则进行步骤S5的HOG特征提取；若肤色像素点个数没有超过设定阈值，则认为当前帧没有检测到手势，开始处理下一帧数据；
步骤S5：提取手势区域的PHOG特征；
步骤S6：对传统的LBP特征进行改进，得到MLBP特征，并将MLBP特征与PHOG特征进行融合即将MLBP特征向量与PHOG特征向量串联起来即为融合特征向量；
步骤S7：制作特征模板数据库；
步骤S8：利用K-NN分类算法，将步骤S6实时提取的融合特征与特征模板数据库中的特征进行比对，得出识别结果；
步骤S9：根据识别结果实时控制鼠标光标的运动:在Matlab平台调用java.awt.robot类并初始化之后，通过设置鼠标光标的位置，能够灵活地控制鼠标移动到屏幕上的任何位置。


2.根据权利要求1所述的一种基于手势识别的鼠标光标控制方法，其特征在于：所述步骤S2具体包括以下步骤：
步骤S21：将采集到的RGB视频数据转换为YCbCr视频数据；
步骤S22：对YCbCr视频数据进行中值滤波，用以得到更清晰的视频数据。


3.根据权利要求1所述的一种基于手势识别的鼠标光标控制方法，其特征在于：步骤S3中所述基于椭圆聚类模型肤色检测，椭圆肤色聚类模型公式如下：






根据椭圆肤色聚类模型对视频数据二值化处理，二值化公式如下：



二值化后的值为1，则为肤色区域即手势区域；二值化后的值为0，则为非肤色区域即为非手势区域；
在此公式中，θ＝2.53，cx＝109.38，cy＝152.02，ecx＝1.60，ecy＝2.41，a＝25.39，b＝14.03。


4.根据权利要求1所述的一种基于手势识别的鼠标光标控制方法，其特征在于：所述步骤S5具体包括以下步骤：
步骤S51：将归一化处理后的手势区域图像进行gamma校正；
步骤S52：计算校正后手势区域像素点(x,y)的梯度幅值与梯度方向，计算公式为：
Gx(x,y)＝H(x+1,y)-H(x-1,y)
Gy(x,y)＝H(x,y+1)-H(x,y-1)






Gx(x,y)为水平方向梯度，Gy(x,y)为垂直方向梯度，G(x,y)梯度幅值，θ(x,y)梯度方向；
步骤S53：将归一化后的手势区域图像分成若干个单元格cell，采用9个bin的直方图来统计每个cell的梯度信息，即将cell的梯度方向分成...

【专利技术属性】
技术研发人员：陈康，易金，王俊，林瑞全，欧明敏，武义，邢新华，赵显煜，李振嘉，郑炜，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35