基于手势识别的非接触式虚拟鼠标的实现方法技术

基于手势识别的非接触式虚拟鼠标的实现方法，属于人机交互技术领域，为了解决现有非接触式人机交互方式实时性差的问题，该方法为：利用摄像头获取视频数据流；视频流截取提取帧图像；从视频信号帧图像中分割出手势；提取模型特征参数进行手势分析识别、根据模型参数对手势进行分类并依据具体需要生成手势描述；结合鼠标操作事件驱动相关应用；该方法具有实时性强、效率高的优点，能够以手势动作作为输入信号实现在非接触状态下对计算机的控制操作。

Realization of Contactless Virtual Mouse Based on Gesture Recognition

The realization method of non-contact virtual mouse based on gesture recognition belongs to the field of human-computer interaction technology. In order to solve the problem of poor real-time performance of existing non-contact human-computer interaction methods, this method includes: capturing video data stream by camera; intercepting video stream to extract frame image; segmenting gesture from video signal frame image; extracting model characteristic parameters for gesture analysis and recognition. Classifying gestures according to model parameters and generating gesture descriptions according to specific needs; combining with related applications of event-driven mouse operation; this method has the advantages of real-time and high efficiency, and can realize the control operation of computer in non-contact state with gesture action as input signal.

【技术实现步骤摘要】
基于手势识别的非接触式虚拟鼠标的实现方法
本专利技术涉及一种虚拟鼠标装置的实现方法，具体涉及一种基于手势识别的非接触式虚拟鼠标的实现方法，属于人机交互

技术介绍
目前鼠标是我们和计算机“沟通和交流”的主要接口之一，但是这个沟通方式远远不能满足我们的要求，我们希望有更简洁的、智能化和人性化的人机交互方式。计算机无接触式地收集人类在计算机前的视频信号，利用计算机视觉的相关理论对捕获的视频信号进行分析，做到分辨人类的动作，明白人类的意图并实现人类希望的操作，即我们希望计算机能尽可能地“理解”我们。手势是一种自然、直观、易于学习的人机交互手段。手势研究分为手势合成和手势识别，手势识别技术一直是人机交互的一个重要研究课题。以人手直接作为计算机的输入手段，人机之间的通讯将不再需要中间媒体，用户可以简单地定义各种适当的手势来对计算机进行控制，从而可以实现非接触式的鼠标控制事件。与其它输入方法相比较，具有自然性、简洁性、丰富性和直接性的特点。因此，用计算机来识别手势为人们提供了一个更为自然的人机接口。但是由于其难度较大，目前的研究结果实用化程度很低且效率比较低下，现有非接触式人机交互方式实时性差。
技术实现思路
本专利技术为了解决现有非接触式人机交互方式实时性差的问题，主要基于单目视觉的手势识别，从手势分割及手势表示两方面着手，提出一种基于手势识别的非接触式虚拟鼠标的实现方法，通过结合鼠标操作，实现有效的鼠标事件，从而实现对计算机的有效控制，具有实时性强、效率高的优点。本专利技术采用的技术方案如下：基于手势识别的非接触式虚拟鼠标的实现方法，该方法为：利用摄像头获取视频数据流；视频流截取提取帧图像；从视频信号帧图像中分割出手势；提取模型特征参数进行手势分析识别、根据模型参数对手势进行分类并依据具体需要生成手势描述；结合鼠标操作事件驱动相关应用。步骤一，在MicrosoftVisualStudio2010上配置OPENCV2.3.1视觉库，运行软件程序摄像头自行启动实现对视频流的获取；步骤二，软件程序对每一帧图像检测到交互手势并对满足条件的关键帧进行提取，获得帧图像；步骤三，从帧图像中得到完整的手势图像需进行手势分割，首先利用HSV与YCgCr双重颜色空间的肤色提取，剔除背景非肤色区域，获得手势二值图，同时对手势二值图进行图像处理过程，处理过程包括：腐蚀、膨胀、滤波和多边形逼近，通过图像处理过程，可从视频流中的到较完整的手势图像，完整手势图像的获取能为手势识别提供更完善的输入；步骤四，在手势识别中利用手势二值图像的重心表示手掌，应用凸缺陷检测指尖，通过不同手势凸包轮廓面积与真实轮廓面积比值Q的不同区分不同的手势，并结合MeanShift算法对重心进行跟踪，为下一步鼠标动作提供可能；步骤五，最后结合鼠标响应程序在VS2010上实现虚拟鼠标的目的，部分动作已经超出了常规鼠标的操作范围，并由此生成能够启动多种软件运行的操作指令，能以手势动作实现对计算机的实时高效控制。本专利技术的有益效果是：在HSV与YCgCr颜色空间上采用固定阈值方法分割人手，利用轮廓及凸缺陷检测指尖，根据手势面积特征识别手势的方法，简单快捷、实时性好且能适应环境的变化。基于该方法的非接触式控制系统能识别人手单手指或多手指的手势动作，如点击、拖动、滚动、缩放和旋转等，部分动作已经超出了常规鼠标的操作范围，并由此生成能够启动多种软件运行的操作指令，能以手势动作实现对计算机的实时高效控制。本专利技术具有实时性强、效率高的优点，能够以手势动作作为输入信号实现在非接触状态下对计算机的控制操作。附图说明图1为本专利技术基于手势识别的非接触式虚拟鼠标的实现方法的工作流程图。具体实施方式以下结合附图对本专利技术作进一步详细说明。如图1所示，基于手势识别的非接触式虚拟鼠标的实现方法，该方法的步骤如下：步骤一，视频流的输入是结合OPENCV视频处理库实现的，具体操作为在MicrosoftVisualStudio2010上配置OPENCV2.3.1视觉库，运行软件程序摄像头自行启动实现对视频流的获取。步骤二，软件程序对每一帧图像检测到交互手势并对满足条件的关键帧进行提取，获得帧图像。步骤三，从帧图像中得到完整的手势图像需进行手势分割，首先利用HSV与YCgCr双重颜色空间的肤色提取，剔除背景非肤色区域，获得手势二值图，同时为识别过程提供较好的识别环境，减少干扰、错误，需对手势二值图进行图像处理过程，处理过程包括：腐蚀、膨胀，滤波、多边形逼近。其中滤波包括中值滤波和去除小面积。通过图像处理过程，可从视频流中的到较完整的手势图像，完整手势图像的获取能为手势识别提供更完善的输入。步骤四，在手势识别中利用手势二值图像的重心表示手掌，应用凸缺陷检测指尖，通过不同手势凸包轮廓面积与真实轮廓面积比值Q的不同区分不同的手势，并结合MeanShift算法对重心进行跟踪，为下一步鼠标动作提供可能。步骤五，最后结合鼠标响应程序在VS2010上实现虚拟鼠标的目的，例如点击、拖动、滚动、缩放和旋转等，部分动作已经超出了常规鼠标的操作范围，并由此生成能够启动多种软件运行的操作指令，能以手势动作实现对计算机的实时高效控制。本文档来自技高网...

【技术保护点】
1.基于手势识别的非接触式虚拟鼠标的实现方法，其特征是，该方法为：利用摄像头获取视频数据流；视频流截取提取帧图像；从视频信号帧图像中分割出手势；提取模型特征参数进行手势分析识别、根据模型参数对手势进行分类并依据具体需要生成手势描述；结合鼠标操作事件驱动相关应用。

【技术特征摘要】
1.基于手势识别的非接触式虚拟鼠标的实现方法，其特征是，该方法为：利用摄像头获取视频数据流；视频流截取提取帧图像；从视频信号帧图像中分割出手势；提取模型特征参数进行手势分析识别、根据模型参数对手势进行分类并依据具体需要生成手势描述；结合鼠标操作事件驱动相关应用。2.根据权利要求1所述的基于手势识别的非接触式虚拟鼠标的实现方法，其特征在于，该方法具体步骤如下：步骤一，在MicrosoftVisualStudio2010上配置OPENCV2.3.1视觉库，运行软件程序摄像头自行启动实现对视频流的获取；步骤二，软件程序对每一帧图像检测到交互手势并对满足条件的关键帧进行提取，获得帧图像；步骤三，从帧图像中得到完整的手势图像需进行手势分割，首先利用HSV与YCgCr双重颜色空间的肤色提取，剔除背景非肤色区域，...

【专利技术属性】
技术研发人员：岳丹，洪雨城，寇艳强，魏红梅，高晨皓，王冠群，李彦黎，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：吉林,22