基于手轮廓特征的手势识别控制方法和系统技术方案

本发明专利技术公开一种基于手轮廓特征的手势识别控制方法和系统，其主要有初始设置步骤、图像预处理步骤、手势识别步骤、命令解析步骤和待控应用程序控制步骤构成。本发明专利技术通过对视频帧进行外轮廓提取来进行手势识别，利用手势识别过程中手势特征面积和手势特征周长来识别出手势，并以凸包缺陷面积和来刻画抱拳和手掌，从而有效提高了手掌识别的准确度和效率；在手势识别过程中全部采用周长和面积等常用计算判别，而非复杂的图像模式识别样本比对方式，因而不需要添加额外样本库，就可以为其他应用开发服务，比如基于手势控制的图片查看器、音乐播放器、网页浏览器和游戏应用程序。

【技术实现步骤摘要】

本专利技术涉及人机交互领域，具体涉及一种基于手轮廓特征的手势识别控制方法和系统。
技术介绍
利用手势控制计算机的人机交互方式正逐步成为人机交互的发展方向和趋势。目前，人们对于计算机内部应用软件(如视频播放软件和PPT幻灯片软件)的控制往往需要辅助键盘、鼠标和控制笔等硬件设备来实现，不能解放使用者的双手。如人们常用PPT —类的幻灯片软件来辅助展示内容，而演讲者控制幻灯片的方式主要依赖于键盘、鼠标和控制笔等硬件设备，不能解放双手以便于演讲者与观众互动。目前出现的手势交互系统采用的是特征库匹配的方式，因此均存在模式识别样本库大、匹配时间长、计算量庞大、且只能基于特定的交互需求和任务来设计系统结构，所以在实现和设计方面都有差别，且都设定了自己相应的约束条件、特征参数，系统的每一个流程执行的算法也不尽相同。然而，由于计算机、智能手机、视频终端等设备内部运行的任务不同以及应用场景的不同，手势具有多样性和多义性，且复杂背景和光线反射会影响手势识别的准确率。因此针对特定任务和特定应用场景需要开发出来的手势交互系统须根据实际控制者输入的手势实现相应的反应或控制，导致手势识别时间长，应用移植困难，影响人机交互体验。
技术实现思路
本专利技术所要解决的技术问题是针对现有手势识别控制方法模式识别样本库大、匹配时间长、且不便于移植等问题，提供一种基于手轮廓特征的手势识别控制方法和系统。为解决上述问题，本专利技术是通过以下技术方案实现的:基于手轮廓特征的手势识别控制方法，包括如下步骤:步骤1，设置系统的初始参数，其中初始参数包括视频边框阈值、手势特征面积阈值、手势特征周长阈值、凸包缺陷面积阈值、物距(即摄像头与控制者的距离)以及手势语义上下左右四个方向所对应的控制命令；步骤2，通过摄像头拍摄人的图像视频流，并将其送入计算机中对图像视频流的视频帧进行图像预处理；步骤3，计算机找出视频帧的所有外轮廓，接着将当前视频帧的外轮廓放入双向轮廓链表，然后遍历链表，排除噪声轮廓；步骤4，若外轮廓的边界接近整个视频帧的边界，则计算机判定该外轮廓不为手势，返回步骤3的链表遍历循环操作，继续遍历检测当前视频帧双向轮廓链表里的其他外轮廓；否则进入步骤5，继续对该外轮廓进行手势识别；步骤5，计算外轮廓的面积，若外轮廓的面积与视频区域矩阵面积的比例小于预设的手势特征面积阈值与物距平方的比例时，则计算机判定该外轮廓不为手势，返回步骤3的链表遍历循环操作，继续遍历检测当前视频帧双向轮廓链表里的其他外轮廓；否则进入步骤6，继续对该外轮廓进行手势识别；步骤6，计算外轮廓最大边框矩形的周长，若外轮廓最大边框矩形的周长与视频区域矩阵周长的比例大于预设的手势特征周长阈值与物距的比例时，则计算机判定该外轮廓不为手势，返回步骤3的链表遍历循环操作，继续遍历检测当前视频帧双向轮廓链表里的其他外轮廓；否则进入步骤7，继续对该外轮廓进行手势识别；步骤7，计算外轮廓的凸包缺陷面积，若外轮廓的凸包缺陷面积小于预设的凸包缺陷面积阈值时，则计算机判定该外轮廓为抱拳手势，此时计算出抱拳手势的中心坐标位置，并重复步骤2-7继续检测下一帧视频帧直至识别出抱拳手势；若外轮廓的凸包缺陷面积大于预设的凸包缺陷面积阈值，则计算机判定该外轮廓为手掌手势，并计算手掌手势的中心坐标位置；步骤8，对抱拳手势和手掌手势的中心坐标位置作差得到手势偏移向量，根据手势偏移向量所在象限来解析控制者上下左右四个方向的手势语义，解析成相应的控制命令，并对解析出的控制命令进行编号生成命令队列；步骤9，计算机从命令队列中逐条取出控制命令，并向计算机的待控应用程序发送控制命令所对应的虚拟键盘消息，最终待控应用程序将响应该控制命令。基于手轮廓特征的手势识别控制系统，包括初始设置模块、图像预处理模块、手势识别模块、命令解析模块和待控应用程序控制模块；初始设置模块，用于设置系统的初始参数，上述初始参数包括视频边框阈值、手势特征面积阈值、手势特征周长阈值、凸包缺陷面积阈值、物距(即摄像头与控制者的距离)以及手势语义上下左右四个方向所对应的控制命令；图像预处理模块，将摄像头拍摄人的图像视频流的每一帧视频帧进行图像预处理；手势识别模块，通过寻找视频帧中的外轮廓来判断预处理后的视频帧中是否有抱拳手势出现，无则继续检测下一帧视频帧是否出现抱拳手势；若识别出抱拳手势，则将抱拳手势的中心坐标位置输入命令解析模块，且对接下来的下一帧视频帧做同样的图像预处理，并寻找下一帧视频帧中是否有手掌手势出现，无则继续检测再下一帧视频帧是否出现手掌手势，若识别出手掌手势，则将手掌手势的中心坐标位置输入命令解析模块；命令解析模块，对抱拳手势和手掌手势的中心坐标位置作差得到手势偏移向量，根据手势偏移向量所在象限来解析控制者上下左右四个方向的手势语义，解析成相应的控制命令，并对解析出的控制命令进行编号生成命令队列；待控应用程序控制模块，从命令队列中逐条取出控制命令，并向待控应用程序发送控制命令所对应的虚拟键盘消息，使得待控应用程序响应该控制命令。与现有技术相比，本专利技术具有如下特点:I)通过对视频帧进行外轮廓提取来进行手势识别，利用手势识别过程中手势特征面积和手势特征周长来识别出手势，并以凸包缺陷面积和来刻画抱拳和手掌，从而有效提高了手掌识别的准确度和效率；2)手势识别过程中全部采用周长和面积等常用计算判别，而非复杂的图像模式识别样本比对方式，因而不需要添加额外样本库，就可以为其他应用开发服务，比如基于手势控制的图片查看器、音乐播放器、网页浏览器和游戏应用程序。附图说明图1为基于手轮廓特征的手势识别控制方法流程图；图2为手势外轮廓的凸包和凸包缺陷示意图；图3为图像预处理流程图；图4为一种象限与命令控制规则；图5为基于手轮廓特征的手势识别控制系统原理框图。具体实施例方式下面以待控应用程序是PPT (幻灯片)为例，对本专利技术进行进一步详细说明:一种基于手轮廓特征的手势识别控制方法，如图1所示，包括如下步骤:步骤1，启动系统所需的初始步骤，设置系统初始参数。如将摄像头连接到计算机中，完成设置面板中的各项参数，待打开指定幻灯片显示连接成功后，可通过摄像头将获取的视频帧输入图像处理步骤。具体实施时可使用VC++编程设计一个MFC界面，分别对摄像头和幻灯片设计一个启动按钮，检查是否连接成功，而在设置面板的设计中应该包含场景设置、抱拳设置、手掌设置和文件设置，其中场景设置参数包括视频边框阈值、二值阈值、物距和图像范围、手势语义上下左右四个方向所对应的控制命令，抱拳设置参数包括外轮廓面积和外轮廓最大边框矩形周长，手掌设置参数包括外轮廓面积和外轮廓最大边框矩形周长和凸包缺陷面积，文件设置参数包括幻灯片文件名和全屏后文件名。手势轮廓的特性影响着手势识别的效率和准确率。在本专利技术中，引入了外轮廓的凸包和凸包缺陷的概念。其中凸包是由手的各个外凸顶点依次相连获得的闭合区域，即图2中手的外围深色线描画出的即是凸包。凸包缺陷则是指凸包内部2个手指之间的空隙，SP图2中A到H被标出的区域即是凸包的各个“凸包缺陷”。这些凸度缺陷提供了手以及手状态的特征表现的方法，据此本专利技术提出了以凸包缺陷面积和来刻画手掌，提高了手掌识别的准确度和效率。其中识别的检测部分，包括人脸区域排除、边界区域排除、长宽比、周长和面积本文档来自技高网...

【技术保护点】
基于手轮廓特征的手势识别控制方法，其特征是包括如下步骤：步骤1，设置系统的初始参数，其中初始参数包括视频边框阈值、手势特征面积阈值、手势特征周长阈值、凸包缺陷面积阈值、物距、以及手势语义上下左右四个方向所对应的控制命令；步骤2，通过摄像头拍摄人的图像视频流，并将其送入计算机中对图像视频流的视频帧进行图像预处理；步骤3，计算机找出视频帧的所有外轮廓，接着将当前视频帧的外轮廓放入双向轮廓链表，然后遍历链表，排除噪声轮廓；步骤4，若外轮廓的边界接近整个视频帧的边界，则计算机判定该外轮廓不为手势，返回步骤3的链表遍历循环操作，继续遍历检测当前视频帧双向轮廓链表里的其他外轮廓；否则进入步骤5，继续对该外轮廓进行手势识别；步骤5，计算外轮廓的面积，若外轮廓的面积与视频区域矩阵面积的比例小于预设的手势特征面积阈值与物距平方的比例时，则计算机判定该外轮廓不为手势，返回步骤3的链表遍历循环操作，继续遍历检测当前视频帧双向轮廓链表里的其他外轮廓；否则进入步骤6，继续对该外轮廓进行手势识别；步骤6，计算外轮廓最大边框矩形的周长，若外轮廓最大边框矩形的周长与视频区域矩阵周长的比例大于预设的手势特征周长阈值与物距的比例时，则计算机判定该外轮廓不为手势，返回步骤3的链表遍历循环操作，继续遍历检测当前视频帧双向轮廓链表里的其他外轮廓；否则进入步骤7，继续对该外轮廓进行手势识别；步骤7，计算外轮廓的凸包缺陷面积，若外轮廓的凸包缺陷面积小于预设的凸包缺陷面积阈值时，则计算机判定该外轮廓为抱拳手势，此时计算出抱拳手势的中心坐标位置，并重复步骤2?7继续检测下一帧视频帧直至识别出抱拳手势；若外轮廓的凸包缺陷面积大于预设的凸包缺陷面积阈值，则计算机判定该外轮廓为手掌手势，并计算手掌手势的中心坐标位置；步骤8，对抱拳手势和手掌手势的中心坐标位置作差得到手势偏移向量，根据手势偏移向量所在象限来解析控制者上下左右四个方向的手势语义，解析成相应的控制命令，并对解析出的控制命令进行编号生成命令队列；步骤9，计算机从命令队列中逐条取出控制命令，并向计算机的待控应用程序发送控制命令所对应的虚拟键盘消息，最终待控应用程序将响应该控制命令。...

【技术特征摘要】

【专利技术属性】
技术研发人员：徐增敏，蒋英春，段雪峰，关健，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：