一种基于深度学习的手势识别系统技术方案

一种基于深度学习的手势识别系统，所述手势识别系统包括三个模块，手掌识别模块、手部节点识别模块和手势识别模块，其中，手掌识别模块采用了BlazePalm模型，用于识别手的整体框架和方向，手部节点识别模块采用了Landmark模型，用于识别立体手部节点；手势识别模块采用了手势识别模型，用于将识别到的节点分类成一系列手势。单目摄像头图像输入，硬件简单，输入设备少，功耗低。深度学习算法，从二维图像提取手部骨骼关键点的3D坐标。从手势到动作的识别部分，直接用深度学习建模序列数据。直接用深度学习建模序列数据。直接用深度学习建模序列数据。

【技术实现步骤摘要】
一种基于深度学习的手势识别系统


[0001]本专利技术虚拟增强现实的
，涉及一种用于AR眼镜的手势识别系统，该系统的基于深度学习算法进行手势识别。

技术介绍

[0002]手势识别对于我们来说并不陌生，手势识别技术很早就有，目前也在逐渐成熟，现在大部分消费类应用都在试图增加这一识别功能，无论是智能家居，智能可穿戴以及VR等应用领域，增加了手势识别控制功能，必能成为该应用产品的一大卖点。手势识别可以带来很多的好处，功能炫酷，操作方便，在很多应用场合都起到了良好的助力功能。
[0003]已有方案，有的是用双目摄像头作为输入，有的是RGB+TOF作为算法输入。他们的输出都是实现简单的手部位置跟踪，最多实现简单的手势识别。双目摄像头作为输入，或者RGB+TOF作为算法输入，功耗比较大，发热量大，运行一段时间需要停机等待自然降温散热。现有的技术只支持简单手部位置的跟踪，和简单手势的识别。不能实时实现动作的识别。这样不符合人的交互习惯，交互体验比较差。
[0004]目前现阶段手势识别的研究方向主要分为：基于穿戴设备的手势识别和基于视觉方法的手势识别。基于穿戴设备的手势识别主要是通过在手上佩戴含有大量传感器的手套获取大量的传感器数据，并对其数据进行分析。该种方法相对来虽然精度比较高，但是由于传感器成本较高很难在日常生活中得到实际应用，同时传感器手套会造成使用者的不便，影响进一步的情感分析，所以此方法更多的还是应用在一些特有的相对专业的仪器中。而本专利技术更多的还是将关注点放在基于视觉方法的手势研究中，在此特地以麦耘手势识别算法的框架为例，方便读者更好的复现和了解相关领域。
[0005]基于视觉方法的手势识别主要分为静态手势识别和动态手势识别两种。从文字了解上来说，动态手势识别肯定会难于静态手势识别，但静态手势是动态手势的一种特殊状态，我们可以通过对一帧一帧的静态手势识别来检测连续的动态视频，进一步分析前后帧的关系来完善手势系统。
[0006]手势识别技术的发展，可以粗略分为两个阶段：二维手势识别以及三维手势识别。
[0007]早期的手势识别识别是基于二维彩色图像的识别技术，所谓的二维彩色图像是指通过普通摄像头拍出场景后，得到二维的静态图像，然后再通过计算机图形算法进行图像中内容的识别。二维的手型识别的只能识别出几个静态的手势动作，而且这些动作必须要提前进行预设好。
[0008]相比较二维手势识别，三维手势识别增加了一个Z轴的信息，它可以识别各种手型、手势和动作。三维手势识别也是现在手势识别发展的主要方向。不过这种包含一定深度信息的手势识别，需要特别的硬件来实现。常见的有通过传感器和光学摄像头来完成。
[0009]手势识别中最关键的包括对手势动作的跟踪以及后续的计算机数据处理。关于手势动作捕捉主要是通过光学和传感器两种方式来实现。手势识别推测的算法，包括模板匹配技术(二维手势识别技术使用的)、通过统计样本特征以及深度学习神经网络技术。根据
硬件实现方式的不同，目前行业内所采用的手势识别大约有三种：
[0010]1、结构光(Structure Light)，通过激光的折射以及算法计算出物体的位置和深度信息，进而复原整个三维空间。结构光的代表产品有微软的Kinect一代。不过由于以来折射光的落点位移来计算位置，这种技术不能计算出精确的深度信息，对识别的距离也有严格的要求。
[0011]2、光飞时间(TIme of Flight)，加载一个发光元件，通过CMOS传感器来捕捉计算光子的飞行时间，根据光子飞行时间推算出光子飞行的距离，也就得到了物体的深度信息。代表作品为Intel带手势识别功能的三维摄像头。
[0012]3、多角成像(MulTI
‑
camera)，现在手势识别领域的佼佼者Leap MoTIon使用的就是这种技术。它使用两个或者两个以上的摄像头同时采集图像，通过比对这些不同摄像头在同一时刻获得的图像的差别，使用算法来计算深度信息，从而多角三维成像。

技术实现思路

[0013]针对上述问题，本专利技术提供一种基于深度学习的手势识别系统，直接基于二维彩色图像，就能得到手部21个骨骼关节点的三维空间坐标。
[0014]本专利技术是通过以下技术方案实现的，提供一种基于深度学习的手势识别系统，所述手势识别系统包括三个模块，手掌识别模块、手部节点识别模块和手势识别模块，其中，手掌识别模块采用了BlazePalm模型，用于识别手的整体框架和方向，手部节点识别模块采用了Landmark模型，用于识别立体手部节点；手势识别模块采用了手势识别模型，用于将识别到的节点分类成一系列手势。
[0015]所述BlazePalm模型是一个可识别单帧图像的模型，为Landmark模型提供准确剪裁的手掌图像，在经过训练后手掌识别准确率可达95.7％，BlazePalm可识别多种不同手掌大小，还能识别手部遮挡，并且能通过对手臂、躯干或个人特征等的识别来准确定位手部。
[0016]所述Landmark模型，则是在BlazePalm基础上识别到的21个立体节点坐标，这些节点之间的位置遮挡也可被识别。
[0017]所述手势识别模型，手势识别系统通过多层计算来识别手势，从Landmark提取的数据来推断每根手指伸直或弯曲动作，接着将这些动作与预设的手势匹配，以预测基础的静态手势；这些预设手势包括一些美国、欧洲、中国通用的数数手势，以及竖大拇指、握拳、OK、“蜘蛛侠”。
[0018]手势识别步骤如下：
[0019]1.导入手势识别引用得到的库
[0020]2.调用设备的摄像头，
[0021]3.读取视频或者图片
[0022]4.判断灰度值的不同，进行手势轮廓的模型提取，使用摄像头可以检测手摆出的手势。
[0023]5.对摄像头识别到手势进行高斯滤波处理，提高对比度或者灰度值；
[0024]6.定义和找出手势的凹凸点
[0025]7.手势的条件判断，根据手势的特征进行定义，识别指令。
[0026]8.设置报讯显示和键盘ESC停止程序的指令。
[0027]与现有技术相比，本专利技术提供的，具有以下有益效果：
[0028]单目摄像头图像输入，硬件简单，输入设备少，功耗低。深度学习算法，从二维图像提取手部骨骼关键点的3D坐标。从手势到动作的识别部分，直接用深度学习建模序列数据。
附图说明
[0029]图1为本专利技术的工作流程图。
具体实施方式
[0030]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进一步详细说明。
[0031]请参阅图1，本专利技术提供一种基于深度学习的手势识别系统，采用分步法，先人手检测、跟踪，然后骨骼关键点提取，最后提取上层语义信息；
[0032]可以识别单手21个骨骼节点，可识别手指之间的遮挡。只需要手机的一颗摄像头，无需追踪手套即可实现手势识别。我们的方法是一种基于机器学习技术的手势识别算法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的手势识别系统，其特征在于：所述手势识别系统包括三个模块，手掌识别模块、手部节点识别模块和手势识别模块，其中，手掌识别模块采用了BlazePalm模型，用于识别手的整体框架和方向，手部节点识别模块采用了Landmark模型，用于识别立体手部节点；手势识别模块采用了手势识别模型，用于将识别到的节点分类成一系列手势。2.基于深度学习的手势识别系统，其特征在于：所述BlazePalm模型是一个可识别单帧图像的模型，为Landmark模型提供准确剪裁的手掌图像，在经过训练后手掌识别准确率可达95.7％，BlazePalm可识别多种不同手掌大小，还能识别手部遮挡，并且能通过对手臂、躯干或个人特征等的识别来准确定位手部。3.基于深度学习的手势识别系统，其特征在于：所述Landmark模型，则是在BlazePalm基础上识别到的21个立体节点坐标，这些...

【专利技术属性】
技术研发人员：朵海云，郑科汉，祁焕祥，
申请(专利权)人：麦耘陕西科技发展有限公司，
类型：发明
国别省市：