基于深度神经网络的手势识别方法、装置及系统制造方法及图纸

本申请提供基于深度神经网络的手势识别方法、装置及系统。所述方法包括：基于深度神经网络检测来自摄像头的手势图片的手势类型和手势参数；基于所述手势类型和手势参数提取所述手势图片的感兴趣区域；获取来自Kinect摄像头的手势识别模型；利用所述手势识别模型识别所述感兴趣区域的手势得到第一手势识别结果。

【技术实现步骤摘要】
基于深度神经网络的手势识别方法、装置及系统
本申请涉及手势识别
，具体涉及基于深度神经网络的手势识别方法、装置及系统。
技术介绍
人机交互技术已经融入人们的日常生活中，涉及的领域有工作、购物、交流和娱乐等。传统的人机交互设备比如鼠标、键盘和遥控器，这种不自然的交流方式使得交互缓慢而且不自然。对于与3D对象的交互尤其如此，鼠标的2个自由度无法正确模拟空间的3个维度。为了促进和完成人与计算机之间的高级交互，出现了自然交互技术，如：可触摸技术、手势、人脸识别、语音识别、自然导航等。自然交互是指人与计算机生成的模拟交互的能力，这些模拟准确地反映了与真实对象的交互。与使用传统输入方法相比，多模态自然交互为用户提供了更自然的方式与虚拟环境进行交互，也为远程操作提供了技术支持。人们越来越重视涉及感官的自然交互，使用嗅觉、声音、触觉以及视觉感知，可以提供一系列不同的交互选择。随着用户输入从键盘转移到手势、语音和身体移动等，用户将需要可靠的机制来表达他们的意图。2011年，苹果公司基于语音识别的iPhone个人助理Siri发布，标志着公众对语音识别技术的看法发生了一次变化。第一次用户可以通过语音来输入信息，导航应用程序或提出问题。作为自然交互的一个方面，基于手势的自然交互越来越受到关注。与其他身体部位相比，手被广泛应用，因为它是人类与外界之间交流的天然媒介，比如当用手指向一个物体，表达有关某物的信息或者移动、修改和变换该物体，完全相同的方式用手来打手势完成交互更加直观自然。因此手是最适合人机交互的部位。手势控制有两种方法，基于触摸和非触摸。触摸屏交互是基于触摸设备的示例，基于触摸的设备的缺点之一是需要与设备直接接触，因此无法从远处进行交互。另一个缺点是这种类型的交互是不自然的，并且过程缓慢。基于视觉的手势识别技术是非触摸的方法，这种识别和跟踪方法为研究人员提供了更多的自由度也不需要戴手套。然而，基于视觉的手势识别技术因复杂的背景、动态照明条件、可变形的人手形状和错误的对象提取可能导致计算机误解手势。如果人是移动的，则手势识别系统还需要满足其他约束，例如图像中手势的大小和对运动的适应性。Microsoft开发了一个用于体感开发的设备Kinect，该设备具有自然交互的能力。Kinect可以处理基本手势，面部特征，甚至全身运动，如跳跃和踢腿等。用户可以通过物理运动或语音命令控制游戏、电影和音乐。专利技术人发现，复杂背景及动态照明条件对Kinect实现动作捕捉影响较小，但是当检测和识别较小的物体，例如占据图像的非常小的区域且具有复杂铰接结构的人手时，存在自遮挡和精确度不足等问题。
技术实现思路
本申请实施例提供一种基于深度神经网络的手势识别方法，包括：基于深度神经网络检测来自摄像头的手势图片的手势类型和手势参数；基于所述手势类型和手势参数提取所述手势图片的感兴趣区域；获取来自Kinect摄像头的手势识别模型；利用所述手势识别模型识别所述感兴趣区域的手势得到第一手势识别结果。作为一种可选择的方案，所述方法还包括：将所述第一手势识别结果与利用Kinect摄像头根据手部骨骼信息得到的第二手势识别结果加权得到最终识别结果。作为本申请的一个方面，所述基于深度神经网络检测来自摄像头的手势图片的手势类型和手势参数，包括：获取来自摄像头的手势图片；对所述手势图片进行处理和标注得到手势图片的特征；基于所述手势图片的特征对深度神经网络模型进行训练，得到所述手势类型和手势参数。作为本申请的一个方面，所述手势识别模型通过以下步骤获取：所述Kinect摄像头的视觉手势生成器获取手势文件；对所述手势文件添加剪辑及标记生成手势数据集；基于所述手势数据集，训练得到所述手势识别模型。作为本申请的一个方面，其中，所述Kinect摄像头的视觉手势生成器获取手势文件中，所述手势文件通过所述Kinect摄像头录制剪辑手势视频并将所述手势视频转换为所述视觉手势生成器能识别的手势文件。作为本申请的一个方面，所述基于所述手势数据集，训练得到所述手势识别模型，包括：基于所述手势数据集的手势特征，训练得到弱分类器；加权组合所述弱分类器得到强分类器；选取识别率高于识别阈值的所述强分类器作为所述手势识别模型。作为本申请的一个方面，所述利用所述手势识别模型识别所述感兴趣区域的手势得到第一手势识别结果，包括：获取所述感兴趣区域的手势的手势特征集；对所述手势特征集进行数据分割得到手势分类数据；利用所述手势识别模型识别所述手势分类数据得到所述第一手势识别结果。本申请实施例还提供一种基于深度神经网络的手势识别装置，包括手势检测单元、区域提取单元、模型获取单元、手势识别单元，所述手势检测单元基于深度神经网络检测来自摄像头的手势图片的手势类型和手势参数；所述区域提取单元基于所述手势类型和手势参数提取所述手势图片的感兴趣区域；所述模型获取单元获取来自Kinect摄像头的视觉手势生成器训练得到的手势识别模型；所述手势识别单元利用所述手势识别模型识别所述感兴趣区域的手势得到第一手势识别结果。作为一种可选择的方案，所述装置还包括加权识别单元，所述加权识别单元将所述第一手势识别结果与利用Kinect摄像头根据手部骨骼信息得到的第二手势识别结果加权得到最终识别结果；所述手势检测单元包括图片获取单元、图片处理单元、模型检测单元，所述图片获取单元获取来自摄像头的手势图片；所述图片处理单元对所述手势图片进行处理和标注得到手势图片的特征；所述模型检测单元基于所述手势图片的特征对深度神经网络模型进行训练，得到所述手势类型和手势参数；所述手势识别单元包括手势特征集获取单元、分割单元、识别单元，所述手势特征集获取单元获取所述感兴趣区域的手势的手势特征集；所述分割单元对所述手势特征集进行数据分割得到手势分类数据；所述识别单元利用所述手势识别模型识别所述手势分类数据得到所述第一手势识别结果。本申请实施例还提供一种基于深度神经网络的手势识别系统，包括摄像头、Kinect摄像头、上述所述的基于深度神经网络的手势识别装置，所述摄像头获取手势图片；所述Kinect摄像头生成手势识别模型。本申请实施例提供的技术方案，基于深度神经网络实现了手势的检测与Kinect摄像头的VGB训练得到的手势识别模型相结合，提高了手势的识别率，且受复杂背景和光照等的影响较小。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请一实施例提供的一种基于深度神经网络的手势识别系统组成示意图；图2是本申请一实施例提供的一种基于深度神经网络的手势识别方法流程示意图；图3是本申请一实施例提供的对手势图片进行处理和标注生成的手势图像部分数据示意图；图4是本申请一实施例提供的一种第一手势识别结果示意图；图5是本申请一实施例本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络的手势识别方法，包括：/n基于深度神经网络检测来自摄像头的手势图片的手势类型和手势参数；/n基于所述手势类型和手势参数提取所述手势图片的感兴趣区域；/n获取来自Kinect摄像头的手势识别模型；/n利用所述手势识别模型识别所述感兴趣区域的手势得到第一手势识别结果。/n

【技术特征摘要】
1.一种基于深度神经网络的手势识别方法，包括：
基于深度神经网络检测来自摄像头的手势图片的手势类型和手势参数；
基于所述手势类型和手势参数提取所述手势图片的感兴趣区域；
获取来自Kinect摄像头的手势识别模型；
利用所述手势识别模型识别所述感兴趣区域的手势得到第一手势识别结果。


2.根据权利要求1所述的方法，还包括：
将所述第一手势识别结果与利用Kinect摄像头根据手部骨骼信息得到的第二手势识别结果加权得到最终识别结果。


3.根据权利要求1所述的方法，其中，所述基于深度神经网络检测来自摄像头的手势图片的手势类型和手势参数，包括：
获取来自摄像头的手势图片；
对所述手势图片进行处理和标注得到手势图片的特征；
基于所述手势图片的特征对深度神经网络模型进行训练，得到所述手势类型和手势参数。


4.根据权利要求1所述的方法，其中，所述手势识别模型通过以下步骤获取：
所述Kinect摄像头的视觉手势生成器获取手势文件；
对所述手势文件添加剪辑及标记生成手势数据集；
基于所述手势数据集，训练得到所述手势识别模型。


5.根据权利要求4所述的方法，其中，所述Kinect摄像头的视觉手势生成器获取手势文件中，所述手势文件通过所述Kinect摄像头录制剪辑手势视频并将所述手势视频转换为所述视觉手势生成器能识别的手势文件。


6.根据权利要求4所述的方法，其中，所述基于所述手势数据集，训练得到所述手势识别模型，包括：
基于所述手势数据集的手势特征，训练得到弱分类器；
加权组合所述弱分类器得到强分类器；
选取识别率高于识别阈值的所述强分类器作为所述手势识别模型。

【专利技术属性】
技术研发人员：伍穗颖，柯茂旭，张硕，
申请(专利权)人：广州凡拓数字创意科技股份有限公司，
类型：发明
国别省市：广东;44