The invention discloses a three-dimensional gesture recognition method and interactive system based on depth image, which includes: acquiring depth information map by using depth sensor; recognizing AOI by CNN, cutting hand depth information map to be recognized; and transferring hand depth information map obtained from CNN into gesture recognition. The network recognizes and obtains the three-dimensional coordinates of the key nodes of the hand; transforms the coordinates of the key nodes of the hand to adapt to the world coordinates of the interactive system; transmits the coordinate sequence of the key nodes of the hand after transforming the coordinates to the interactive system by using Socket communication; and obtains the information of the key nodes of the hand by the interactive system. In combination with user defined semantic judgment conditions, the interaction result is displayed by using its physical engine. The invention can not only distinguish the three-dimensional coordinates of the joint points of the hand excellently, but also judge the gesture semantic action, and has broad application prospects.
【技术实现步骤摘要】
一种基于深度图像的三维手势识别方法及交互系统
本专利技术涉及计算机图形学、深度学习和人机交互
,特别涉及一种基于深度图像和深度学习的三维手势识别方法及其交互系统。
技术介绍
自然人机交互一直是计算机图形学以及计算机人机交互领域的一个重要研究方向,三维手势识别作为自然人机交互的一个重要组成成分,自然受到了极大的关注。同时,近几年来一些相对成熟的深度摄像头也相继上市,比如微软的Kinect,深度摄像头获取的深度图像,避免了传统RGB图像容易受到光照及复杂背景等影响的缺点,给手势识别带了便利。三维手势识别所需要实现的应该不单单是判断出图像中的手属于哪一种手势状态,而是应该将整个手的所有关节点的坐标位置识别出来。然而,因为手部具有高自由度及自遮挡等特性,三维手势识别仍然是一个具有挑战性的问题,所以目前许多手势识别更多的是追踪手的运动轨迹来实现非常简单的人机交互,还有的就是预定好多个手势模板,然后根据传感器得到的特征信息去匹配预定义模板来判断手势,极大地限制了手势识别的自由度和泛化性。手势识别的方法目前主要有三种:第一,基于传统图形学算法的手势识别,通过各种复杂的图形学算法,识别出手的各个关键点,这类方法不但复杂而且精确度不高;第二,基于手部模型的手势识别,先预定义好手部的3D模型,然后将变换3D模型与图像结果进行匹配,这种方法不但复杂,还需将手部3D模型预先和用户的手部图像相适应;第三,基于数据驱动的手势识别,利用带标签的数据训练深度网络,将图像输入到训练好的网络中,自动检测出手势。其中,第三种方法在手势识别的精度和系统的泛化性上远远优于前两种方法。专利技术 ...
【技术保护点】
1.一种基于深度图像的三维手势识别方法,其特征在于,包括以下步骤:1)使用深度传感器获取深度信息图;2)数据预处理,对获取的深度信息图利用卷积神经网络,即CNN,识别出AOI,切割出待识别的手部深度信息图;3)将从CNN中获得的手部深度信息图传入以ResNet为基本结构的已经训练好的手势识别网络进行识别,获得识别出的手部关键节点三维坐标;4)将从网络中识别输出的手部关键节点坐标进行坐标转换,以适应交互系统的世界坐标;5)利用Socket通讯,将变换坐标后的手部关键节点坐标序列传送到交互系统;6)交互系统获取手部关键节点信息,结合用户设定的语义判断条件,利用其物理引擎展示交互结果。
【技术特征摘要】
1.一种基于深度图像的三维手势识别方法,其特征在于,包括以下步骤:1)使用深度传感器获取深度信息图;2)数据预处理,对获取的深度信息图利用卷积神经网络,即CNN,识别出AOI,切割出待识别的手部深度信息图;3)将从CNN中获得的手部深度信息图传入以ResNet为基本结构的已经训练好的手势识别网络进行识别,获得识别出的手部关键节点三维坐标;4)将从网络中识别输出的手部关键节点坐标进行坐标转换,以适应交互系统的世界坐标;5)利用Socket通讯,将变换坐标后的手部关键节点坐标序列传送到交互系统;6)交互系统获取手部关键节点信息,结合用户设定的语义判断条件,利用其物理引擎展示交互结果。2.根据权利要求1所述的基于深度图像的三维手势识别方法,其特征在于,在步骤1)中,用户使用深度传感器,包括Kinect,获取到深度信息图,电脑端通过OpenNI获取到深度传感器中的深度信息图。3.根据权利要求1所述的基于深度图像的三维手势识别方法,其特征在于,在步骤2)中,对于从深度传感器获得深度信息图,使用经过训练的CNN网络进行识别手部位置,切割出包含手部的深度信息的AOI。4....
【专利技术属性】
技术研发人员:彭昊,李拥军,冼楚华,吴煜林,冯嘉昌,
申请(专利权)人:华南理工大学,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。