基于RGB信息的实时手部识别方法、存储介质、电子设备技术

本发明专利技术基于RGB信息的实时手部识别方法，包括获取实时RGB图像组、二维图像分割、建立三维手势模型、手势判断、输出结果。本发明专利技术还涉及存储介质及电子设备。本发明专利技术采用各向异性高斯和模型将人的手部重要关节等效为椭球体模型，通过多角度的图像采集装置采集手部实时图像，实现手部姿态的快速识别。本发明专利技术实时性强，准确度高、鲁棒性强、延时低、能够实现识别复杂的手部动作。

Real time hand recognition method, storage medium, electronic equipment based on RGB information

The invention is a real-time hand recognition method based on RGB information, including acquiring real-time RGB image group, two-dimensional image segmentation, establishing 3D gesture model, gesture judgement and output result. The invention also relates to a storage medium and an electronic device. The anisotropic Gauss and model are used to equip the important joints of human hands into ellipsoidal models. The real-time image of hands is collected by multi angle image acquisition device, and the gesture recognition is achieved quickly. The invention has the advantages of strong real time, high accuracy, strong robustness, low delay, and can realize complex hand movement recognition.

【技术实现步骤摘要】
基于RGB信息的实时手部识别方法、存储介质、电子设备
本专利技术涉及图像识别，尤其涉及基于RGB信息的实时手部识别方法、存储介质、电子设备。
技术介绍
在人机交互系统中，动态的手势识别技术是人机交互中重要的交互技术之一。为了增强准确性和鲁棒性，现阶段实时的动态手势识别主要存在以下问题：1.手部的关节自由度较多，实时识别及跟踪的难度大；2.手部的动作速率快，对采集设备要求高；3.RGB图像中的手指交叠会对手势识别造成影响，由于同一个人的手掌皮肤颜色相同，交叠的部分又很难通过2D图片的RGB信息进行准确区分；4.不同人的手部动态速率不同造成特定手部动作识别不准确。
技术实现思路
为了克服现有技术的不足，本专利技术的目的在于提供一种基于RGB信息的实时手部识别方法，本专利技术实时性强，准确度高、鲁棒性强、延时低、能够识别复杂的手部动作。本专利技术提供基于RGB信息的实时手部识别方法，包括以下步骤：获取实时RGB图像组，图像采集装置采集手部多角度图像，得到手部二维RGB图像组；二维图像分割，对所述RGB图像组中的图像依次进行图像分割；建立三维手势模型，根据图像分割后的所述RGB图像组建立三维手势模型；手势判断，采用各向异性高斯和模型对所述三维手势模型与手部三维模型数据库中的模型进行识别判断，得到当前手部姿态；输出手势结果，输出所述当前手部姿态。进一步地，基于RGB信息的实时手部识别方法还包括步骤三维手部姿态转为二维手部姿态，将所述三维手势模型投影至二维投影面得到二维手势模型。进一步地，所述的步骤输出手势结果具体为输出所述二维手势模型和或者或所述三维手势模型。进一步地，所述的步骤二维图像分割具体采用二维四叉树对所述RGB图像组中的图像依次进行图像分割。进一步地，所述的步骤建立三维手势模型具体采用动作匹配能量最大算法对图像分割后的所述RGB图像组的图像进行匹配，建立三维手势模型。进一步地，所述的三维手势模型采用17个各向异性高斯特征的椭球体进行等效。进一步地，所述的图像采集装置为摄像机，所述的摄像机的采集频率大于每秒20帧。进一步地，所述的图像采集装置的数量为至少2台。一种电子设备，包括：处理器；存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行基于RGB信息的实时手部识别方法。一种计算机可读存储介质，其上存储有计算机程序：所述计算机程序被处理器执行基于RGB信息的实时手部识别方法。相比现有技术，本专利技术的有益效果在于：本专利技术基于RGB信息的实时手部识别方法，包括获取实时RGB图像组、二维图像分割、建立三维手势模型、手势判断、输出结果。本专利技术还涉及存储介质及电子设备。本专利技术采用各向异性高斯和模型将人的手部重要关节等效为椭球体模型，通过多角度的图像采集装置采集手部实时图像，实现手部姿态的快速识别。本专利技术实时性强，准确度高、鲁棒性强、延时低、能够实现识别复杂的手部动作。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合附图详细说明如后。本专利技术的具体实施方式由以下实施例及其附图详细给出。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术的基于RGB信息的实时手部识别方法步骤示意图；图2为采用SoG的等效手部三维模型示意图；图3为本专利技术的采用SAG的等效手部三维模型示意图示意图；图4为本专利技术的步骤三维手部姿态转为二维手部姿态的原理示意图；图5为采用SAG与SoG的等效手部三维模型下摄像机数量与误差关系图；图6为采用SAG与SoG的等效手部三维模型不同子数据集下的误差图表。具体实施方式下面，结合附图以及具体实施方式，对本专利技术做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。基于RGB信息的实时手部识别方法，如图1所示，包括以下步骤：获取实时RGB图像组，图像采集装置采集手部多角度图像，得到手部二维RGB图像组；一般的，图像采集装置为摄像机，摄像机的采集频率大于每秒20帧，图像采集装置的数量为至少2台；在一实施例中，为提高采集精度同时减低运算时间，采用4台摄像机对手部动作进行跟踪拍摄，采集频率为每秒25帧。二维图像分割，对RGB图像组中的图像依次进行图像分割；具体采用二维四叉树对RGB图像组中的图像依次进行图像分割。建立三维手势模型，根据图像分割后的RGB图像组建立三维手势模型；具体采用动作匹配能量最大算法对图像分割后的RGB图像组的图像进行匹配，通过比较三维模型数据库中的每个三维模型在不同角度的二维投影，与不同角度摄像头采集的二维信息进行对比，最终寻找到最匹配的三维手势模型。把某个在摄像头组下采集的手部动作信息定义为Ca，把3D模型库中某个动作的3D模型定义为Cb，可以得到：其中，Epq是前面提到的两个二维手部动作的相似度度量，d(cp，cq)表示两个模型中特征的相似程度，其中，式中，E(Ca，Cb)定义为动作匹配能量，表示真实手部动作和三维模型库中手部动作的相似度度量，E(Ca，Cb)越大，则说明真实的手部动作与三维模型库中某个手部动作模型越相似。理解为把所有照相机采集到的每张图片中的手部动作的RGB信息和某个三维模型中的二维投影的相似度做加和，结果最大的即为三维手势模型中与真实手部动作最相似的那个模型；d(cp，cq)Dpq则是把Epq分解成了不同的手部特征。手势判断，采用各向异性高斯和模型对三维手势模型与手部三维模型数据库中的模型进行识别判断，得到当前手部姿态；先对SoG(SumofGaussians高斯和模型)进行说明，SoG在2011年由C.Stoll在论文“FastarticulatedmotiontrackingusingasumsofGaussiansbodymodel.”中首先提出将SoG技术用于与人体跟踪中，2013年的一篇论文“InteractivemarkerlessarticulatedhandmotiontrackingusingRGBanddepthdata.”则把SoG首先用在了手部跟踪上，但SoG的核心思想是采用各向同性高斯模型，将人体躯干等效为三维几何体，从而对躯干进行描述及匹配。如图2所示，使用30个各向同性高斯和模型等效出的手部3D模型，每个各向同性高斯和模型可以看做是一个球体，图2为该手部模型在二维空间的投影，可以发现，对手部动作的还原并不好，不能完美地表示手部的动作特征。采用SoG技术有非常大的缺点是，等效成的球体模型并不能充分表达手部动作特征，同时30多个球体模型的相互关系的运算也大大增加了系统的运算量，提高了对硬件的需求，降低了系统算法的实时性。本专利技术提出了一种各向异性高斯和模型，命名为SAG：SumofAnisotropicGaussians，更好地等效手部动作，且使用更少的几何体模型来等效手部，使对手部动作表达更准确，同时也极大地减少了运算量。在三维空间中，手部的体积由多个几何体的模型相加近似得到，即：手部的空间特征等效为各向异性高斯特征模型的和。所以，在构建的数据库的手部三本文档来自技高网...

【技术保护点】
基于RGB信息的实时手部识别方法，其特征在于，包括以下步骤：获取实时RGB图像组，图像采集装置采集手部多角度图像，得到手部二维RGB图像组；二维图像分割，对所述RGB图像组中的图像依次进行图像分割；建立三维手势模型，根据图像分割后的所述RGB图像组建立三维手势模型；手势判断，采用各向异性高斯和模型对所述三维手势模型与手部三维模型数据库中的模型进行识别判断，得到当前手部姿态；输出手势结果，输出所述当前手部姿态。

【技术特征摘要】
1.基于RGB信息的实时手部识别方法，其特征在于，包括以下步骤：获取实时RGB图像组，图像采集装置采集手部多角度图像，得到手部二维RGB图像组；二维图像分割，对所述RGB图像组中的图像依次进行图像分割；建立三维手势模型，根据图像分割后的所述RGB图像组建立三维手势模型；手势判断，采用各向异性高斯和模型对所述三维手势模型与手部三维模型数据库中的模型进行识别判断，得到当前手部姿态；输出手势结果，输出所述当前手部姿态。2.如权利要求1所述的基于RGB信息的实时手部识别方法，其特征在于，还包括步骤三维手部姿态转为二维手部姿态，将所述三维手势模型投影至二维投影面得到二维手势模型。3.如权利要求2所述的基于RGB信息的实时手部识别方法，其特征在于，所述的步骤输出手势结果具体为输出所述二维手势模型和或者或所述三维手势模型。4.如权利要求1所述的基于RGB信息的实时手部识别方法，其特征在于，所述的步骤二维图像分割具体采用二维四叉树对所述RGB图像组中的图像依次进行图...

【专利技术属性】
技术研发人员：郭继舜，
申请(专利权)人：大圣科技股份有限公司，
类型：发明
国别省市：广东,44