一种基于二维图像的手骨骼捕捉、手势判别方法技术

本发明专利技术公开了一种基于二维图像的手骨骼捕捉、手势判别方法，包括：1、采集包含手部信息的二维图像，从二维图像中得到数据标签；2、构建手部检测网络结构，并训练生成手部检测模型；3、构建关键点定位网络结构，并训练生成关键点定位模型；4、实时获取视频流；5、将4中带手部信息的二维图像输入2中的模型，得到手的位置、正反面类别及角度信息；6、使用5得到的手的位置信息，截取视频流中手部位的二维图像，并根据5的手的角度信息对手部位的二维图像进行旋转矫正；7、将6的结果输入3中的模型，得到手骨骼关键点位置信息；8、根据7的结果，计算手骨骼关键点中的边缘点，结合5的结果，确定不同手势的判别规则，对手势进行判别。对手势进行判别。对手势进行判别。

【技术实现步骤摘要】
一种基于二维图像的手骨骼捕捉、手势判别方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于二维图像的手骨骼捕捉、手势判别方法。

技术介绍

[0002]手势判别的目的是通过数学算法来判别人类手势，可以协助人与机器进行通信，并且无需任何机械设备即可自然交互。目前手势判别方法主要有以下三种：
[0003](1)利用机器设备，通过有线技术将计算机系统与用户相互连接，直接检测手部各关节的角度和空间位置。例如，数据手套通过多个传感器将用户手的位置、手指的方向等信息传送到计算机系统中。数据手套虽可提供良好的检测效果，但将其应用在常用领域则价格昂贵。
[0004](2)光学标记方法，通过红外线可将人手位置和手指的变化传送到动作捕捉系统的屏幕上，该方法虽可提供良好的效果，但仍需较为复杂的设备。
[0005](3)基于视觉的手势识别方式摆脱了复杂设备的限制，视觉手势识别是指对视频采集设备拍摄到的包含手势的图像序列，通过计算机视觉技术进行处理，进而对手势加以识别。当前准确度较高的方法主要基于深度神经网络，现有的基于视觉的手势判本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于二维图像的手骨骼捕捉、手势判别方法，其特征在于，包括以下步骤：步骤一、采集包含手部信息的二维图像作为数据集，并对二维图像中的手部信息进行标注，得到数据标签；然后对数据标签进行数据处理，并从中随机选取50％的数据作为训练数据集，剩余50％的数据作为测试数据集；步骤二、基于深度学习方法，构建手部检测网络结构，并训练数据，生成手部检测模型；步骤三、基于深度学习方法，构建关键点定位网络结构，并训练数据，生成关键点定位模型；步骤四、实时获取视频流作为数据输入；步骤五、将步骤四中获取的视频流中带手部信息的二维图像输入步骤二中的手部检测模型中，进行前向计算，得到手的位置、正反面类别及角度信息；步骤六、使用步骤五得到的手的位置信息，截取视频流中手部位的二维图像，并根据步骤五得到的手的角度信息对手部位的二维图像进行旋转矫正；步骤七、将步骤六得到的旋转矫正后的二维图像输入步骤三中的关键点定位模型，进行前向计算，得到手骨骼关键点位置信息，并获得手骨骼轮廓；步骤八、根据步骤七得到的手骨骼关键点位置信息，使用凸包算法计算手骨骼关键点中的边缘点，结合步骤五取得的手部位置、正反面类别及角度信息，确定不同手势的判别规则，对应该判别规则直接对手势进行判别。2.如权利要求1所述的基于二维图像的手骨骼捕捉、手势判别方法，其特征在于，所述步骤二中，训练数据时，从手部检测网络结构的输入端输入步骤一所采集的二维图像，输出端会得到一个手部轮廓的预测结果，与数据标签相比较得到一个误差，将这个误差在手部检测模型的每一层迭代中反向传播，直至训练到手部检测模型收敛或达到预设效果，测试数据集的检测结果达到95％以上的准确率，停止训练，生成符合预设要求的手部检测模型。3.如权利要求1所述的基于二维图像的手骨骼捕捉、手势判别方法，其特征在于，所述步骤二中构建的手部检测网络结构是一种基于SSD目标检测网络改进后的目标检测网络结构,通过增加损失函数的方法，构建带角度的手部检测网络结构。4.如权利要求1所述的基于二维图像的手骨骼捕捉、手势判别方法，其特征在于，所...

【专利技术属性】
技术研发人员：李珊如，杨丹青，乔晓辉，吕妙芳，黄亚楠，
申请(专利权)人：河北汉光重工有限责任公司，
类型：发明
国别省市：