一种动态手势识别方法及系统技术方案

本发明专利技术公开了一种动态手势识别方法，所述方法包括：采用3D摄像头对手势进行拍摄，获取一组具有n帧图像的手部动作视频；分别识别每一帧图像中的m个手部特征点，获取每一个手部特征点在对应图像帧中的空间坐标信息，得到一帧图像中的手部特征二维向量m*3；将每一帧图像中的手部特征二维向量集合，形成一个三维向量集n*m*3；重复执行步骤S1‑S3，获取多个三维向量集；将所述获取的多个所述三维向量集作为训练样本，对所述训练样本标记一手势名称，并对所述训练样本进行模型训练，得到所述手势名称对应的模型参数，能够高精度地进行动态手势识别。

A Dynamic Gesture Recognition Method and System

The invention discloses a dynamic gesture recognition method, which includes: taking gestures with a 3D camera to obtain a set of hand motion videos with N frame images; identifying m hand feature points in each frame image, obtaining spatial coordinate information of each hand feature point in the corresponding image frame, and obtaining a two-dimensional vector m*3 of hand feature in one frame image; A set of two-dimensional vectors of hand features in each frame image is formed into a set of three-dimensional vectors n*m*3; multiple sets of three-dimensional vectors are obtained by repeated execution of Number, can be high-precision dynamic gesture recognition.

【技术实现步骤摘要】
一种动态手势识别方法及系统
本专利技术属于通信与信息领域的识别
，特别涉及一种动态手势识别方法及系统。
技术介绍
当下，随着人工智能技术的迅猛发展，对于多种人机交互或者增强现实的任务来说，手势逐渐成为设备输入的重要来源之一，所以，准确的手势估计显得越来越重要，并且在计算机视觉领域吸引了越来越多的注意力。硬件方面，随着摄像头以及显示硬件水平的发展，手势的表征从起初的2D空间慢慢的发展到3D空间，形状的空间描述性大大增强，也越来越逼近于人类的真实感官理解。软件方面，随着深度学习的发展进步，各种CNN（深度卷积网络）、RNN(循环卷积网络)模型被应用于手势识别领域，他们能够从高层次抽象出手势的基本特征，然后利用这些特征进行手势的学习，最终达到识别的效果。对于手势而言，通用的认知理论认为，手指的每个关节以及手腕的相互组合在三维空间构成的不同的位移组合形成了我们所谓的动态手势，正是由于手上的关节点众多，每个关节又有很大的活动自由度，再加上手势本身有一定的自相似性，自遮挡等问题，所以，手势识别还是有很大的挑战性。在静态手势识别方面，目前有研究者通过2D/3D摄像头获取单张静态手势图像，然后搜索定位手部区域，通过CNN卷积预训练的模型找到手指指尖位置Pi与掌心位置Pc，计算Pi–Pc的值，其中i从1到5，分别表示5个手指指尖，利用得到的距离值与适当的阈值界定进行手势的识别。该技术方案的缺点是只能处理静态的手势，不能处理动态手势，应用范围比较窄，达不到动态组合的表征效果；仅仅使用指尖的位置，忽略了手指其他关节点的位置信息，模型所能表达的手势种类很局限。动态手势识别方法，目前有研究者通过2D/3D摄像头获取手部动作的序列化视频流，然后在视频流里面跟踪定位手部区域，并且利用CNN卷积网络得到视频流里面每一帧手势的高层次抽象特征，将这些特征输入到RNN循环卷积网络进行预训练学习，得到可供识别的模型参数，进行动态手势识别。该技术方案的缺点是CNN卷积得到的每一帧的高层抽象特征并没有做人为干预，换句话说，得到的抽象特征仅仅是网络自己学习出来的，是网络“自己认为”这些特征可以作为不同手势的识别依据，这个判别依据不一定符合我们的认知，如果手势的背景比较复杂，或者有相似性物体存在，那么卷积得到的特征就存在差异性，相应的手势识别就有一定的误差，甚至是误判。因此，为解决上述技术问题，本专利技术提供一种动态手势识别的技术方案，采用手部特征点在不同时刻的空间位移统计来预测手势形状，能够高精度地进行动态手势识别。
技术实现思路
鉴于此，本专利技术的目的在于提供一种动态手势识别方法及系统，能够高精度地进行动态手势识别。根据上述专利技术目的，本专利技术提供一种动态手势识别方法，所述方法包括：S1、采用3D摄像头对手势进行拍摄，获取一组具有n帧图像的手部动作视频；S2、分别识别每一帧图像中的m个手部特征点，获取每一个手部特征点在对应图像帧中的空间坐标信息，得到一帧图像中的手部特征二维向量m*3；S3、将每一帧图像中的手部特征二维向量集合，形成一个三维向量集n*m*3；S4、重复执行步骤S1-S3，获取多个三维向量集；S5、将所述获取的多个所述三维向量集作为训练样本，对所述训练样本标记一手势名称，并对所述训练样本进行模型训练，得到所述手势名称对应的模型参数。优选地，所述方法还包括：所述手部特征点是手部关节点；所述m是21。优选地，所述21个手部关节点包括大拇指的指尖、第一关节、第二关节和第三关节，食指的指尖、第一关节、第二关节和第三关节，中指的指尖、第一关节、第二关节和第三关节，无名指的指尖、第一关节、第二关节和第三关节，小拇指的指尖、第一关节、第二关节和第三关节，以及手腕中心。优选地，所述步骤S2包括：根据卷积网络模型，对所述每一帧图像进行卷积和特征提取；对每一帧图像中的21个手部关节点进行定位，获取每一个手部关节点在对应图像帧中的空间坐标信息；得到一帧图像中的手部特征二维向量21*3，其中，21指21个手部关节点，3指每一个手部关节点的空间坐标信息。优选地，所述步骤S3包括：将所述每一帧图像对应的二维向量21*3进行堆叠，形成一个三维向量集n*21*3，其中，n为所述手部动作视频中图像帧的个数。优选地，所述步骤S5包括：将所述获取的多个所述三维向量集n*21*3作为训练样本；对所述训练样本标记一手势名称；对所述训练样本进行长短记忆网络模型训练，得到所述手势名称对应的模型参数。优选地，所述方法还包括：对多个不同的手势分别执行步骤S1-S5，得到所述不同的手势名称对应不同的模型参数；将所述不同的模型参数组合生成一总的模型参数；根据所述总的模型参数和一预构建的模型网络，对不同的手势进行识别。根据上述目的，本专利技术提供一种动态手势识别系统，所述系统包括：采集模块，用于采用3D摄像头对手势进行拍摄，获取一组具有n帧图像的手部动作视频；特征模块，用于分别识别每一帧图像中的m个手部特征点，获取每一个手部特征点在对应图像帧中的空间坐标信息，得到一帧图像中的手部特征二维向量m*3；堆叠模块，用于将每一帧图像中的手部特征二维向量集合，形成一个三维向量集n*m*3；训练模块，用于重复执行所述采集模块、特征模块和堆叠模块，获取多个三维向量集，将所述获取的多个所述三维向量集作为训练样本，对所述训练样本标记一手势名称，并对所述训练样本进行模型训练，得到所述手势名称对应的模型参数。优选地，所述手部特征点是手部关节点，所述m是21；所述特征模块包括：识别单元，用于根据卷积网络模型，对所述每一帧图像进行卷积和特征提取；定位单元，用于对每一帧图像中的21个手部关节点进行定位，获取每一个手部关节点在对应图像帧中的空间坐标信息；特征单元，用于得到一帧图像中的手部特征二维向量21*3，其中，21指21个手部关节点，3指每一个手部关节点的空间坐标信息。优选地，所述堆叠模块具体用于，将所述每一帧图像对应的二维向量21*3进行堆叠，形成一个三维向量集n*21*3，其中，n为所述手部动作视频中图像帧的个数；所述训练模块具体用于，将所述获取的多个所述三维向量集n*21*3作为训练样本，对所述训练样本标记一手势名称，对所述训练样本进行长短记忆网络模型训练，得到所述手势名称对应的模型参数。与现有技术相比，本专利技术提供的一种动态手势识别方法及系统，具有以下有益效果：本专利技术根据人类自身对于动态手势的认知原理，采用手掌关节点在不同时刻的空间位移统计来预测手势形状，能够更高精度地进行动态手势识别；采用3D摄像头，可以直接获取较高精度的深度信息，后期可以充分利用这些深度信息，进行手型整体的空间位移变化估计，比如捶打，挥舞，武术动作（出拳，出掌）等等，这些动作在2D领域，要么识别难度大，要么误识别率较高；采用手掌上21个关节点进行手势的识别，21个关节点正好和人类对于手势的认知相吻合，能够最大范围的表征手的不同变化，甚至可以表达较细微的手指的形状变化，在这一点上，其他方法是不能比拟的，也为将来更高的手势识别需求打好基础；采用多帧组合的方式进行关节点空间位置综合统计，一定程度上解决了由于手势的自相似性以及自遮挡带来的问题，提高了对于复杂的动态手势的识别精准率；将人类自身对于动态手势的认知过程引入到人工智能的手势识别中去，强本文档来自技高网...

【技术保护点】
1.一种动态手势识别方法，其特征在于，所述方法包括：S1、采用3D摄像头对手势进行拍摄，获取一组具有n帧图像的手部动作视频；S2、分别识别每一帧图像中的m个手部特征点，获取每一个手部特征点在对应图像帧中的空间坐标信息，得到一帧图像中的手部特征二维向量m*3；S3、将每一帧图像中的手部特征二维向量集合，形成一个三维向量集n*m*3；S4、重复执行步骤S1‑S3，获取多个三维向量集；S5、将所述获取的多个所述三维向量集作为训练样本，对所述训练样本标记一手势名称，并对所述训练样本进行模型训练，得到所述手势名称对应的模型参数。

【技术特征摘要】
1.一种动态手势识别方法，其特征在于，所述方法包括：S1、采用3D摄像头对手势进行拍摄，获取一组具有n帧图像的手部动作视频；S2、分别识别每一帧图像中的m个手部特征点，获取每一个手部特征点在对应图像帧中的空间坐标信息，得到一帧图像中的手部特征二维向量m*3；S3、将每一帧图像中的手部特征二维向量集合，形成一个三维向量集n*m*3；S4、重复执行步骤S1-S3，获取多个三维向量集；S5、将所述获取的多个所述三维向量集作为训练样本，对所述训练样本标记一手势名称，并对所述训练样本进行模型训练，得到所述手势名称对应的模型参数。2.如权利要求1所述的动态手势识别方法，其特征在于，所述方法还包括：所述手部特征点是手部关节点；所述m是21。3.如权利要求2所述的动态手势识别方法，其特征在于，所述21个手部关节点包括大拇指的指尖、第一关节、第二关节和第三关节，食指的指尖、第一关节、第二关节和第三关节，中指的指尖、第一关节、第二关节和第三关节，无名指的指尖、第一关节、第二关节和第三关节，小拇指的指尖、第一关节、第二关节和第三关节，以及手腕中心。4.如权利要求3所述的动态手势识别方法，其特征在于，所述步骤S2包括：根据卷积网络模型，对每一帧图像进行卷积和特征提取；对每一帧图像中的21个手部关节点进行定位，获取每一个手部关节点在对应图像帧中的空间坐标信息；得到一帧图像中的手部特征二维向量21*3，其中，21指21个手部关节点，3指每一个手部关节点的空间坐标信息。5.如权利要求4所述的动态手势识别方法，其特征在于，所述步骤S3包括：将所述每一帧图像对应的二维向量21*3进行堆叠，形成一个三维向量集n*21*3，其中，n为所述手部动作视频中图像帧的个数。6.如权利要求5所述的动态手势识别方法，其特征在于，所述步骤S5包括：将所述获取的多个所述三维向量集n*21*3作为训练样本；对所述训练样本标记一手势名称；对所述训练样本进行长短记忆网络模型训练...

【专利技术属性】
技术研发人员：管泽鑫，
申请(专利权)人：上海斐讯数据通信技术有限公司，
类型：发明
国别省市：上海,31