基于多技术融合的手势交互方法技术

本发明专利技术涉及图像处理技术领域，为了提高用户使用体验感，提供了一种基于多技术融合的手势交互方法，包括：动态手势预录阶段及动态手势识别阶段。通过引入人脸识别技术，单独为每一个操作人训练其动态手势分类模型，可在使用轻量化算法和模型的情况下，保证动作分类的准确性，同时满足实时的动态手势分类要求；通过人体识别技术的引入，可以在复杂的应用环境下，如有手部检测发生丢失，可自动恢复主操作人的锁定；通过对动态手势特征提取过程的设计，在保证动作分类精度不变的，大大减少使用者对某种动态手势的预录次数。者对某种动态手势的预录次数。者对某种动态手势的预录次数。

【技术实现步骤摘要】
基于多技术融合的手势交互方法


[0001]本专利技术涉及图像处理
，具体是一种基于多技术融合的手势交互方法。

技术介绍

[0002]最近几年，手势作为一种输入通道，已在人机交互、虚拟现实等领域得到了广泛的应用，引起了广泛的关注。特别是随着先进人机交互技术的出现以及计算机技术(特别是深度学习、GPU并行计算等)的飞速发展，手势理解和交互方法取得了突破性的成果，引发了研究的热潮。尤其是元宇宙相关概念及话题的提出，带来了新一轮技术展望与发展。其中最大变化要属交互理念的改变，普遍认为元宇宙的交互方式是从键盘鼠标式的交互到手势交互。其交互方式将是基于感知设备(单目摄像头，多目摄像头及深度摄像头)的空间交互，它将是下一轮技术发展的重心，除此之外，手势交互可广泛应用于虚拟现实、汽车用户界面、人与机器人交互、生物医学等领域。
[0003]而在现阶段的手势交互技术中，仍然存在较多的问题，例如金手指问题，在人手部的连续运动中，难以判断哪些动作是有意图的交互，而哪些是下意识的动作；动态手势交互识别存在延时问题；手部姿态重建精度低；基于深度学习手势动作分类训练时间较长；手部跟踪易丢失等。

技术实现思路

[0004]为了提高用户使用体验感，提供了一种基于多技术融合的手势交互方法。
[0005]本专利技术解决上述问题所采用的技术方案是：
[0006]基于多技术融合的手势交互方法，包括：动态手势预录阶段及动态手势识别阶段，所述动态手势预录阶段包括：
[0007]步骤11、对原始视频流数据进行关键帧抽取，并对抽取的关键帧进行图像预处理，对预处理后的图像划定预设区域；
[0008]步骤12、对预设区域进行人体检测，将检测分数最高且最靠近检测区域中心的个例作为动作预录主体人，获得其边框并进行图像裁剪；
[0009]步骤13、对裁剪出的人体图像区域进行脸部及手部定位，并根据预设大小裁剪出脸部及手部的图像数据；
[0010]步骤14、对获取的人脸区域进行人脸识别，输出人脸特征，存入数据库；
[0011]步骤15、对获取的手部区域进行手部3D关键点检测，根据是否开启预录进行流程选择：若未开启预录，则根据当前及过去的3D关键点及其投影的2D关键点位置，预测出下一帧手部图像区域并获取，基于新获取的手部图像区域循环步骤15；若开启预录，则将完整手势对应的多帧图像的手部3D关键点特征加入到数据队列中；
[0012]步骤16、使用高斯混合模型GMM对数据队列进行处理，得到高斯混合模型参数，进而将多帧的手部3D关键点特征转化为Fisher特征；分别计算出该预录主体人的多种动态手势的Fisher特征，利用SVM模型进行分类训练，得到SVM模型；将训练好的GMM模型与SVM模
型，联合该预录主体人的人脸识别特征存入数据库；
[0013]所述动态手势识别阶段包括：
[0014]步骤21、采用与步骤11相同的方式划定预设区域，在预设区域内进行人体检测后，对主操作人体进行人体识别；
[0015]步骤22、对主操作人体对应的手部区域进行手部3D关键点检测及人脸识别；
[0016]步骤23、根据人脸识别提取到的人脸特征向量，从数据库召回其所对应的GMM模型与SVM模型；
[0017]步骤24、对连续帧的手部3D关键点进行特征提取，并结合预训练好的GMM模型进行Fisher特征提取，将生成的Fisher特征通过SVM分类模型进行动作种类分类，输出分类结果。
[0018]进一步地，所述图像预处理包括噪音滤波，自动对比度调节及大小缩放。
[0019]进一步地，所述步骤12中采用目标检测算法进行人体检测，所述目标检测算法包括centernet、ssd或faster
‑
rcnn算法。
[0020]进一步地，所述步骤13通过2D关键点检测以实现对脸部及手部的定位。
[0021]进一步地，所述步骤15中采用hrnet，hourglass或mediapipe算法进行手部3D关键点检测。
[0022]进一步地，所述步骤15中，将手部3D关键点特征加入到数据队列后，还包括：对数据队列进行多频率抽样，形成相同动作的子序列。
[0023]进一步地，所述步骤15还包括：对子序列中的数据进行手工特征提取：设定手腕处1个关键点，每根手指4个关键点；以手腕处作为根节点计算其余关键点相对于手腕处的空间位置，并根据手掌大小进行数据归一化；根据预设的多组不重复的5个关键点，计算其中两两关键点的空间向量作为手工特征；
[0024]所述步骤16使用高斯混合模型GMM对手工特征进行处理，得到高斯混合模型参数，进而将多帧的手工特征转化为Fisher特征。
[0025]进一步地，所述步骤21在对主操作人体进行人体识别后，还包括缓存其识别特征向量；
[0026]所述步骤22在对主操作人体对应的手部区域进行手部3D关键点检测时，若未发现手部关键点或关键点分数低于阈值，则对下帧的全图进行人体检测，对其中的所有人体进行识别提取特征，并与缓存的主操作人体特征进行匹配以确定主操作人体区域，进而确定其手部区域。
[0027]本专利技术相比于现有技术具有的有益效果是：
[0028]在本动态手势识别方案中引入人脸识别技术，可以单独为每一个操作人训练其动态手势分类模型，可在使用轻量化算法和模型的情况下，保证动作分类的准确性，同时满足实时的动态手势分类要求，以让使用者得到较好的交互体验效果。
[0029]在本动态手势识别方案中引入人体检测及人体识别，可以在复杂的应用环境下(光线不足；手部被遮挡；运动模糊)，若有手部检测发生丢失，可自动恢复主操作人的锁定，以让使用者达到丢失无感的效果。
[0030]在本动态手势识别方案中的预录阶段引入手工特征，GMM模型，Fisher特征及SVM分类器，可以在保证后续动作分类精度不变的情况下，大大减少使用者对某种动态手势的
预录次数，以达到交互简单的效果。
附图说明
[0031]图1为手势预录阶段流程图；
[0032]图2为手势识别阶段流程图。
具体实施方式
[0033]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例，对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0034]基于多技术融合的手势交互方法，包括：动态手势预录阶段及动态手势识别阶段，
[0035]如图1所示，所述动态手势预录阶段包括：
[0036]步骤11、针对相机系统采集到的原始视频流数据，先解码成为连续帧图像数据，再根据解码时的关键帧信息进行抽帧，以保证后续算法处理效果不变的情况下减少计算量；对抽帧后的图像数据进行图像预处理，包括噪音滤波，自动对比度调节及大小缩放，并划定预设区域用于下一步动作预录主体人的检测。
[0037]步骤12、对图像数据的预设区域内进行人体检测，可采用目标检测算法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多技术融合的手势交互方法，其特征在于，包括：动态手势预录阶段及动态手势识别阶段，所述动态手势预录阶段包括：步骤11、对原始视频流数据进行关键帧抽取，并对抽取的关键帧进行图像预处理，对预处理后的图像划定预设区域；步骤12、对预设区域进行人体检测，将检测分数最高且最靠近检测区域中心的个例作为动作预录主体人，获得其边框并进行图像裁剪；步骤13、对裁剪出的人体图像区域进行脸部及手部定位，并根据预设大小裁剪出脸部及手部的图像数据；步骤14、对获取的人脸区域进行人脸识别，输出人脸特征，存入数据库；步骤15、对获取的手部区域进行手部3D关键点检测，根据是否开启预录进行流程选择：若未开启预录，则根据当前及过去的3D关键点及其投影的2D关键点位置，预测出下一帧手部图像区域并获取，基于新获取的手部图像区域循环步骤15；若开启预录，则将完整手势对应的多帧图像的手部3D关键点特征加入到数据队列中；步骤16、使用高斯混合模型GMM对数据队列进行处理，得到高斯混合模型参数，进而将多帧的手部3D关键点特征转化为Fisher特征；分别计算出该预录主体人的多种动态手势的Fisher特征，利用SVM模型进行分类训练，得到SVM模型；将训练好的GMM模型与SVM模型，联合该预录主体人的人脸识别特征存入数据库；所述动态手势识别阶段包括：步骤21、采用与步骤11相同的方式划定预设区域，在预设区域内进行人体检测后，对主操作人体进行人体识别；步骤22、对主操作人体对应的手部区域进行手部3D关键点检测及人脸识别；步骤23、根据人脸识别提取到的人脸特征向量，从数据库召回其所对应的GMM模型与SVM模型；步骤24、对连续帧的手部3D关键点进行特征提取，并结合预训练好的GMM模型进行Fisher特征提取，将生成的Fisher特征通过SVM分类模型进行动作种类分类，输出分类结果。2.根据权利要求1所述的基于多技术融合的手势交互方法，其特征在...

【专利技术属性】
技术研发人员：吴方印，徐桢虎，高登科，苏忠莹，雷小炫，
申请(专利权)人：四川封面传媒科技有限责任公司，
类型：发明
国别省市：