一种多模态手势识别和视觉反馈机制结合的方法技术

本发明专利技术提供了一种多模态手势识别和视觉反馈机制结合的方法，本发明专利技术借助佩戴在头上的视觉传感器高清可见光摄像头、佩戴在用户上臂的肌电电极和佩戴在手上的运动手势数据手套，通过采集视觉图像/视频、瞬时高密度肌电信号和运动信号等多源数据，然后通过多模态手势融合识别方法，对用户手势动作进行综合识别。另外，本发明专利技术设计了交互领域中的三维交互反馈控制模型和手势交互视觉反馈机制模型，实现手势交互的视觉反馈，并提出视觉反馈方式运用的设计原则，模型规范形式，原则指导运用，确保视觉反馈能发挥最大的优势。反馈能发挥最大的优势。反馈能发挥最大的优势。

【技术实现步骤摘要】
一种多模态手势识别和视觉反馈机制结合的方法


[0001]本专利技术属于人机交互和人工智能领域，涉及一种多模态手势识别和视觉反馈机制结合的方法。

技术介绍

[0002]近些年来随着计算机技术的不断发展，人机交互技术也在日常生活中发挥越来越重要的作用，如何建立和谐自然的人机交互环境，使用户可方便地以人类所熟知的方式使用计算机是我们急需解决的难题。传统的人机交互方式由当初的只有键盘输入到目前的鼠标、遥杆、无线设备输入等等都大大的便利了人们与计算机之间的交互，使得人们能够更方便的操作计算机，从而能够快速的完成一定的任务，然而这些交互方式既要依赖额外的输入设备，又不符合人们的交互习惯。人手是人体最灵活的部位，手语是人的第二语言。将人手作为人机交互的手段，相比其他生物特征而言更为自然、直接、丰富。由于手势本身的灵活性和多样性，使其可以包含非常丰富的信息，而且使用手势的交互更加符合人们的交流习惯，故其在增强现实、虚拟现实等领域中都有广泛的运用。然而由于人手本身是一个复杂的可变形体，而且手势具有多样性、多义性及不确定性，因此这是一个极富挑战性的多学科交叉的研究课题，是近年来人机交互的研究热点及难点，研究手势识别对于改善人机交互的意义很大。
[0003]传统的手势识别技术一般都是基于彩色图像和灰度图像信息，本专利技术的手势识别不仅基于手势图像、视频还结合了手势的肌电数据和动作数据，在手势交互的准确性方面均有了很大的提升。另外传统基于图像的手势识别方法，在光照条件不理想的情况下，无法进行手势的正确识别，本专利技术采用视觉手势与肌电手势以及运动手势融合互补的方法进行手势识别，在外界光照条件不理想或者夜晚情况下仍然能够进行正确的手势识别交互。
[0004]手势交互视觉反馈机制属于虚拟交互研究范畴，在虚拟交互的范畴中，由于系统缺乏真实的约束和力反馈，所以需要反馈系统的设计，如果没有反馈系统，人就无法得知自己行动的是否产生了有效的结果。在虚拟交互中，首先要分清的问题输入和输出是否一致的问题，视觉反馈机制即是在真实与虚拟之间建立用户视觉感受一致性。目前视觉反馈机制研究不多，本专利技术设计交互领域中的三维交互反馈控制模型，提出视觉反馈方式运用的设计原则，模型规范形式，原则指导运用，确保视觉反馈能发挥最大的优势。

技术实现思路

[0005]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种多模态手势识别和视觉反馈机制结合的方法，包括多模态手势识别和视觉反馈机制；
[0006]所述多模态手势识别，包括：采用视觉手势识别、肌电手势识别和运动手势识别三种模态进行手势交互，最后进行多模态手势融合识别。
[0007]视觉手势采用佩戴在头上的高清可见光摄像头进行采集，肌电手势采用佩戴在上臂的肌电电极进行采集，运动手势采用佩戴在手上的数据手套进行采集，摄像头、肌电电极
和数据手套是三种手势采集的三类不同传感器。
[0008]所述视觉手势识别，包含静态手势识别和动态手势识别；
[0009]所述静态手势识别过程包括：采用追踪与检测、数据驱动和模型驱动以及多阶段管道方法实现手势分类；基于全局方向，获得关节位置和角度，通过6自由度获得手部关节的自由度；采用Decision forest决策森林法对手部进行检测，使用深度网络回归关节位置，最后使用IK逆运动学(Inverse Kinematics，逆运动学)优化手部关节检测；采用真实数据、手动标注的方法获取训练数据并进行数据训练和数据生成；手势识别模型生成采用基于粒子群优化方法，从参数空间搜索最优化参数，演化的过程中，记录整个点云的最好位置以及每一个点的局部最好的位置；在每一个粒子的演化过程中，都以它前一个速度的特定运算更新粒子的速度，能够更好地搜索参数空间，避免某很差的局部最优值；
[0010]所述动态手势识别，采用基于LSTM长短期记忆人工神经网络的连续手势识别方法，针对自然手势存在多样性、多义性等特点，LSTM长短期记忆人工神经网络关注手势时间序列上的变化、手的运动轨迹、手的外形特征，实现连续手势识别。
[0011]所述在每一个粒子的演化过程中，都以它前一个速度的特定运算更新粒子的速度，具体采用如下公式：
[0012][0013][0014]其中，是粒子i在第k次迭代中d维的速度；是粒子i在第k+1次迭代中d维的速度，是粒子i在第k次迭代中d维的当前位置，是粒子i在第k+1次迭代中d维的位置；rand1、rand2是随机数；是粒子i在第k次迭代中d维的个体最优值，是粒子i在第k次迭代中d维的全局最优值，c1，c2是粒子加速系数，表示每个粒子pbest和gbest靠近的随机加速度权值。
[0015]所述肌电手势识别，首先采集用户上臂瞬时高密度肌电HD
‑
sEMG信号，HD
‑
sEMG信号描绘了电势在空间中的分布，其对应的热度图就是肌电图像，然后采用深度机器学习框架来从肌电图像中识别手势；所述深度机器学习框架包括两个阶段：离线训练阶段和在线识别阶段；其中，离线训练阶段，事先准备好能够用于深度学习训练的手势数据集，给定肌电图像和对应的手势标签，训练好一个深度学习图像分类器用于识别肌电图像属于哪个手势；在线识别阶段，使用训练好的图像分类器识别肌电图像对应的手势；图像分类器输入分辨率为8*16的图像，经过两个卷积层，两个局部链接层，以及4个全连接层，对手势数据集中的手势进行识别。
[0016]所述运动手势识别，包括：使用数据手套，数据手套内置MEMS惯性传感器，MEMS惯性传感器包括三轴陀螺仪、三轴加速度计、三轴磁强计；其中，三轴陀螺仪和三轴加速度计，采用MPU6050传感器；三轴磁强计采用HMC5883型号；
[0017]运动手势识别根据单双手、手势朝向和手势幅度的特点选择经典特征，分别采用单双手分类器、手势朝向分类器和手势幅度分类器进行识别(这些分类器均为现有技术)，采用四级树形分类结构框架，每一个非叶子节点代表一个与对应手势候选集相关的分类器(单双手分类器、手势朝向分类器和手势幅度分类器)，捕获不同类型的手势动作信息，每一
个节点的分支代表分类器的一个类别；所有可能的手势类别构成了根节点的手势动作候选集，然后每一个非叶子节点的候选集根据相应的节点分类器分类到相应的子节点；在手势识别过程中，未知的手势动作被依次送入单双手分类器、手势朝向分类器和手势幅度分类器后获得最终的识别结果。
[0018]所述多模态手势融合识别，其中的多模态是指高清可见光摄像头、肌电电极、数据手套三类传感器采集的三种模态手势数据，这三种模态手势数据分别为：摄像头采集的手势动作视频信号、肌电电极采集的肌电信号和数据手套采集的运动信号，其中肌电信号和运动信号都是生理信号；针对三类信号(即摄像头采集的手势动作视频信号、肌电电极采集的肌电信号和数据手套采集的运动信号，其中肌电信号和运动信号都是生理信号)，手势动作视频信号进行手势分割、有效手势帧提取、手势建模与特征提取，形成视频信号类特征；肌电信号和运动信号进行预处理、活动段检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态手势识别和视觉反馈机制结合的方法，其特征在于，包括多模态手势识别和视觉反馈机制；所述多模态手势识别，包括：采用视觉手势识别、肌电手势识别和运动手势识别三种模态进行手势交互，最后进行多模态手势融合识别。2.根据权利要求1中所述的方法，其特征在于，视觉手势采用佩戴在头上的高清可见光摄像头进行采集，肌电手势采用佩戴在上臂的肌电电极进行采集，运动手势采用佩戴在手上的数据手套进行采集，摄像头、肌电电极和数据手套是三种手势采集的三类不同传感器。3.根据权利要求2中所述的方法，其特征在于，所述视觉手势识别，包含静态手势识别和动态手势识别；所述静态手势识别过程包括：采用追踪与检测、数据驱动和模型驱动以及多阶段管道方法实现手势分类；基于全局方向，获得关节位置和角度，通过6自由度获得手部关节的自由度；采用Decision forest决策森林法对手部进行检测，使用深度网络回归关节位置，最后使用IK逆运动学优化手部关节检测；采用真实数据、手动标注的方法获取训练数据并进行数据训练和数据生成；手势识别模型生成采用基于粒子群优化方法，从参数空间搜索最优化参数，演化的过程中，记录整个点云的最好位置以及每一个点的局部最好的位置；在每一个粒子的演化过程中，都以它前一个速度的特定运算更新粒子的速度；所述动态手势识别，采用基于LSTM长短期记忆人工神经网络的连续手势识别方法，LSTM长短期记忆人工神经网络关注手势时间序列上的变化、手的运动轨迹、手的外形特征，实现连续手势识别。4.根据权利要求3中所述的方法，其特征在于，所述在每一个粒子的演化过程中，都以它前一个速度的特定运算更新粒子的速度，具体采用如下公式：它前一个速度的特定运算更新粒子的速度，具体采用如下公式：其中，是粒子i在第k次迭代中d维的速度；是粒子i在第k+1次迭代中d维的速度，是粒子i在第k次迭代中d维的当前位置，是粒子i在第k+1次迭代中d维的位置；rand1、rand2是随机数；是粒子i在第k次迭代中d维的个体最优值，是粒子i在第k次迭代中d维的全局最优值，c1，c2是粒子加速系数。5.根据权利要求4中所述的方法，其特征在于，所述肌电手势识别，首先采集用户上臂瞬时高密度肌电HD
‑
sEMG信号，HD
‑
sEMG信号描绘了电势在空间中的分布，其对应的热度图就是肌电图像，然后采用深度机器学习框架来从肌电图像中识别手势；所述深度机器学习框架包括两个阶段：离线训练阶段和在线识别阶段；其中，离线训练阶段，事先准备好能够用于深度学习训练的手势数据集，给定肌电图像和对应的手势标签，训练好一个深度学习图像分类器用于识别肌电图像属于哪个手势；在线识别阶段，使用训练好的图像分类器识别肌电图像对应的手势，图像分类器输入分辨率为8*16的图像，经过两个卷积层，两个局部链接层，以及4个全连接层，对手势数据集中的手势进行识别。6.根据权利要求5中所述的方法，其特征在于，所述运动手势识别，包括：使用数据手套，数据手套内置MEMS惯性传感器，MEMS惯性传感器包括三轴陀螺仪、三轴加速度计、三轴
磁强计；运动手势识别根据单双手、手势朝向和手势幅度的特点选择经典特征，分别采用单双手分类器、手势朝向分类器和手势幅度分类器进行识别，采用四级树形分类结构框架，每一个非叶子节点代表一个与对应手势候选集相关的分类器，捕获不同类型的手势动作信息，每一个节点的分支代表分类器的一个类别；所有可能的手势类别构成了根节点的手势动作候选集，然后每一个非叶子节点的候选集根据相应的节点分类器分类到相应的子节点；在手势识别过程中，未知的手势动作被依次送入单双手分类器、手势朝向分类器和手势幅度分类器后获得最终的识别结果。7.根据权利要求6中所述的方法，其特征在于，所述多模态手势融合识别，其中的多模态是指高清可见光摄像头、肌电电极、数据手套三类传感器采集的三种模态手势数据，这三种模态手势数据分别为：摄像头采集的手势动作视频信号、肌电电极采集的肌电信号和数据手套采集的运动信号，其中肌电信号和运动信号都是生理信号...

【专利技术属性】
技术研发人员：陈杰，李晓冬，罗子娟，缪伟鑫，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：