一种实时手势识别方法、装置及人机交互系统制造方法及图纸

本发明专利技术提供了一种实时手势识别方法、装置、移动终端及人机交互系统，涉及手势识别技术领域，包括：获取手势数据，所述手势数据包括数据手套采集的传感器数据；对所述手势数据进行预处理，并对预处理后的手势数据进行特征提取；将所述特征提取的结果输入预训练好的分层手势识别模型进行多级手势识别，确定手势类型信息。本发明专利技术通过数据手套实时采集用户的手势数据，并对手势数据进行有效的手势分割等预处理操作，再通过构造有价值的特征信息集进行特征提取，并将提取后的特征信息输入轻量级的分层手势识别模型进行手势识别，可在保证手势识别准确度的基础上，占用更少的系统资源，适用于面向移动终端的应用场景。

【技术实现步骤摘要】
一种实时手势识别方法、装置及人机交互系统
本专利技术涉及手势识别
，具体而言，涉及一种实时手势识别方法、装置及人机交互系统。
技术介绍
近年来，计算机的大面积普及以及相关学科的迅速发展使得人机交互(Human-ComputerInteraction，HCI)技术逐渐成为研究的热门方向。在诸多人机交互方式中，与传统的键盘鼠标等机械装置相比，手势交互是一种更自然、更符合人类习惯的人机交互方式。用手势取代键盘、鼠标作为输入控制计算机，能够使人与机器间的交互更自然、更灵活，可将人们在日常生活中所获得的经验，直接运用到交互活动中。因此，手势识别技术作为人机交互领域的重要分支，在为人类提供智能化生活方面具有重大意义。现有的基于视觉的手势识别方法，通过摄像头采集手势图像并加以处理进而对手势进行识别，是一种比较直观的手段。该方法输入方式为非接触式，并且随着图像处理技术的发展，基于视觉的手势识别是目前热点较集中的研究领域。但基于视觉的手势识别目前还存在不少问题，例如由于手为多关节非刚性物体，在不同视角和不同动作下形变较大，二维投影时易产生遮挡，由此造成信息丢失；且由于受到目前计算机视觉技术的限制，在复杂背景下的手势提取一直是难点，从而限制了基于视觉的手势识别的大范围应用。现有的基于视觉的手势识别方法还会受到天气恶劣、传感器佩戴不规范等因素的影响，使手势识别的准确度下降，影响手势检测的效果。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题，为达上述目的，第一方面，本专利技术提供了一种实时手势识别方法，其包括：获取手势数据，所述手势数据包括数据手套采集的传感器数据；对所述手势数据进行预处理，并对预处理后的手势数据进行特征提取；将所述特征提取的结果输入预训练好的分层手势识别模型进行多级手势识别，确定手势类型信息，其中，所述分层手势识别模型包括聚类模型、支持向量机模型和卷积神经网络模型。进一步地，所述对所述手势数据进行预处理包括：对所述手势数据进行手势分割、滑动窗口平均滤波和标准化处理。进一步地，所述对所述手势数据进行手势分割包括：确定当前时刻的所述手势数据与前一时刻的所述手势数据的差分值；当所述差分值小于预设手势波动阈值时，将所述手势数据加入滑动窗口；当所述差分值大于所述预设手势波动阈值时，将所述手势数据计入波动数据；对所述波动数据进行计数，当所述波动数据的计数值大于预设数据波动阈值时，将所述滑动窗口内的所述手势数据确定为当前手势，进行所述手势分割。进一步地，所述对预处理后的手势数据进行特征提取包括：对预处理后的手势数据进行主成分分析，以提取所述预处理后的手势数据的主要特征。进一步地，所述将所述特征提取的结果输入预训练好的分层手势识别模型进行多级手势识别，确定手势类型信息包括：将所述特征提取的结果输入预训练好的分层手势识别模型，确定分类置信度和对应的预分类结果；根据所述分类置信度、所述预分类结果和预设手势库，确定所述手势类型信息。进一步地，所述将所述特征提取的结果输入预训练好的分层手势识别模型，确定分类置信度和对应的预分类结果包括：将所述特征提取的结果输入所述预训练好的分层手势识别模型中的所述聚类模型，确定聚类分类置信度，并根据所述聚类分类置信度确定所述预分类结果；当所述聚类分类置信度小于第一预设阈值时，将所述特征提取的结果输入所述预训练好的分层手势识别模型中的所述支持向量机模型，确定SVM分类置信度，并根据所述SVM分类置信度确定所述预分类结果；当所述SVM分类置信度小于第二预设阈值时，将所述特征提取的结果输入所述预训练好的分层手势识别模型中的所述卷积神经网络模型，确定卷积神经网络分类置信度，并根据所述卷积神经网络分类置信度确定所述预分类结果。进一步地，所述根据所述分类置信度、所述预分类结果和预设手势库，确定所述手势类型信息包括：当所述分类置信度大于预设分类阈值时，将对应的所述预分类结果确定为基本手势；当所述基本手势是所述预设手势库中的连续手势起始手势标识时，确定连续手势起始点，将所述连续手势起始点之内的基本手势拼接成连续手势序列；根据所述连续手势序列进行约翰逊编码；将所述约翰逊编码与所述预设手势库中的标注手势模板序列进行相似度匹配；当所述相似度大于预设阈值时，确定具有最大相似度的手势作为所述手势类型信息。进一步地，所述根据所述分类置信度、所述预分类结果和预设手势库，确定所述手势类型信息还包括：当所述基本手势不是所述预设手势库中的连续手势起始手势标识时，将所述基本手势与所述预设手势库中进行匹配，确定对应的所述手势类型信息。进一步地，所述传感器数据包括用户的手指弯曲数据和手掌运动姿态数据，根据所述手指弯曲数据和所述手掌运动姿态数据判断所述用户的手势为静态手势或动态手势，其中，所述静态手势为手指静止、手掌静止的手势，所述动态手势为手指静止、手掌运动的手势。进一步地，所述根据所述手指弯曲数据和所述手掌运动姿态数据判断所述用户的手势为静态手势或动态手势包括：确定所述手指弯曲数据的差分能量值；当所述手指弯曲数据的差分能量值小于预设拉伸阈值并且持续时间超过第一预设时长时，确定所述手掌运动姿态数据的差分能量值；当所述手掌运动姿态数据的差分能量值大于预设加速阈值并且持续时间超过第二预设时长时，判断所述用户的手势为动态手势；当所述手掌运动姿态数据的差分能量值大于所述预设加速阈值并且持续时间小于所述第二预设时长时，判断所述用户的手势为静态手势。进一步地，还包括：根据所述手势类型信息与移动终端进行人机交互操作。进一步地，在对所述分层手势识别模型进行预训练阶段，在多帧图像中随机挑选预设比例的帧作为训练样本。为达上述目的，第二方面，本专利技术提供了一种实时手势识别装置，其包括：存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的实时手势识别方法。使用本专利技术的实时手势识别方法或装置，通过数据手套实时采集用户的手势数据，并对手势数据进行有效的手势分割等预处理操作，再通过构造有价值的特征信息集进行特征提取，并将提取后的特征信息输入轻量级的分层手势识别模型进行手势识别，可在保证手势识别准确度的基础上，占用更少的系统资源，适用于面向移动终端的应用场景。为达上述目的，本专利技术第三方面的实施例提供了一种移动终端，其包括如上所述的实时手势识别装置。使用本专利技术的移动终端，通过对手势数据进行快速有效的预处理和特征提取，基于轻量级的分层手势识别模型对手势数据进行手势识别，在保证手势识别准确性和实时性的同时，可占用较少的资源，并实现高效的人机交互操作。为达上述目的，本专利技术第四方面的实施例提供了一种人机交互系统，其包括：数据手套和如上所述的移动终端，其中：所述数据手套采集用户的手势数据，并将所述手势数据发送至所述移动终端本文档来自技高网...

【技术保护点】
1.一种实时手势识别方法，其特征在于，包括：/n获取手势数据，所述手势数据包括数据手套采集的传感器数据；/n对所述手势数据进行预处理，并对预处理后的手势数据进行特征提取；/n将所述特征提取的结果输入预训练好的分层手势识别模型进行多级手势识别，确定手势类型信息，其中，所述分层手势识别模型包括聚类模型、支持向量机模型和卷积神经网络模型。/n

【技术特征摘要】
1.一种实时手势识别方法，其特征在于，包括：
获取手势数据，所述手势数据包括数据手套采集的传感器数据；
对所述手势数据进行预处理，并对预处理后的手势数据进行特征提取；
将所述特征提取的结果输入预训练好的分层手势识别模型进行多级手势识别，确定手势类型信息，其中，所述分层手势识别模型包括聚类模型、支持向量机模型和卷积神经网络模型。


2.根据权利要求1所述的实时手势识别方法，其特征在于，所述对所述手势数据进行预处理包括：对所述手势数据进行手势分割、滑动窗口平均滤波和标准化处理。


3.根据权利要求2所述的实时手势识别方法，其特征在于，所述对所述手势数据进行手势分割包括：
确定当前时刻的所述手势数据与前一时刻的所述手势数据的差分值；
当所述差分值小于预设手势波动阈值时，将所述当前时刻的手势数据加入滑动窗口；
当所述差分值大于所述预设手势波动阈值时，将所述当前时刻的手势数据计入波动数据；
对所述波动数据进行计数，当所述波动数据的计数值大于预设数据波动阈值时，将所述滑动窗口内的所述手势数据确定为当前手势，进行所述手势分割。


4.根据权利要求1所述的实时手势识别方法，其特征在于，所述对预处理后的手势数据进行特征提取包括：
对预处理后的手势数据进行主成分分析，以提取所述预处理后的手势数据的主要特征。


5.根据权利要求1所述的实时手势识别方法，其特征在于，所述将所述特征提取的结果输入预训练好的分层手势识别模型进行多级手势识别，确定手势类型信息包括：
将所述特征提取的结果输入预训练好的分层手势识别模型，确定分类置信度和对应的预分类结果；
根据所述分类置信度、所述预分类结果和预设手势库，确定所述手势类型信息。


6.根据权利要求5所述的实时手势识别方法，其特征在于，所述将所述特征提取的结果输入预训练好的分层手势识别模型，确定分类置信度和对应的预分类结果包括：
将所述特征提取的结果输入所述预训练好的分层手势识别模型中的所述聚类模型，确定聚类分类置信度，并根据所述聚类分类置信度确定所述预分类结果；
当所述聚类分类置信度小于第一预设阈值时，将所述特征提取的结果输入所述预训练好的分层手势识别模型中的所述支持向量机模型，确定SVM分类置信度，并根据所述SVM分类置信度确定所述预分类结果；
当所述SVM分类置信度小于第二预设阈值时，将所述特征提取的结果输入所述预训练好的分层手势识别模型中的所述卷积神经网络模型，确定卷积神经网络分类置信度，并根据所述卷积神经网络分类置信度确定所述预分类结果。


7.根据权利要求5所述的实时手势识别方法，其特征在于，所述根据所述分类置信度、所述预分类结果和预设手势库，确定所述手势类型信息包括：
当所述分类置信度大于预设分类阈值时，将对应的所述预分类结果确定为基本手势；
当所述基本手势是所述预设手势库中的连续手势起始手势标识时，确定连续手势...

【专利技术属性】
技术研发人员：张展，左德承，冯懿，封威，刘宏伟，舒燕君，董剑，罗丹彦，吴桐，张园博，尚江卫，陈思远，陈新昊，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江;23