多模态融合的手势键盘输入方法、设备、系统及存储介质技术方案

本发明专利技术公开了一种多模态融合的手势键盘输入方法、设备、系统及存储介质，方法包括：获取用户按键的IMU传感器数据、肌电传感器数据、弯曲传感器数据；对用户手部区域拍摄，获得手部图像数据；将预处理后的4个数据输入至对应的分类器中进行特征提取、再进行决策融合，识别为对应的手势按键输入信号。设备包括：数据手套或头戴式设备；系统包括：数据手套和头戴式设备；存储介质包括：处理器和存储器。本发明专利技术在头戴式设备中实现手势与虚拟键盘字符的交互，字符图像实时显示，为人们的键盘输入呈现一个场景更加立体的、信息更加丰富的、环境更加自然亲切的交互界面。

【技术实现步骤摘要】
多模态融合的手势键盘输入方法、设备、系统及存储介质
本专利技术涉及手势识别、计算机视觉、人机交互领域，尤其涉及一种多模态融合的手势键盘输入方法、设备、系统及存储介质。
技术介绍
计算机从诞生开始，就不可避免地要输入各种各样的信息，如操作指令和数据信息等。输入设备最基本的作用就是将各种形式的信息转换成适宜计算机处理的形式。键盘是常用的输入设备，它是由一组开关矩阵组成，包括：数字键、字母键、符号键、功能键及控制键等。每一个按键在计算机中都有它的惟一代码。当按下某个键时，键盘接口将该键的二进制代码送入计算机主机中，并将按键字符显示在显示器上。键盘接口电路多采用单片微处理器，由它控制整个键盘的工作，如上电时对键盘的自检、键盘扫描、按键代码的产生、发送及与主机的通讯等。实体键盘输入虽然是最常用的一种输入方式，但某些复杂环境对于键盘有一定的限制，如室外作业时，携带外接键盘，但却无固定支撑面，使用起来较为麻烦；再者，占用空间较大，携带十分不方便。
技术实现思路
本专利技术提供了一种多模态融合的手势键盘输入方法、设备、系统及存储介质本文档来自技高网...

【技术保护点】
1.一种多模态融合的手势键盘输入方法，其特征在于，所述方法包括：/n获取用户按键的IMU传感器数据、肌电传感器数据、弯曲传感器数据；/n对用户手部区域拍摄，获得手部图像数据；/n将预处理后的4个数据输入至对应的分类器中进行特征提取、再进行决策融合，识别为对应的手势按键输入信号。/n

【技术特征摘要】
1.一种多模态融合的手势键盘输入方法，其特征在于，所述方法包括：
获取用户按键的IMU传感器数据、肌电传感器数据、弯曲传感器数据；
对用户手部区域拍摄，获得手部图像数据；
将预处理后的4个数据输入至对应的分类器中进行特征提取、再进行决策融合，识别为对应的手势按键输入信号。


2.根据权利要求1所述的一种多模态融合的手势键盘输入方法，其特征在于，所述特征提取具体为：
对IMU传感器数据、肌电传感器数据采用LSTM模型提取特征；对弯曲传感器数据和手部图像数据采用CNN模型提取特征。


3.根据权利要求2所述的一种多模态融合的手势键盘输入方法，其特征在于，
所述CNN模型的输出为概率矩阵，LSTM模型的输出为另一概率矩阵，将四种数据的四个矩阵的对应元素作平均加权得到神经网络最终的预测矩阵，选取预测矩阵中最大概率对应的字符作为输出。


4.一种多模态融合的手势键盘输入设备，其特征在于，所述设备包括：数据手套，所述数据手套包括：
IMU传感器模块，用于记录双手运动时的手势以及在做按键动作时的运动信息；
肌电传感器模块，由肌肉脉冲探测模块环绕连接而成，内侧为金属触点，用来贴近手臂探测肌肉脉冲，放置于小臂处通过数据线和手背处微控制单元连接；
弯曲传感器模块的顶层由第一柔性薄膜和复合在上面的压敏层组成，底层由第二柔性薄膜和复合在上面的导电线路组成，用于采集手指弯曲时产生的形变信号；
第一预处理模块，用于对采集到的惯性测量单元的运动数据、肌电单元的运动数据以及弯曲传感器的形变数据进行滤波降噪处理。


5.一种多模态融...

【专利技术属性】
技术研发人员：刘璇恒，陶文源，闫野，邓宝松，马权智，赵涛，印二威，谢良，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12