一种可穿戴设备的多模态文本输入系统及方法技术方案

本发明专利技术属于人机交互技术领域，具体公开一种可穿戴设备的多模态文本输入系统和方法，文本输入系统包括增强现实眼镜和IMU手套，增强现实眼镜具有双目相机、数据处理模块、第一通信模块和显示模块，IMU手套包括惯性传感器和第二通信模块；用户根据自身以及实际光照情况，通过佩戴IMU手套进行输入模式选择，模式包括视觉模式、IMU模式和视觉与IMU混合模式，并基于相应输入模式的算法进行手势识别。本发明专利技术将视觉与IMU进行结合，避免了单一模态下容易受到设备、环境等影响所造成的识别准确率下降的问题。的问题。的问题。

【技术实现步骤摘要】
一种可穿戴设备的多模态文本输入系统及方法


[0001]本专利技术属于人机交互
，特别涉及一种可穿戴设备的多模态文本输入系统及方法。

技术介绍

[0002]随着VR/AR设备的商用化，面向VR/AR的文本输入技术成为当前研究的热点及难点。目前，基于AR/VR的文本输入研究主要分为两种方法：基于选择的方法和基于手势的方法。基于选择的文本输入以及基于空中手写的手势文本输入方式，输入效率缓慢，不适用文档编辑、日常聊天等大文本输入。而通过手指间的敲击进行文本输入，文本输入效率高且便于学习，对于实现基于AR的大文本输入提供了可能。现有的基于虚拟键盘的文本输入方式，主要通过视觉或传感器设备，用来识别用户的击键运动，用于文本输入。
[0003]将基于QWERTY的虚拟键盘技术应用在AR设备上，具有用户友好型、便携性的特点。但现有的虚拟键盘技术，大多采用一种单一的模态进行手势识别。比如Yousaf等人利用摄像头对手指关节运动进行建模，利用马尔可夫模型实现了按键检测识别[1]；专利CN 111158476 A公开了一种将用户手指运动信息和图像信息进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可穿戴设备的多模态文本输入系统，其特征在于，该多模态文本输入系统包括增强现实眼镜和IMU手套；增强现实眼镜具有双目相机、数据处理模块、第一通信模块和显示模块IMU手套包括惯性传感器和第二通信模块；所述双目相机用于实时采集用户手部图像信息；所述惯性传感器用于实时采集用户每个手指的六轴运动信息；所述第一通信模块和第二通信模块用于将IMU手套采集的六轴运动数据传输至数据处理模块；所述数据处理模块用于数据的预处理及模型的加载，预处理包括对实时采集的原始图像数据通过手部姿态解算获取手部关节点位置信息，对六轴运动数据进行滤波；经预处理后将数据输入至对应的模型中进行在线文本识别；所述显示模块用于绘制用户的交互界面，显示实时的键盘界面以及交互信息；用户通过佩戴的IMU手套进行模式选择，采用不同的手势分别选择相应的文本输入模式。2.根据权利要求1所述的一种可穿戴设备的多模态文本输入系统，其特征在于，所述文本输入模式分别为视觉模式、IMU模式和视觉与IMU混合模式。3.一种可穿戴设备的多模态文本输入方法，其特征在于，采用权利要求1所述的多模态文本输入系统，包括以下步骤，用户根据自身以及实际光照情况，通过佩戴IMU手套进行模式选择，具体包括：步骤101：打开双目相机，并等待第一通信模块及第二通信模块连接成功，连接成功后进入步骤102；步骤102：使用惯性传感器的运动信息进行模式选择；通过互补滤波器将惯性传感器的三轴加速度和三轴角速度转换为姿态角信息Θ(t)＝α*[Θ(t
‑
1)
‑
Ω(t)*dt]+(1
‑
α)*Θ
A
(t)其中，姿态角Ω(t)＝[ω
x
(t)，ω
y
(t)，ω
z
(t)]，Θ
A
(t)＝[Aa
x
(t)，Aa
y
(t)，Aa
z
(t)]，ω
x
(t)、ω
y
(t)和ω
z
(t)为三轴角速度，Aa
x
(t)、Aa
y
(t)和Aa
z
(t)为加速度传感器的倾角，α是互补滤波的经验系数；步骤103：根据三种IMU手势运动的姿态角变化不同，通过设定不同的阈值来对三种模式进行区分，即当满足thre
i_up
＞Θ(t)＞thre
i_down
时，选择模式i进行文本输入，i＝0，1，2，thre
i_up
代表模式i的IMU数据所对应的阈值上限，thre
i_down
代表模式i的IMU数据所对应的阈值下限；步骤104：选择相应模式的手势识别算法流程。4.根据权利要求3所述的可穿戴设备的多模态文本输入方法，其特征在于，若文本输入模式为视觉模式，通过双目相机检测手部图像作为输入信号进行文本输入，具体为：步骤201：打开双目相机以及第一通信模块和第二通信模块；步骤202：当检测到用户选择的模式为视觉模式时，触发视觉模式；步骤203：进行手部检测，当双目相机的视场角下存在手部图像时，进行步骤204；步骤204：双目相机采集图像信息，通过手部姿态解算求解出手部关节点位置；
步骤205：将关节点位置数据按照固定大小存储；步骤206：对关节点位置数据进行滤波，去除手部的微小抖动；步骤207：将滤波后的手部关节点位置数据进行幅值判断，当幅值大于给定阈值时，确认当前存在手部运动，将手部关节点位置数据进行活动段检测获得活动段数据；步骤208：利用击键手势的振幅比特征，将截取到的活动段数据进行击键手势的有效性判定，当为有效活动段数据时，进行步骤209；否则，返回步骤204；步骤209：将有效活动段数据进行预分类，获得对应的手指类别，并对有效活动段数据进行归一化处理；步骤210：对归一化后的有效活动段数据进行识别获得对应手指...

【专利技术属性】
技术研发人员：谢良，张皓洋，孟津，闫野，印二威，张亚坤，罗治国，施忠臣，赵少楷，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：