单目相机下基于多模态数据集成的空中手写识别方法技术

本发明专利技术涉及单目相机下基于多模态数据集成的空中手写识别方法，多模态数据包括图像数据与时序数据；多模态数据使用多模态数据融合模型进行融合，得到融合后的3D数据；对3D数据使用数据投影方法进行处理，得到3个特征投影结果，分别为投影数据1、投影数据2、投影数据3，这3个特征投影都为2D图像；对得到的3个投影特征分别进行学习，得到3个基学习器；使用基于主学习器的集成方法对3个基学习器得到的结果进行集成，获得最终的识别结果。本发明专利技术的有益效果是：该单目相机下基于多模态数据集成的空中手写识别方法，本方法通过集成学习，可以将识别率大幅度提高，实验中可以提高10％的识别效率。本方法将时间数据与图像数据的多模态数据变换，得到多个正交的同质数据集，再参与集成学习的方法，方法简单，但是达到了较好的识别效果。本方法可以在空中手写，或者类似有时序的学习任务中应用，实用性强。实用性强。实用性强。

【技术实现步骤摘要】
单目相机下基于多模态数据集成的空中手写识别方法


[0001]本专利技术涉及手写识别
，具体为单目相机下基于多模态数据集成的空中手写识别方法。

技术介绍

[0002]手势空中书写(简称空中手写)指用户通过手势在虚拟的输入区内书写文本，使计算机具有能够像人一样的认字能力，是真正自然的人机交互形式。空中手写是人机智能交互的重要输入手段，提高计算机与使用者之间的沟通与交互能力，在服务机器人、机器人视觉导航、移动终端、智能家电、智能汽车等特殊领域，提供简便的操作方式。
[0003]现有的空中手写识别方法中，有基于数据手套、戒指、表面肌电信号、移动终端加速度传感器的方法，但是都需要穿戴设备，大大降低了用户的体验性。有基于深度相机Kinect、Leap、双目视觉、多传感器的方法，虽能准确地获取手的运动和形状，但这些设备价格昂贵，增加了系统实现的成本，并不实用。基于单目视觉的空中手写可以配合带有摄像头的普通移动设备，实现无障碍式的任意场景下的自由交互，是目前手势交互的主流，也是本专利使用的数据采集方式。
[0004]传统的空中手写孤立词识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.单目相机下基于多模态数据集成的空中手写识别方法，其特征在于，多模态数据包括图像数据与时序数据；多模态数据使用多模态数据融合模型进行融合，得到融合后的3D数据；对3D数据使用数据投影方法进行处理，得到3个特征投影结果，分别为投影数据1、投影数据2、投影数据3，这3个特征投影都为2D图像；对得到的3个投影特征分别进行学习，得到3个基学习器；使用基于主学习器的集成方法对3个基学习器得到的结果进行集成，获得最终的识别结果。2.根据权利要求1所述的单目相机下基于多模态数据集成的空中手写识别方法，其特征在于，所述单目相机下基于多模态数据集成的空中手写识别方法具体步骤为：a.多模态数据的获取；b.多模态数据融合模型；c.数据投影变换；d.学习器；e.基于主学习器的集成方法；f.识别结果。3.根据权利要求2所述的单目相机下基于多模态数据集成的空中手写识别方法，其特征在于，所述a.多模态数据的获取的具体步骤为：空中手写识别是基于轨迹的手势序列识别，其识别忽略了手势形状的变化信息，以手势的运动轨迹为分析数据。其数据获取的过程可以分为，首先对视频流中的手势帧进行手势预处理，包括手势分割与手势跟踪，手势跟踪可以在手势分割得到先验信息的基础上；然后根据跟踪的结果，对手势的运动轨迹进行数据提取；提取出的数据包括有手势在书写平面上的位置，这是2D的数据，还有每一帧的时间序号，这是时序特征，是1D数据。得到的图像数据与时序数据类型为获取的多模态数据。4.根据权利要求2所述的单目相机下基于多模态数据集成的空中手写识别方法，其特征在于，所述b.多模态数据融合模型：得到的图像数据与时序数据类型不同，为获取的多模态数据。使用多模态数据融合模型将其融合为3D数据，方法如下：原始图像数据为2D数据，原来有x,y坐标值，将其作为作为融合后3D数据的x,y坐标，将时序数据作为融合后3D数据的z坐标，这样得到了融合后的3D数据。5.根据权利要求2所述的单目相机下基于多模态数据集成的空中手写识别方法，其特征在于，所述c.数据投影变换：将融合后的3D...

【专利技术属性】
技术研发人员：张墨逸，邢蕾，牛建强，袁小芳，叶洪昶，陈海燕，张秋余，朱军林，张玉兰，赵文力，赵涛涛，葛星，李黄杰，毛利安，欧阳林威，卢蕾，
申请(专利权)人：兰州理工大学，
类型：发明
国别省市：