用于移动设备的虚实融合键盘系统和方法技术方案

本发明专利技术公开了用于移动设备的虚实融合键盘系统和方法，属于虚拟现实技术领域。该方案数据处理量小，适用于移动设备的处理速度，且移动设备与虚拟现实显示设备分立设置，不影响用户舒适度。本发明专利技术的技术方案为：用于移动设备的虚实融合键盘系统，包括实体键盘、移动设备以及融合显示模块。移动设备具有视频捕捉模块和图像转化模块；移动设备固定在实体键盘的上方设定位置处，移动设备与实体键盘的位置关系为：实体键盘处于视频捕捉模块的视场范围内；图像转化模块，用于将视频捕捉模块所捕获的实体键盘的实时场景图像转换为以用户人眼为视角的键盘虚拟图像。融合显示模块，用于将键盘虚拟图像与虚拟环境进行虚实融合显示。

Virtual and real keyboard system and method for mobile devices

【技术实现步骤摘要】
用于移动设备的虚实融合键盘系统和方法
本专利技术涉及虚拟现实
，具体涉及用于移动设备的虚实融合键盘系统和方法。
技术介绍
目前，不少研究提出虚拟现实的文本输入方案，例如通过手势识别进行文本输入以及使用手柄通过射线以及按键操纵虚拟环境中的虚拟键盘来实现字符的选择等，但是，这些输入方案的输入效率都较低，远远低于直接使用键盘进行输入的效率。目前的虚实融合键盘系统的方式有两种。一种方式是利用跟踪器跟踪键盘，获取键盘的位置信息，同时利用数据手套获取用户手部的位姿信息，最后将获取到的键盘信息和手部信息传输到计算机中，控制计算机中对应的虚拟键盘和虚拟手模型，从而使用户可以通过虚拟手控制虚拟键盘，实现键盘输入。这样的方式需要实时处理键盘位置信息和手部位姿信息，尤其是手部实时位姿信息的数据量很大，对计算机的运行要求较高，一般的移动设备无法满足这样的需求。另一种方式是在VR眼镜上粘贴摄像头，当用户低头观看键盘时，直接将拍摄到的键盘画面投影到虚拟环境中，从而构建键盘输入系统。然而，这样在头盔上粘贴相机的方式会增大头盔的重量，降低用户的舒适感。申本文档来自技高网...

【技术保护点】
1.用于移动设备的虚实融合键盘系统，其特征在于，包括实体键盘、移动设备以及融合显示模块：/n所述移动设备具有视频捕捉模块和图像转化模块；所述移动设备固定在所述实体键盘的上方设定位置处，移动设备与所述实体键盘的位置关系为：所述实体键盘处于所述视频捕捉模块的视场范围内；所述图像转化模块，用于将所述视频捕捉模块所捕获的实体键盘的实时场景图像转换为以用户人眼为视角的键盘虚拟图像；/n所述融合显示模块，用于将键盘虚拟图像与虚拟环境进行虚实融合显示。/n

【技术特征摘要】
1.用于移动设备的虚实融合键盘系统，其特征在于，包括实体键盘、移动设备以及融合显示模块：
所述移动设备具有视频捕捉模块和图像转化模块；所述移动设备固定在所述实体键盘的上方设定位置处，移动设备与所述实体键盘的位置关系为：所述实体键盘处于所述视频捕捉模块的视场范围内；所述图像转化模块，用于将所述视频捕捉模块所捕获的实体键盘的实时场景图像转换为以用户人眼为视角的键盘虚拟图像；
所述融合显示模块，用于将键盘虚拟图像与虚拟环境进行虚实融合显示。


2.如权利要求1所述的系统，其特征在于，所述移动设备通过连接架固定在所述实体键盘的上方设定位置处；
所述连接架包括固定连接的夹持部和支撑部，所述夹持部用于夹持在所述实体键盘边缘，所述支撑部与所述夹持部垂直固定，支撑部上设置设备槽用于固定所述移动设备。


3.如权利要求1所述的系统，其特征在于，所述移动设备与所述实体键盘的相对位置不变。


4.如权利要求1、2或3所述的系统，其特征在于，所述视频捕捉模块所捕获的实体键盘的实时场景图像包含所述实体键盘的图像信息，以用户操作键盘时的手部图像信息。


5.如权利要求1～3任一所述的系统，其特征在于，所述图像转化模块，具体为：
所述图像转化模块为训练好的图像转化神经网络模型；
所述图像转化神经网络模型的训练方式为：
构建神经网络模型；
通过所述移动设备上的视频捕捉模块获取移动设备视角的键盘场景图像作...

【专利技术属性】
技术研发人员：翁冬冬，胡明伟，胡翔，江海燕，
申请(专利权)人：北京理工大学，南昌虚拟现实检测技术有限公司，南昌新世纪会展中心有限公司，
类型：发明
国别省市：北京;11