一种用于虚拟现实的虚实融合键盘系统技术方案

本实用新型专利技术公开了一种用于虚拟现实的虚实融合键盘系统，能够通过虚实融合技术，给予用户真实的触觉力反馈，提升系统键盘输入的输入体验和真实感，同时提升输入效率。本实用新型专利技术的技术方案为：包括位置跟踪器、手型获取设备、真实键盘、计算机以及头戴式显示器HMD。位置跟踪器，设置于真实键盘上，获取真实键盘实时位置信息发送至计算机。手型获取设备，用于获取用户用手敲击键盘时的手部形状及手部位置数据发送至计算机。计算机根据真实键盘实时位置信息控制HMD在虚拟场景的相应位置渲染虚拟键盘，虚拟键盘与真实键盘几何形状一致。计算机根据手部形状及手部位置数据控制HMD在虚拟场景的相应位置渲染出手部形状。

A Virtual-Reality Fusion Keyboard System for Virtual Reality

The utility model discloses a virtual-reality fusion keyboard system for virtual reality, which can provide users with real tactile force feedback through the virtual-reality fusion technology, improve the input experience and reality of the system keyboard input, and improve the input efficiency at the same time. The technical scheme of the utility model comprises a position tracker, a hand-type acquisition device, a real keyboard, a computer and a head-mounted display HMD. The position tracker is set on the real keyboard to acquire the real-time position information of the real keyboard and send it to the computer. A hand-type acquisition device is used to acquire the shape of the hand and the position data of the hand when the user strikes the keyboard with his hand and send them to the computer. The computer controls the HMD to render the virtual keyboard in the corresponding position of the virtual scene according to the real-time position information of the real keyboard. The virtual keyboard has the same geometric shape as the real keyboard. The computer controls the HMD to render the hand shape in the corresponding position of the virtual scene according to the shape and position data of the hand.

【技术实现步骤摘要】
一种用于虚拟现实的虚实融合键盘系统
本技术涉及虚拟现实
，具体涉及一种用于虚拟现实的虚实融合键盘系统。
技术介绍
目前在虚拟现实
，涉及到针对键盘的虚拟现实系统时，一般有两种方案，分别为HolographicKeyboard–Microsoft和公开号为CN106354412A的专利，既基于虚拟现实设备的输入方法及装置。HolographicKeyboard-Microsoft：该方案使用深度摄像机捕捉用户真实手的深度信息，利用深度信息，实时追踪用户手的姿态，并在头盔中显示出全息手图像。用户激活虚拟键盘系统时，虚拟键盘固定显示在虚拟手下方一定距离处，并保持固定的交互角度。当用户进行按键动作时，虚拟手下方出现阴影，并随着按键动作向中间汇聚，提升交互体验。该方案还将虚拟按键动画化，当手指向某个键伸去时，要被选中的键会向外延伸，在按下该键时，虚拟键向键盘表面移动，增加了交互真实性。然而Microsoft的HolographicKeyboard混合现实系统使用虚拟键盘进行按键输入，虽然有按键动画提升交互体验，但与传统的真实键盘输入相比，缺少触觉力反馈，大大降低了虚拟现实系统的真实感，影响输入速度。该系统需要实时对手部进行图像提取，识别，绘制出手部图像，增加了算法的复杂程度，增大了计算设备的压力。在对手部进行识别时，当用户真实手出现复杂动作(比如两指交叉)时，可能出现手指识别混乱，导致虚拟骨骼对应错误，发生畸形。基于虚拟现实设备的输入方法及装置(专利号：CN106354412A)：该方案提供了一种在虚拟现实设备中的虚拟键盘输入系统。用户在预设识别区域内存在输入操作特征时，触发虚拟键盘的显示，显示的虚拟键盘与虚拟手指可以保持固定的预设关系。当摄像机检测到用户的虚拟手图像有移动和手指弯曲时，对手的移动距离进行判断，确定用户的按键信息，并进行显示。系统中，当输出的按键信息与实际按键不符合时，可以对键盘位置重新标定显示，提高输入的准确率。该虚拟现实设备中的虚拟键盘输入系统，在输入时，需要对手指移动的距离和弯曲程度进行实时检测，由于现有的手部跟踪系统，存在标定误差和环境噪声等，导致有一定的位置误差，造成输入信息判断错误。在使用键盘时，用户可能不自觉的处于手部弯曲放松姿势，可能造成系统误输入，降低用户的输入效率。并且，该方案使用虚拟键盘，与常规键盘相比，缺少触觉力反馈，降低了输入体验和虚拟现实系统的真实感。综上，以上两种针对键盘的虚拟系统均为在虚拟场景中建立虚拟键盘，用户针对虚拟键盘进行操作，缺少触觉力反馈，降低了输入体验和虚拟现实系统的真实感；同时由于无法对用户手部进行高效实时的跟踪，导致输入效率变慢。
技术实现思路
有鉴于此，本技术提供了一种用于虚拟现实的虚实融合键盘系统，能够通过虚实融合技术，给予用户真实的触觉力反馈，提升系统键盘输入的输入体验和真实感，同时提升输入效率。本技术的技术方案为一种用于虚拟现实的虚实融合键盘系统，该系统包括：位置跟踪器、手型获取设备、真实键盘、计算机以及头戴式显示器HMD。位置跟踪器，设置于真实键盘上，获取真实键盘实时位置信息发送至计算机。手型获取设备，用于获取用户用手敲击键盘时的手部数据发送至计算机。计算机根据真实键盘实时位置信息控制HMD在虚拟场景的相应位置渲染虚拟键盘，虚拟键盘与真实键盘几何形状一致。计算机根据手部数据控制HMD在虚拟场景的相应位置渲染出手部形状。进一步地，位置跟踪器包括基站和设定数量的感应点；感应点的数量任意选取；设定数量的感应点设置于真实键盘上或真实键盘周围；基站，用于发射信号，所发射信号被感应点接收；基站，还用于获取感应点的感应信号，依据感应信号获取真实键盘实时位置信息。优选地，手型获取设备为数据手套。优选地，手型获取设备为深度相机；深度相机采用主动红外光照射，在深度相机拍摄范围内的桌面及真实键盘上覆盖吸收红外的材料，深度相机采集获得手部深度图像作为手部收据；手部深度图像中包含手部形状及手部位置数据；计算机根据深度图像控制HMD在虚拟场景的出相应位置渲染出手部形状。进一步地，深度相机刷新率在30hz以上。优选地，手型获取设备为彩色相机；彩色相机采集用户的手部彩色图像作为手部数据；计算机根据手部彩色图像控制HMD在虚拟场景的相应位置渲染出手部形状。优选地，手型获取设备为深度相机和彩色相机。深度相机采用主动红外光照射，在深度相机拍摄范围内的桌面及真实键盘上覆盖吸收红外的材料，深度相机采集获得手部深度图像。手部深度图像中包含手部形状及手部位置数据。彩色相机采集用户的手部彩色图像。以手部深度图像和手部彩色图像叠加作为手部数据。计算机根据手部数据控制HMD在虚拟场景的出相应位置渲染出手部形状。进一步地，计算机获取真实的键盘的输入信息，并依据输入信息控制HMD在虚拟场景中渲染出输入信息。有益效果：1、本技术采用真实键盘，使用位置跟踪器跟踪真实键盘位置，使用手型获取设备扫描手部等键盘敲击物，并渲染到HMD头戴显示器虚拟环境中，实现在虚拟环境中用户通过观看虚拟键盘和虚拟手部控制真实键盘，实现信息输入。相比之前的技术能够提供真实敲击键盘的力反馈，提高真实感、舒适度、准确度。其次，本技术不限于之前技术的虚拟手，可以使用更简单的三维虚拟手形进行交互。该技术能够实现用户在虚拟场景中和真实环境中一样使用键盘，实现信息的高效输入。2、本技术提出了采用深度相机扫描的深度图像进行手部渲染的方案，深度图像可以准确的提供手部等敲击物的位置，简化了之前技术需要进行图像处理、分割的复杂流程，使得该交互技术简单、成本较低。相比于数据手套或者手部跟踪器的信息采集，本技术出了可以识别敲击键盘的手部信息，任何可以敲击键盘的物体都可以识别。同时相比于数据手套的使用、虚拟手的渲染更方便、便宜，精确度也更高。附图说明图1为本技术实施例提供的用于虚拟现实的虚实融合键盘系统组成结构图；图2(a)为本技术实施例提供的用于虚拟现实的虚实融合键盘系统中位置跟踪器以及手型获取设备位置关系图；图2(b)为本技术实施例提供的用于虚拟现实的虚实融合键盘系统中位置跟踪器以及手型获取设备位置关系用户视角图；图2(c)为本技术实施例提供的用于虚拟现实的虚实融合键盘系统中位置跟踪器以及手型获取设备位置关系侧视图。具体实施方式下面结合附图并举实施例，对本技术进行详细描述。请参考图1，本技术提供了一种用于虚拟现实的虚实融合键盘系统，其特征在于，该系统包括：位置跟踪器、手型获取设备、真实键盘、计算机以及头戴式显示器HMD。位置跟踪器，设置于真实键盘上，获取真实键盘实时位置信息发送至计算机。本技术实施例中，位置跟踪器可以使用HMD自带手柄或者跟踪器作为跟踪装置。跟踪装置和键盘的位置保持相对固定，通过跟踪装置位置可以计算出真实键盘的实时位置信息。手型获取设备，用于获取用户用手敲击键盘时的手部数据。本技术实施例中手部数据可以是手部形状图像或者其他手部形状数据。手部数据发送至计算机。计算机根据真实键盘实时位置信息控制HMD在虚拟场景的相应位置渲染虚拟键盘。本技术实施例中虚拟键盘与真实键盘几何形状一致，单视觉外观上(如颜色、纹理等)可以不一致。计算机根据手部形状及本文档来自技高网...

【技术保护点】
1.一种用于虚拟现实的虚实融合键盘系统，其特征在于，该系统包括：位置跟踪器、手型获取设备、真实键盘、计算机以及头戴式显示器HMD；所述位置跟踪器，设置于所述真实键盘上，获取真实键盘实时位置信息发送至所述计算机；所述手型获取设备，用于获取用户用手敲击所述键盘时的手部数据发送至所述计算机；所述计算机根据所述真实键盘实时位置信息控制所述HMD在虚拟场景的相应位置渲染虚拟键盘，所述虚拟键盘与所述真实键盘几何形状一致；所述计算机根据所述手部数据控制所述HMD在虚拟场景的相应位置渲染出所述手部形状。

【技术特征摘要】
1.一种用于虚拟现实的虚实融合键盘系统，其特征在于，该系统包括：位置跟踪器、手型获取设备、真实键盘、计算机以及头戴式显示器HMD；所述位置跟踪器，设置于所述真实键盘上，获取真实键盘实时位置信息发送至所述计算机；所述手型获取设备，用于获取用户用手敲击所述键盘时的手部数据发送至所述计算机；所述计算机根据所述真实键盘实时位置信息控制所述HMD在虚拟场景的相应位置渲染虚拟键盘，所述虚拟键盘与所述真实键盘几何形状一致；所述计算机根据所述手部数据控制所述HMD在虚拟场景的相应位置渲染出所述手部形状。2.如权利要求1所述的键盘系统，其特征在于，所述位置跟踪器包括基站和设定数量的感应点；所述感应点的数量任意选取；所述设定数量的感应点设置于所述真实键盘上或所述真实键盘周围；所述基站，用于发射信号，所发射信号被所述感应点接收；所述基站，还用于获取所述感应点的感应信号，依据所述感应信号获取所述真实键盘实时位置信息。3.如权利要求1所述的系统，其特征在于，所述手型获取设备为数据手套。4.如权利要求1所述的系统，其特征在于，所述手型获取设备为深度相机；所述深度相机采用主动红外光照射，在深度相机拍摄范围内的桌面及所述真实键盘上覆盖吸收红外的...

【专利技术属性】
技术研发人员：翁冬冬，江海燕，胡翔，
申请(专利权)人：北京理工大学，南昌虚拟现实检测技术有限公司，
类型：新型
国别省市：北京,11