虚拟空间实现键盘输入的方法和设备技术

本发明专利技术提供一种虚拟空间实现键盘输入的方法和设备，应用于

【技术实现步骤摘要】
虚拟空间实现键盘输入的方法和设备


[0001]本专利技术为虚拟键盘
，具体涉及一种应用于
XR
扩展现实可穿戴设备
、
头戴式显示装置的虚拟空间实现键盘输入的方法和设备
。

技术介绍

[0002]Extended Reality (XR)
扩展现实，是指通过计算机技术和可穿戴设备产生的一个真实与虚拟组合
、
可人机交互的环境，是增强现实
AR、
虚拟现实
VR、
混合现实
MR
等多种形式的统称
。
[0003]随着
(XR)
扩展现实在各行各业的普及和发展，键盘作为一种用户和系统交互最为普遍的输入设备之一被继承下来
。
传统的实体键盘是有手感的，我们可以通过熟悉的位置和利用指尖的感觉实现盲打
。
但是到了平板电脑
、
智能手机和手表时代，实体键盘被触控屏取代，我们指尖摸到触控面板的感觉都一样，只有平面感，所以再也无法盲打
>。
到了<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
虚拟空间实现键盘输入的方法，应用于各种
XR
扩展现实可穿戴设备
、
头戴式显示装置，其特征在于包括如下步骤：步骤
1、
构建一种能获取人手关节位置的预训练的人手检测模型，建立以单手的任一关节点为原点的坐标系，通过人手检测模型获取人手每个关节点的二维空间位置，并转换成相对单手原点的每个关节点的二维空间位置；步骤
2、
分别在双手的每根手指伸展指向
N
个不同方向时的预置位置设置虚拟按键及其位置阈值，并对所述虚拟按键定义输出内容；步骤
3、
预设手指的准备动作，人手检测模型识别出手指处于准备动作则不进行关节点追踪和指尖位置计算；步骤
4、
追踪脱离准备动作的手指并判断其伸展指向的方向和计算指尖位置，进一步判断该指尖位置是否超过虚拟按键的位置阈值，若超过则输出该虚拟按键所定义的内容，从而在虚拟空间实现键盘输入
。2.
根据权利要求1所述的虚拟空间实现键盘输入的方法，其特征在于，所述步骤2中每根手指伸展指向
N
个不同方向，指的是，当双手悬空做类似打字的动作时，定义手指相对掌关节构成的平面向上方
、
向前方
、
向下方和向掌心方伸展的四个方向；当双手放在桌面做类似打字的动作时，定义手指相对掌关节构成的平面向上方
、
向前方
、
向掌心方伸展的三个方向和手指的非指尖关节向上抬起的第四个方向
。3.
根据权利要求2所述的虚拟空间实现键盘输入的方法，其特征在于，按照使用双手在键盘上打字的习惯，将对应左右手每根手指的向上方
、
向前方
、
向下方
、
向掌心方的四个伸展方向设置的虚拟按键分别对应键盘上从上而下的四个数字和字母
。4.
根据权利要求2所述的虚拟空间实现键盘输入的方法，其特征在于，所述步骤2中每根手指伸展指向
N
个不同方向，包括手腕
/
手指左右摆动后手指伸展的指向
。5.
根据权利要求1所述的虚拟空间实现键盘输入的方法，其特征在于，所述步骤4中追踪脱离准备动作的手指并判断其伸展指向的方向和指尖位置，具体判别规则为：若脱离准备动作的手指为大拇指或食指，通过人手检测模型获取的大拇指三个关节或食指四个关节的空间位置来判断其伸展指向的方向和计算指尖位置；若脱离准备动作的手指为中指，采用中指判定规则判断中指的伸展指向的方向和计算指尖位置：通过人手检测模型获取的中指四个关节的空间位置，计算得到中节和远节的总长度和近节和中节的弯曲程度来换算成中指的指尖相对原点的空间位置；若脱离准备动作的手指为无名指：当无名指相对掌关节构成的平面伸展指向向前方
、
向下方和向掌心方时，采用中指判定规则判断其伸展指向的方向和计算指尖位置；若脱离准备动作的手指为无名指和小指：当无名指的近节和小指的近节同时抬起时，采用中指判定规则，仅判断无名指伸展指向的方向和计算指尖位置；若脱离准备动作的手指为小指：当小指相对掌关节构成的平面伸展指向向上方和向前方伸展时，采用中指判定规则判断其伸展指向的方向和计算指尖位置；当看不见小指近节但看得到无名指近节没有下去时，判断小指相对掌关节构成的平面伸展指向向下方，以
45
度斜角和远节和中节的总长度计算得到位于中节和近节之间的指尖位置；当看不见小指且无名指的近节跟随小指同时向下时，判定小指相对掌关节构成的平面伸展向...

【专利技术属性】
技术研发人员：潘庭安，潘仲光，
申请(专利权)人：灯影科技有限公司，
类型：发明
国别省市：