一种基于虚拟键盘输入文本的方法及装置制造方法及图纸

本申请实施例公开了一种基于虚拟键盘输入文本的方法及装置，涉及人机交互领域，解决了如何基于虚拟键盘完成文本输入的问题。所述方法包括电子设备获取到包含第一手部的图像后，基于包含第一手部的图像检测第一手部的关键点，基于第一手部的关键点在第一手部投射虚拟键盘；进而，电子设备获取到包含第一手部和第二手部的手指的图像后，根据包含第一手部和第二手部的手指的图像识别第二手部的手指与第一手部的接触状态或按压状态；当第二手部的手指与第一手部处于接触状态或按压状态时，根据第二手部的手指与第一手部接触或按压的位置确定输入的文本。置确定输入的文本。置确定输入的文本。

【技术实现步骤摘要】
一种基于虚拟键盘输入文本的方法及装置


[0001]本申请实施例涉及人机交互领域，尤其涉及一种基于虚拟键盘输入文本的方法及装置。

技术介绍

[0002]目前，虚拟现实技术(Virtual Reality，VR)/增强现实(augmented reality，AR)技术已变革性的实现三维(3-dimension，3D)沉浸式显示体验，同时能使交互方式更贴合现实，因此在社交、医疗、教育、游戏、影视等各行业领域均有广阔的应用前景。对于VR/AR设备而言，最为让人诟病的地方，就是其输入文本的方式。通常，用户通过旋转或者平移手柄将虚拟空间打出的射线置于虚拟键盘某个键位，按下手柄确定完成输入；或者，用户的双手举在空中，按压虚拟键盘完成输入。这些方式均输入效率低下，不易操作，长时间的输入还会带来酸痛感。因此，如何基于虚拟键盘完成文本输入是一个亟待解决的问题。

技术实现思路

[0003]本申请提供一种基于虚拟键盘输入文本的方法及装置，解决了如何基于虚拟键盘完成文本输入的问题。
[0004]为达到上述目的，本申请实施例采用如下技术方案：...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟键盘输入文本的方法，其特征在于，包括：基于包含第一手部的图像获取第一手部的关键点；基于所述第一手部的关键点在所述第一手部投射虚拟键盘；获取包含所述第一手部和第二手部的手指的图像；根据包含所述第一手部和第二手部的手指的图像识别所述第二手部的手指与所述第一手部的接触状态或按压状态；当所述第二手部的手指与所述第一手部处于接触状态或按压状态时，根据所述第二手部的手指与所述第一手部接触或按压的位置确定输入的文本。2.根据权利要求1所述的方法，其特征在于，基于所述第一手部的关键点在所述第一手部投射虚拟键盘，包括：基于所述第一手部的手掌的关键点，在所述第一手部的手掌上投射所述虚拟按键。3.根据权利要求1所述的方法，其特征在于，基于所述第一手部的关键点在所述第一手部投射虚拟键盘，包括：基于所述第一手部的手背的关键点，在所述第一手部的手背上投射所述虚拟按键。4.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据包含所述第一手部和第二手部的手指的图像识别所述第二手部的手指与所述第一手部的接触状态或按压状态，包括：利用预设好的神经网络模型，分析包含所述第一手部和第二手部的手指的图像，识别所述第二手部的手指与所述第一手部的接触状态或按压状态，以及得到所述第二手部的手指的指尖关键点。5.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据包含所述第一手部和第二手部的手指的图像识别所述第二手部的手指与所述第一手部的接触状态或按压状态，包括：利用预设好的神经网络模型，分析包含所述第一手部、第二手部的手指的图像和所述第二手部的手指的光流，识别所述第二手部的手指与所述第一手部的接触状态或按压状态，以及得到所述第二手部的手指的指尖关键点。6.根据权利要求1-5中任一项所述的方法，其特征在于，根据所述第二手部的手指与所述第一手部接触或按压的位置确定输入的文本，包括：根据所述第二手部的手指的指尖坐标点和所述虚拟键盘的坐标点确定所述第二手部的手指与所述第一手部接触或按压的位置；根据所述第二手部的手指与所述第一手部接触或按压的位置确定输入的文本。7.根据权利要求1-6中任一项所述的方法，其特征在于，所述基于所述第一手部的关键点在所述第一手部投射虚拟键盘，包括：根据多帧包括所述第一手部的图像识别所述第一手部的动作；确定所述第一手部的动作与预设动作相匹配，基于所述第一手部的关键点投射所述虚拟键盘。8.根据权利要求7所述的方法，其特征在于，所述预设动作为从握拳到伸掌。9.根据权利要求1-8中任一项所述的方法，其特征在于，在所述获取包含所述第一手部和第二手部的手指的图像之后，所述方法还包括：
根据包含所述第一手部和第二手部的手指的图像识别所述第二手部的手指与所述第一手部的分离状态，当所述第二手部的手指与所述第一手部处于分离状态时，获取包括所述第一手部的图像或获取包含所述第一手部和第二手部的手指的图像。10.根据权利要求1-9中任一项所述的方法，其特征在于，所述方法还包括：将训练集输入神经网络模型，所述神经网络模型输出分类结果，其中，所述训练集包括第一类训练图像、第二类训练图像、所述第一类训练图像的标签和所述第二类训练图像的标签，所述第一类训练图像包括多个包含第二手部的手指与第一手部处于接触状态或按压状态的图像，所述第二类训练图像包括多个包含第二手部的手指与第一手部处于分离状态的图像；依据所述分类结果计算损失函数的损失函数值，当损失函数收敛且损失函数值小于或等于阈值时，以得到所述神经网络模型的参数。11.根据权利要求1-10中任一项所述的方法，其特征在于，根据所述第二手部的手指与所述第一手部接触或按压的位置确定输入的文本之后，所述方法还包括：显示所述第一手部、所述第二手部的手指和输入的文本。12.一种输入文本的装置，其特征在于，包括：处理单元，用于基于包含第一手部的图像获取第一手部的关键点；所述处理单元，还用于基于所述第一手部的关键点在所述第一手部投射虚拟键盘；图像采集单元，用于获取包含所述第一手部和第二手部的手指的图像；所述处理单元，还用于根据包含所述第一手部和第二手部的手指的图像识别所述第二手部的手指与所述第一手部的接触状态或按压状态；所述处理单元，还用于当所述第二手部的手指与所述第一手部处于接触状态或按压状态时...

【专利技术属性】
技术研发人员：袁家劼，刘思维，张梦晗，王海涛，张朋，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：