一种虚拟键盘的控制方法、装置和计算机设备制造方法及图纸

本申请涉及一种虚拟键盘的控制方法、装置和计算机设备。所述方法包括：获取预先关联的摄像装置采集到的图像帧；对获取到的图像帧进行手部图像检测；在图像帧中检测到手部图像的情况下，唤醒预设的虚拟键盘，并将虚拟键盘在手部图像的对应位置处进行按键布局摆放并显示；响应于检测到的手部图像中的手势变化，对虚拟键盘进行切换显示。采用本方法能够解决虚拟键盘因为唤起以及切换效率低而导致的输入效率低的问题。效率低的问题。效率低的问题。

【技术实现步骤摘要】
一种虚拟键盘的控制方法、装置和计算机设备


[0001]本申请涉及虚拟键盘
，特别是涉及一种虚拟键盘的控制方法、装置和计算机设备。

技术介绍

[0002]混合现实(MixedReality，简称MR)是一种将真实世界和虚拟世界相结合的新型交互技术。它通过使用各种传感器、计算机视觉算法和显示技术，使用户在真实世界中看到虚拟物体，并与之进行交互。目前，混合现实技术已经被应用于很多领域，例如游戏、工业制造、医疗、教育等。随着技术的不断进步和普及，混合现实会成为一种应用广泛的新型交互方式。
[0003]目前，在混合现实环境下，虚拟键盘的控制方法依然采用触屏或者手部佩戴传感器设备的方式，但是上述虚拟键盘的控制方法存在虚拟键盘的界面唤起以及界面切换效率低，使得虚拟键盘的输入效率低的问题。
[0004]然而，对于目前存在的虚拟键盘的控制方法，存在虚拟键盘的输入效率低的问题，尚未得到有效的解决。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种虚拟键盘的控制方法、装置和计算机设备。/>[0006]第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟键盘的控制方法，其特征在于，所述方法包括：获取预先关联的摄像装置采集到的图像帧；对获取到的所述图像帧进行手部图像检测；在所述图像帧中检测到手部图像的情况下，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手部图像的对应位置处进行按键布局摆放并显示；响应于检测到的所述手部图像中的手势变化，对所述虚拟键盘进行切换显示。2.根据权利要求1所述虚拟键盘的控制方法，其特征在于，所述对获取到的所述图像帧进行手部图像检测，包括：通过MediaPipe的手部检测算法，对获取到的所述图像帧进行手部图像检测，生成手部图像检测结果。3.根据权利要求2所述虚拟键盘的控制方法，其特征在于，在所述图像帧中检测到手部图像的情况下，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手部图像的对应位置处进行按键布局摆放并显示，包括：在所述手部图像检测结果指示在所述图像帧中检测到手部图像的情况下，根据预设的手部检测模型对检测到的所述手部图像进行分类，确定所述手部图像是否属于手掌；在分类结果指示所述手部图像属于手掌时，基于MediaPipe中预存的手掌库，对所述手掌进行检测，得到所述手掌的关键位置；基于所述手掌的关键位置，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手掌的关键位置处进行按键布局摆放并显示。4.根据权利要求3所述虚拟键盘的控制方法，其特征在于，所述基于所述手掌的关键位置，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手掌的关键位置处进行按键布局摆放并显示，包括：基于所述手掌的关键位置，获取所述手掌的二维位置分布；基于所述手掌的二维位置分布，以及预设的数字键盘的布局策略，在所述手掌的二维位置分布中的每个关键位置处，匹配对应的数字键盘的按键内容，显示所述手掌所对应的数字键盘。5.根据权利要求3所述虚拟键盘的控制方法，其特征在于，所述基于所述手掌的关键位置，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手掌的关键位置处进行按键布局摆放并显示，包括：基于所述手掌的关键位置，获取所述手掌的二维位置分布；基于所述手掌的二维位置分布，以及预设的字母键盘的布局策略，在所述手掌的二维位置分布中的每个关键位置处，匹配对应的字母键盘的按键内容，显示所述手掌所对应的字母键盘。6.根据权利要求3所述虚拟键盘的控制方法，其特征在于，所述基于所述手掌的关键位置，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手掌的关键位置处进行按键布局摆放并显示，包括：基于所述手掌的关键位置，获取所述手掌的二维位置分布；基于所述手掌...

【专利技术属性】
技术研发人员：邓超，朱晓明，黄程韦，
申请(专利权)人：之江实验室，
类型：发明
国别省市：