一种虚拟键盘的控制方法、装置和计算机设备制造方法及图纸

本申请涉及一种虚拟键盘的控制方法、装置和计算机设备。所述方法包括：获取预先关联的摄像装置采集到的图像帧；对获取到的图像帧进行手部图像检测；在图像帧中检测到手部图像的情况下，唤醒预设的虚拟键盘，并将虚拟键盘在手部图像的对应位置处进行按键布局摆放并显示；响应于检测到的手部图像中的手势变化，对虚拟键盘进行切换显示。采用本方法能够解决虚拟键盘因为唤起以及切换效率低而导致的输入效率低的问题。效率低的问题。效率低的问题。

【技术实现步骤摘要】
一种虚拟键盘的控制方法、装置和计算机设备


[0001]本申请涉及虚拟键盘
，特别是涉及一种虚拟键盘的控制方法、装置和计算机设备。

技术介绍

[0002]混合现实(MixedReality，简称MR)是一种将真实世界和虚拟世界相结合的新型交互技术。它通过使用各种传感器、计算机视觉算法和显示技术，使用户在真实世界中看到虚拟物体，并与之进行交互。目前，混合现实技术已经被应用于很多领域，例如游戏、工业制造、医疗、教育等。随着技术的不断进步和普及，混合现实会成为一种应用广泛的新型交互方式。
[0003]目前，在混合现实环境下，虚拟键盘的控制方法依然采用触屏或者手部佩戴传感器设备的方式，但是上述虚拟键盘的控制方法存在虚拟键盘的界面唤起以及界面切换效率低，使得虚拟键盘的输入效率低的问题。
[0004]然而，对于目前存在的虚拟键盘的控制方法，存在虚拟键盘的输入效率低的问题，尚未得到有效的解决。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种虚拟键盘的控制方法、装置和计算机设备。
[0006]第一方面，本申请提供了一种虚拟键盘的控制方法。所述方法包括：
[0007]获取预先关联的摄像装置采集到的图像帧；
[0008]对获取到的所述图像帧进行手部图像检测；
[0009]在所述图像帧中检测到手部图像的情况下，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手部图像的对应位置处进行按键布局摆放并显示；
[0010]响应于检测到的所述手部图像中的手势变化，对所述虚拟键盘进行切换显示。
[0011]在其中一个实施例中，所述对获取到的所述图像帧进行手部图像检测，包括：
[0012]通过MediaPipe的手部检测算法，对获取到的所述图像帧进行手部图像检测，生成手部图像检测结果。
[0013]在其中一个实施例中，在所述图像帧中检测到手部图像的情况下，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手部图像的对应位置处进行按键布局摆放并显示，包括：
[0014]在所述手部图像检测结果指示在所述图像帧中检测到手部图像的情况下，根据预设的手部检测模型对检测到的所述手部图像进行分类，确定所述手部图像是否属于手掌；
[0015]在分类结果指示所述手部图像属于手掌时，基于MediaPipe中预存的手掌库，对所述手掌进行检测，得到所述手掌的关键位置；
[0016]基于所述手掌的关键位置，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手掌的关键位置处进行按键布局摆放并显示。
[0017]在其中一个实施例中，所述基于所述手掌的关键位置，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手掌的关键位置处进行按键布局摆放并显示，包括：
[0018]基于所述手掌的关键位置，获取所述手掌的二维位置分布；
[0019]基于所述手掌的二维位置分布，以及预设的数字键盘的布局策略，在所述手掌的二维位置分布中的每个关键位置处，匹配对应的数字键盘的按键内容，显示所述手掌所对应的数字键盘。
[0020]在其中一个实施例中，所述基于所述手掌的关键位置，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手掌的关键位置处进行按键布局摆放并显示，包括：
[0021]基于所述手掌的关键位置，获取所述手掌的二维位置分布；
[0022]基于所述手掌的二维位置分布，以及预设的字母键盘的布局策略，在所述手掌的二维位置分布中的每个关键位置处，匹配对应的字母键盘的按键内容，显示所述手掌所对应的字母键盘。
[0023]在其中一个实施例中，所述基于所述手掌的关键位置，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手掌的关键位置处进行按键布局摆放并显示，包括：
[0024]基于所述手掌的关键位置，获取所述手掌的二维位置分布；
[0025]基于所述手掌的二维位置分布，以及预设的符号键盘的布局策略，在所述手掌的二维位置分布中的每个关键位置处，匹配对应的符号键盘的按键内容，显示所述手掌所对应的符号键盘。
[0026]在其中一个实施例中，响应于检测到的手部图像中的手势变化，对所述虚拟键盘进行切换显示，包括：
[0027]基于预设的手势识别模型，判断所述图像帧中的手部图像检测结果是否存在预设的手势变化；
[0028]在所述图像帧中的手部图像检测结果存在预设的手势变化的情况下，根据所述预设的手势变化所对应的预设的切换规则，以及所述预设的虚拟键盘的显示顺序，对所述虚拟键盘进行切换显示。
[0029]在其中一个实施例中，所述方法还包括：
[0030]基于所述虚拟键盘，以及手部图像检测结果，完成文本输入。
[0031]在其中一个实施例中，所述基于所述虚拟键盘，以及手部图像检测结果，完成文本输入，包括：
[0032]基于所述手部图像检测结果，确定所述手部图像中的拇指指尖的位置；
[0033]在所述手部图像中的拇指指尖的位置发生改变的情况下，确定所述手部图像中的拇指指尖的位置发生改变前的第一位置，以及发生改变后的第二位置；
[0034]基于所述虚拟键盘，确定所述虚拟键盘的每个按键内容的位置；
[0035]根据所述第一位置与所述每个按键内容的位置之间的距离，生成第一距离矩阵；根据所述第二位置与所述每个按键内容的位置之间的距离，生成第二距离矩阵；根据所述第一距离矩阵，以及所述第二距离矩阵，获取所述拇指指尖的位置与所述每个按键内容的位置之间的距离变化量；
[0036]在所述拇指指尖的位置与所述虚拟键盘的第一按键内容的位置之间的距离变化量，达到预设的变化量阈值的情况下，判断所述拇指指尖在所述第二位置的停留时间是否
达到时间阈值；
[0037]在所述拇指指尖在所述第二位置的停留时间达到所述时间阈值的情况下，输入所述第一按键内容。
[0038]第二方面，本申请还提供了一种虚拟键盘的控制装置。所述装置包括：
[0039]获取模块，用于获取预先关联的摄像装置采集到的图像帧；
[0040]检测模块，用于在获取到的图像帧中进行手部图像检测；
[0041]布局模块，用于在所述图像帧中检测到手部图像的情况下，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手部图像的对应位置处进行按键布局摆放并显示；
[0042]以及切换模块，用于响应于检测到的手部图像中的手势变化，对所述虚拟键盘进行切换显示。
[0043]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的虚拟键盘的控制方法。
[0044]上述虚拟键盘的控制方法、装置和计算机设备，通过获取预先关联的摄像装置采集到的图像帧，并对获取到的图像帧进行手部图像检测，检测图像帧中是否存在手部图像，并在图像帧中检测到手部图像的情况下，唤醒预设的虚拟键盘，并将虚拟键盘在手部图像的对应位置处进行按键布局摆放并显示。进而，在检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟键盘的控制方法，其特征在于，所述方法包括：获取预先关联的摄像装置采集到的图像帧；对获取到的所述图像帧进行手部图像检测；在所述图像帧中检测到手部图像的情况下，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手部图像的对应位置处进行按键布局摆放并显示；响应于检测到的所述手部图像中的手势变化，对所述虚拟键盘进行切换显示。2.根据权利要求1所述虚拟键盘的控制方法，其特征在于，所述对获取到的所述图像帧进行手部图像检测，包括：通过MediaPipe的手部检测算法，对获取到的所述图像帧进行手部图像检测，生成手部图像检测结果。3.根据权利要求2所述虚拟键盘的控制方法，其特征在于，在所述图像帧中检测到手部图像的情况下，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手部图像的对应位置处进行按键布局摆放并显示，包括：在所述手部图像检测结果指示在所述图像帧中检测到手部图像的情况下，根据预设的手部检测模型对检测到的所述手部图像进行分类，确定所述手部图像是否属于手掌；在分类结果指示所述手部图像属于手掌时，基于MediaPipe中预存的手掌库，对所述手掌进行检测，得到所述手掌的关键位置；基于所述手掌的关键位置，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手掌的关键位置处进行按键布局摆放并显示。4.根据权利要求3所述虚拟键盘的控制方法，其特征在于，所述基于所述手掌的关键位置，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手掌的关键位置处进行按键布局摆放并显示，包括：基于所述手掌的关键位置，获取所述手掌的二维位置分布；基于所述手掌的二维位置分布，以及预设的数字键盘的布局策略，在所述手掌的二维位置分布中的每个关键位置处，匹配对应的数字键盘的按键内容，显示所述手掌所对应的数字键盘。5.根据权利要求3所述虚拟键盘的控制方法，其特征在于，所述基于所述手掌的关键位置，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手掌的关键位置处进行按键布局摆放并显示，包括：基于所述手掌的关键位置，获取所述手掌的二维位置分布；基于所述手掌的二维位置分布，以及预设的字母键盘的布局策略，在所述手掌的二维位置分布中的每个关键位置处，匹配对应的字母键盘的按键内容，显示所述手掌所对应的字母键盘。6.根据权利要求3所述虚拟键盘的控制方法，其特征在于，所述基于所述手掌的关键位置，唤醒预设的虚拟键盘，并将所述虚拟键盘在所述手掌的关键位置处进行按键布局摆放并显示，包括：基于所述手掌的关键位置，获取所述手掌的二维位置分布；基于所述手掌...

【专利技术属性】
技术研发人员：邓超，朱晓明，黄程韦，
申请(专利权)人：之江实验室，
类型：发明
国别省市：