头戴显示设备的虚拟键盘显示方法、装置及头戴显示设备制造方法及图纸

本发明专利技术公开了一种头戴显示设备的虚拟键盘显示方法、装置及头戴显示设备，该方法包括：获取键盘图像，键盘图像中键盘的按键表面设置有编码图案标签；识别键盘图像中的编码图案标签，获取编码信息，编码信息至少包括编码图案标签的角点信息；在成功识别键盘图像中的编码图案标签的情况下，根据编码图案标签的角点信息，确定编码图案标签对应的第一按键的位置信息；根据第一按键的位置信息向用户呈现虚拟键盘。

【技术实现步骤摘要】
头戴显示设备的虚拟键盘显示方法、装置及头戴显示设备
本专利技术涉及虚拟现实
，更具体地，本专利技术涉及一种头戴显示设备中虚拟键盘的显示方法、一种头戴显示设备中虚拟键盘的显示装置、及一种头戴显示设备。
技术介绍
虚拟现实(VirtualReality，VR)技术通过计算机系统模拟出虚拟的三维世界，借助显示系统和交互系统，向使用者提供视觉、听觉、触觉等感官的模拟体验，同时使用者能够与虚拟场景进行互动交互，带给使用者身临其境的感受。因此，交互技术是虚拟现实系统实现的关键性技术之一，决定了使用者如何在虚拟世界中与目标进行互动。现有技术方案中，键盘检测与定位方法主要依赖键盘的形态学特征。在头戴VR设备运动变化丰富的应用场景下，键盘在不同拍摄角度下的形态会产生变化，导致难以通过单一的形态特征完成持续稳定且精准的检测与定位；对于不同品牌键盘的几何形状不同，这种检测与定位方式需要进行适配，检测难度较大；此外，手部在于键盘的交互过程中不可避免的对键盘产生一定的遮挡，在一定程度上破坏了键盘在图像中几何形状的完整性，这种检测与定位方式难以实现对键盘的精确定位。因此，有必要提供一种新的显示虚拟键盘的方案。
技术实现思路
本专利技术的目的在于提供一种虚拟键盘显示的新技术方案。根据本专利技术的第一方面，提供了一种头戴显示设备中虚拟键盘的显示装置，所述方法包括：获取键盘图像，所述键盘图像中键盘的按键表面设置有编码图案标签；识别所述键盘图像中的编码图案标签，获取编码信息，所述编码信息至少包括所述编码图案标签的角点信息；在成功识别所述键盘图像中的编码图案标签的情况下，根据所述编码图案标签的角点信息，确定所述编码图案标签对应的第一按键的位置信息；根据所述第一按键的位置信息向用户呈现虚拟键盘。可选地，还包括：在未成功识别所述键盘图像中的编码图案标签的情况下，将呈现的虚拟键盘与预设的键盘进行比较，确定虚拟键盘中缺少的第二按键；根据所述第一按键与所述第二按键的位置关系、所述第一按键对应的所述编码图案标签的角点信息，确定所述第二按键对应的编码图案标签的角点信息；根据所述第二按键对应的编码图案标签的角点信息，确定第二按键的位置信息；根据所述第二按键的位置信息，向用户呈现虚拟键盘中缺少的所述第二按键。可选地，所述键盘图像中还包括用户的手部形状；所述方法还包括：提取所述键盘图像中的手部轮廓；根据所述手部轮廓，确定所述手部轮廓的位置信息；根据所述手部轮廓的位置信息，向用户呈现与所述虚拟键盘交互的手部形状。可选地，还包括：根据所述手部轮廓的位置信息，确定用户按压的按键；执行与所述用户按压的按键对应的指令。可选地，所述键盘图像包括通过双目相机采集的第一目图像和第二目图像，所述编码信息还包括标签编号；所述根据所述编码图案标签的角点信息，确定所述编码图案标签对应的第一按键的位置信息，包括：识别所述第一目图像中的编码图案标签，获取标签编号和编码图案标签的第一角点信息；根据所述编码图案标签的标签编号，查找所述第二目图像中与所述标签编号对应的编码图案标签的第二角点信息；利用双目视觉测距原理，根据所述第一角点信息、所述第二角点信息、以及双目相机的内参数和外参数，确定第一角点在双目相机坐标系下的三维坐标信息；将所述第一角点在双目相机坐标系下的三维坐标信息作为所述编码图案标签对应的第一按键的位置信息。可选地，所述编码图案标签是基于Apriltag开源编码库生成的。根据本专利技术的第二方面，提供了一种头戴显示设备中虚拟键盘的显示装置，所述装置包括：图像获取模块，用于获取键盘图像，所述键盘图像中键盘的按键表面设置有编码图案标签；识别模块，用于识别所述键盘图像中的编码图案标签，获取编码信息，所述编码信息至少包括所述编码图案标签的角点信息；第一按键的位置信息确定模块，用于在成功识别所述键盘图像中的编码图案标签的情况下，根据所述编码图案标签的角点信息，确定所述编码图案标签对应的第一按键的位置信息；显示模块，用于根据所述第一按键的位置信息向用户呈现虚拟键盘。可选地，还包括：第二按键确定模块，用于在未成功识别所述键盘图像中的编码图案标签的情况下，将呈现的虚拟键盘与预设的键盘进行比较，确定虚拟键盘中缺少的第二按键；第二按键的角点信息确定模块，用于根据所述第一按键与所述第二按键的位置关系、所述第一按键对应的所述编码图案标签的角点信息，确定所述第二按键对应的编码图案标签的角点信息；第二按键的位置信息确定模块，用于根据所述第二按键对应的编码图案标签的角点信息，确定第二按键的位置信息；重建模块，用于根据所述第二按键的位置信息，向用户呈现虚拟键盘中缺少的所述第二按键。可选地，还包括：手部轮廓提取模块，用于提取所述键盘图像中的手部轮廓；手部轮廓的位置信息确定模块，用于根据所述手部轮廓，确定所述手部轮廓的位置信息；手部形状显示模块，用于根据所述手部轮廓的位置信息，向用户呈现与所述虚拟键盘交互的手部形状。根据本专利技术公开的第三方面，提供了一种头戴显示设备中虚拟键盘的显示装置，包括：存储器，所述存储器用于存储计算机指令；处理器，所述处理器用于从所述存储器中调用所述计算机指令，并在所述计算机指令的控制下执行如本专利技术第一方面中任一项所述的头戴显示设备中虚拟键盘的显示方法。根据本专利技术公开的第四方面，提供了一种头戴显示设备，包括：如本专利技术第一方面或者第二方面中任一项所述的头戴显示设备中虚拟键盘的显示装置。根据本专利技术的一个实施例，通过识别设置于键盘按键表面的编码图案标签，可以获取编码图案标签的角点信息，从而确定编码图案标签对应的按键的位置信息，从而实现键盘的定位。本实施例可以不依赖与键盘的形态学特征对键盘进行定位，降低了检测难度，并且能够在头戴显示设备不同的应用场景下实现键盘的精准定位，提高了定位的准确性，用户体验更好。通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了本专利技术实施例提供的头戴显示设备的硬件配置示意图；图2示出了本专利技术实施例提供的头戴显示设备中虚拟键盘的显示方法的流程示意图；图3示出了本专利技术实施例提供的键盘的结构示意图；图4示出了本专利技术实施例提供的头戴显示设备中虚拟键盘的显示装置的一种实施结构的框图；图5示出了本专利技术实施例提供的头戴显示设备中虚拟键盘的显示装置的另一种实施结构的框图。具体实施本文档来自技高网...

【技术保护点】
1.一种头戴显示设备中虚拟键盘的显示方法，所述方法包括：/n获取键盘图像，所述键盘图像中键盘的按键表面设置有编码图案标签；/n识别所述键盘图像中的编码图案标签，获取编码信息，所述编码信息至少包括所述编码图案标签的角点信息；/n在成功识别所述键盘图像中的编码图案标签的情况下，根据所述编码图案标签的角点信息，确定所述编码图案标签对应的第一按键的位置信息；/n根据所述第一按键的位置信息向用户呈现虚拟键盘。/n

【技术特征摘要】
1.一种头戴显示设备中虚拟键盘的显示方法，所述方法包括：
获取键盘图像，所述键盘图像中键盘的按键表面设置有编码图案标签；
识别所述键盘图像中的编码图案标签，获取编码信息，所述编码信息至少包括所述编码图案标签的角点信息；
在成功识别所述键盘图像中的编码图案标签的情况下，根据所述编码图案标签的角点信息，确定所述编码图案标签对应的第一按键的位置信息；
根据所述第一按键的位置信息向用户呈现虚拟键盘。


2.根据权利要求1所述的方法，还包括：
在未成功识别所述键盘图像中的编码图案标签的情况下，将呈现的虚拟键盘与预设的键盘进行比较，确定虚拟键盘中缺少的第二按键；
根据所述第一按键与所述第二按键的位置关系、所述第一按键对应的所述编码图案标签的角点信息，确定所述第二按键对应的编码图案标签的角点信息；
根据所述第二按键对应的编码图案标签的角点信息，确定第二按键的位置信息；
根据所述第二按键的位置信息，向用户呈现虚拟键盘中缺少的所述第二按键。


3.根据权利要求1所述的方法，所述键盘图像中还包括用户的手部形状；所述方法还包括：
提取所述键盘图像中的手部轮廓；
根据所述手部轮廓，确定所述手部轮廓的位置信息；
根据所述手部轮廓的位置信息，向用户呈现与所述虚拟键盘交互的手部形状。


4.根据权利要求3所述的方法，还包括：
根据所述手部轮廓的位置信息，确定用户按压的按键；
执行与所述用户按压的按键对应的指令。


5.根据权利要求1所述的方法，所述键盘图像包括通过双目相机采集的第一目图像和第二目图像，所述编码信息还包括标签编号；
所述根据所述编码图案标签的角点信息，确定所述编码图案标签对应的第一按键的位置信息，包括：
识别所述第一目图像中的编码图案标签，获取标签编号和编码图案标签的第一角点信息；
根据所述编码图案标签的标签编号，查找所述第二目图像中与所述标签编号对应的编码图案标签的第二角点信息；
利用双目视觉测距原理，根据所述第一角点信息、所述第二角点信息、以及双目相机的内参数和外参数，确定第一角点在双目相机坐标系下的三维坐标信息；
将所述第一角点在双目相机坐标系下的三维...

【专利技术属性】
技术研发人员：陈伟民，舒玉龙，吴涛，周宏伟，
申请(专利权)人：青岛小鸟看看科技有限公司，
类型：发明
国别省市：山东;37