一种虚拟场景中的输入识别方法、设备及存储介质技术

技术编号:34009908 阅读:31 留言:0更新日期:2022-07-02 14:19
本申请实施例提供一种虚拟场景中的输入识别方法、设备及存储介质。在该输入识别方法中,可基于识别到的手部关键点的位置,利用双目定位算法计算指尖坐标,并将指尖坐标与虚拟场景中的至少一个虚拟输入界面进行对比,若指尖位置与至少一个虚拟输入界面中的目标虚拟输入界面之间满足设定位置规则,则确定用户通过目标虚拟输入界面执行输入操作。通过这种方式,可通过双目定位算法对用户指尖位置进行计算,用户无需与现实世界的控制器或者特殊的传感器设备进行交互,进一步提升了虚拟场景的沉浸感和真实感。浸感和真实感。浸感和真实感。

【技术实现步骤摘要】
一种虚拟场景中的输入识别方法、设备及存储介质


[0001]本申请实施例涉及虚拟现实或增强现实
,尤其涉及一种虚拟场景中的输入识别方法、设备及存储介质。

技术介绍

[0002]随着虚拟现实、增强现实和混合现实等相关技术的高速发展,头戴式智能设备不断推陈出新且使用体验逐渐提高,如头戴式虚拟现实眼镜、头戴式混合现实眼镜等智能眼镜。
[0003]在现有技术中,可利用智能眼镜来生成全息键盘、全息屏幕等虚拟界面,并通过控制器或者特殊的传感器设备来确定用户是否与虚拟界面进行了交互,这使得用户可在虚拟世界中使用键盘和屏幕。
[0004]但是,在这种方式中,用户仍需与现实世界的控制器或者特殊的传感器设备进行交互,从而,使得用户的沉浸感和真实感较差。因此,一种解决方案亟待被提出。

技术实现思路

[0005]本申请实施例提供一种虚拟场景中的输入识别方法、设备及存储介质,用以使用户无需借助额外的硬件即可执行输入操作,进而降低了硬件成本。
[0006]本申请实施例提供一种虚拟场景中的输入识别方法,应用于智能设备,包括:从双目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟场景中的输入识别方法,应用于智能设备,其特征在于,包括:从双目摄像头拍摄手部得到的双目图像中,识别用户的手部关键点;基于所述双目图像中的手部关键点的位置,利用双目定位算法计算指尖坐标;将所述指尖坐标与所述虚拟场景中的至少一个虚拟输入界面进行对比;若所述指尖位置与所述至少一个虚拟输入界面中的目标虚拟输入界面之间满足设定位置规则,则确定所述用户通过所述目标虚拟输入界面执行输入操作。2.根据权利要求1所述的方法,其特征在于,从双目摄像头拍摄手部得到的双目图像中,识别用户的手部关键点,包括:针对所述双目图像中的任一单目图像,通过目标检测算法,从所述单目图像中,检测出手部区域;从所述单目图像中,分割出所述手部区域对应的前景图像;利用预设的手部关键点识别模型,对所述前景图像进行识别,得到所述单目图像中的手部关键点。3.根据权利要求1所述的方法,其特征在于,基于所述双目图像中的手部关键点的位置,利用双目定位算法计算指尖坐标,包括:针对所述用户的任一手指,判断识别到的所述手部关键点是否包含所述手指的指尖关节点;若所述手部关键点包括所述手指的指尖关节点,则根据所述指尖关节点在所述双目图像中的位置,采用双目定位算法计算所述手指的指尖关节点在所述虚拟场景中的位置,作为所述手指的指尖坐标。4.根据权利要求3所述的方法,其特征在于,还包括:若所述手部关键点不包括所述手指的指尖关节点,则根据所述手指上的可见关键点在所述双目图像中的位置以及执行输入操作时的手指节关联特征,计算所述手指的弯曲角度;根据所述手指的弯曲角度以及所述手指上的可见关键点在所述双目图像中的位置,计算所述手指的指尖坐标。5.根据权利要求4所述的方法,其特征在于,所述手指包括:靠近手掌的第一指节、与所述第一指节连接的第二指节以及与所述第二指节连接的指尖节;根据所述手指上的可见关键点在所述双目图像中的位置以及执行输入操作时的手指节关联特征,计算所述手指的弯曲角度,包括:确定所述手指的所述第一指节、所述第二指节以及所述指尖节各自的实际长度;通过识别到的所述手部关键点的坐标,计算所述第一指节、所述第二指节以及所述指尖节各自的观测长度;若所述第二指...

【专利技术属性】
技术研发人员:潘仲光魏铂秦
申请(专利权)人:中数元宇数字科技上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1