【技术实现步骤摘要】
本专利技术为虚拟触控，具体涉及一种三维空间瞄准虚拟物体的方法、头显设备和存储介质。
技术介绍
1、extended reality (xr)扩展现实，是指通过计算机技术和可穿戴设备产生的一个真实与虚拟组合、可人机交互的环境，是增强现实ar、虚拟现实vr、混合现实mr等多种形式的统称。随着(xr)扩展现实在各行各业的普及和发展，各种xr智能眼镜应运而生，通过虚拟键盘和三维触控的输入来实现用户和系统的交互。
2、ar/vr/mr等xr眼镜的应用需要通过瞄准远处空间里某虚拟物体来实施操作。该虚拟物体可以是键盘、画板、应用窗或根据空间计算渲染出来的多边立体物。用户需要瞄准某个虚拟区域（如按键）来操作（如点击、拖拽、旋转等动作）。实体的瞄准工具有外设把柄、指环、腕环、手机或遥控器。目前虚拟瞄准的方法有三类：
3、（1）眼球追踪：通过眼镜内眼球追踪传感器来追踪双目眼球的凝视点来计算聚焦虚拟物体目标区域。眼球追踪的好处是不需要调整瞄靶方向，也就不存在因为不知道应该聚焦哪里而产生复影的问题。这也是为何一些眼镜公司采用昂贵的眼球追踪传感器，这样就没有瞄靶和虚拟目标物体的选择问题，只需要双目聚焦目标。但是坏处是用户要时时刻刻用双眼盯着目标物体。长时间操作会造成眼睛疲劳。
4、（2）射线追踪：在用户身体或眼镜衍生位置设置起点（像光源）和用摄像头可以捕捉的物体作为瞄靶（手关节点或手柄）形成三维射线，再将射线向外延伸到虚拟物体目标区域。射线追踪的好处是可以清晰看到自己的瞄靶指向哪个方向以及这个指向有没有射击到目标。用户
5、（3）中央视点：最简单也是最原始的方法是在眼镜左右屏幕中央各画一个视点，视点正交方向触碰的虚拟物体表面区域就是要操作的目标位置。中央视点的好处是没有视差，两眼看到的视点都在正中间。中央视点的坏处是必须用头部的移动和旋转来瞄准正交方向位于中央的虚拟物体目标区域，对头部的负担很大。
6、如果不用眼球追踪传感器又希望可以瞄准非双目中心的虚拟目标物体时，就只能用起点+瞄靶画射线的方法来引导用户眼睛向被瞄准的虚拟目标物体看，让双目逐步聚焦到虚拟目标物体。这样做虽然可以省掉眼球追踪传感器的成本和防止眼部疲劳，但是射线追踪会造成用户双目不断的追逐射线（起点到瞄靶和射线延伸方向）来回聚焦寻找虚拟目标物体和对准瞄靶。这也会间接造成眼部疲劳。
技术实现思路
1、本专利技术的目的在于提供一种三维空间瞄准虚拟物体的方法、头显设备和存储介质，不需要使用昂贵的眼球追踪传感器，也不需要来回调整瞄准方向，更不需要依赖转动头部来瞄准目标，就能在三维空间实现虚拟目标物体的瞄准。
2、本专利技术三维空间瞄准虚拟物体的方法，应用于xr扩展现实可穿戴设备的系统，包括如下步骤：
3、步骤1、以手为操控体，将该手上一个或多个关节点位置计算得到一个预设位置设为瞄靶，或者将手关节点结合手握物体上的关键点换算得到的预设位置设为瞄靶；
4、步骤2、系统在左右摄像视频中同时出现操控体时，以此操控体计算得到左瞄靶(xl,yl)和右瞄靶(xr,yr)，并以左瞄靶和右瞄靶三角计算得到三维瞄靶位置，以眼镜中心点为起点经过三维瞄靶沿着正交方向往无限远处形成正交线，并在正交线的无限远处渲染一个无视差的视点光标；
5、步骤3、用户透过眼镜屏幕不看瞄靶或操控体，通过操控体移动视点光标来瞄准虚拟物体，用户只看视点光标，若正交线未与虚拟物体交叉，则继续按照步骤2的方式渲染一个无视差的视点光标；若正交线与虚拟物体交叉，则将视点光标从无限远处拉回到虚拟物体面向眼镜的表面呈现交叉点的位置，渲染一个与该交叉点相同位置且同视差的视点光标，或以不遮挡虚拟物体的方式表示已触碰或已交叉状态。
6、所述视点光标是一种指向触发点或与虚拟物体交叉位置的图形或图标。
7、所述瞄靶是基于关节点结合手握物体上的关键点的空间位置计算得到的任何位置。
8、所述虚拟物体包括可操控和不可操控的物体，可操控的物体包括虚拟按键、虚拟按钮、虚拟把手、虚拟屏上的可操作控件。
9、采用如下步骤计算关节点的空间位置：
10、将左右摄像头的中心点l和r的连线作为x轴，假定在左摄像头视场中，左摄像头的中心点l与待计算空间位置的目标点的连线与x轴的夹角为，则目标点的夹角为，同理，在右摄像头视场中，右摄像头的中心点r与待计算空间位置的目标点的连线与x轴的夹角为,则目标点的夹角为；
11、设左右摄像头两中心点l和r的视差距离为d,计算目标点的位置(x,z)，具体为：
12、若目标点落在左右摄像头两中心点l和r之间，则
13、
14、若目标点落在左摄像头中心点l的左侧，则
15、
16、若目标点落在右摄像头中心点r的右侧，则
17、
18、定义y的原点为显示屏视频帧图像最下方的任一点，取目标点在视频帧图像中的像素位置y值作为目标点空间位置(x,y,z)中的y值。
19、还包括触控步骤：预设食指尖触碰拇指指尖为抓住手势，用于抓住可操作的虚拟物体，当食指尖离开已触碰的拇指指尖为释放手势，当识别出从抓住手势到释放手势，表示对可操作的虚拟物体实施点击操作，当识别出持续的抓住手势表示正在对可操作的虚拟物体实施拖拽或旋转操作，在实施了拖拽或旋转操作后识别到释放手势，表示完成拖拽或旋转操作。
20、所述触控步骤中判断是否触碰的具体做法为：
21、设置待触碰手指的触碰区域宽度为w,在平行于x轴向左w/2和向右w/2处，取左触碰判断点wl和右触碰判断点wr，即左触碰判断点wl和右触碰判断点wr为触碰区域左右两边界对应的点；系统获取有视差距离的n个图像视频流，其中n为整数，，针对相同帧的n个图像，追踪并判断所有图像中触碰指尖t的位置是否落入触碰区域对应的左触碰判断点wl和右触碰判断点wr之间，若是落入，计算每个图像内的三个目标点的位置值,所述目标点包括左触碰判断点wl、触碰指尖t和右触碰判断点wr，取三个目标点的位置值中的x轴值（wrx,tx,wlx）,分别计算wl与t的差值和t与wr的差值的比值(tx-wrx):(wlx-tx)，仅当n个图像的所有比值皆相同时，则表示触碰指尖t触碰到待触碰手指，否则表示未触碰。
22、另外一种三维空间瞄准虚拟物体的方法，应用于xr扩展现实可穿戴设备的系统的写字或画图或雕刻类的应用中，包括如下步骤：
23、步骤1、以手为操控体，将该手上一个或多个关节点位置计算得到一个预设位置设为瞄靶，或者将手关节点结本文档来自技高网...
【技术保护点】
1.三维空间瞄准虚拟物体的方法，应用于XR扩展现实可穿戴设备的系统，其特征在于包括如下步骤：
2.根据权利要求1所述的三维空间瞄准虚拟物体的方法，其特征在于：所述视点光标是一种指向触发点或与虚拟物体交叉位置的图形或图标。
3.根据权利要求1所述的三维空间瞄准虚拟物体的方法，其特征在于：所述瞄靶是基于关节点结合手握物体上的关键点的空间位置计算得到的任何位置。
4.根据权利要求1所述的三维空间瞄准虚拟物体的方法，其特征在于：所述虚拟物体包括可操控和不可操控的物体，可操控的物体包括虚拟按键、虚拟按钮、虚拟把手、虚拟屏上的可操作控件。
5.根据权利要求1所述的三维空间瞄准虚拟物体的方法，其特征在于采用如下步骤计算关节点的空间位置：
6.根据权利要求1所述的三维空间瞄准虚拟物体的方法，其特征在于还包括触控步骤：预设食指尖触碰拇指指尖为抓住手势，用于抓住可操作的虚拟物体，当食指尖离开已触碰的拇指指尖为释放手势，当识别出从抓住手势到释放手势，表示对可操作的虚拟物体实施点击操作，当识别出持续的抓住手势表示正在对可操作的虚拟物体实施拖拽或
7.根据权利要求6所述的三维空间瞄准虚拟物体的方法，其特征在于所述触控步骤中判断是否触碰的具体做法为：
8.三维空间瞄准虚拟物体的方法，应用于XR扩展现实可穿戴设备的系统的写字或画图或雕刻类的应用中，其特征在于包括如下步骤：
9.一种头显设备，其特征在于，所述头显设备包括用于摄取目标区域的目标图像的至少两个摄像头；所述头显设备还包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现所述权利要求1至8中任一种三维空间瞄准虚拟物体的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现所述权利要求1至8中任一种三维空间瞄准虚拟物体的方法。
...【技术特征摘要】
1.三维空间瞄准虚拟物体的方法，应用于xr扩展现实可穿戴设备的系统，其特征在于包括如下步骤：
2.根据权利要求1所述的三维空间瞄准虚拟物体的方法，其特征在于：所述视点光标是一种指向触发点或与虚拟物体交叉位置的图形或图标。
3.根据权利要求1所述的三维空间瞄准虚拟物体的方法，其特征在于：所述瞄靶是基于关节点结合手握物体上的关键点的空间位置计算得到的任何位置。
4.根据权利要求1所述的三维空间瞄准虚拟物体的方法，其特征在于：所述虚拟物体包括可操控和不可操控的物体，可操控的物体包括虚拟按键、虚拟按钮、虚拟把手、虚拟屏上的可操作控件。
5.根据权利要求1所述的三维空间瞄准虚拟物体的方法，其特征在于采用如下步骤计算关节点的空间位置：
6.根据权利要求1所述的三维空间瞄准虚拟物体的方法，其特征在于还包括触控步骤：预设食指尖触碰拇指指尖为抓住手势，用于抓住可操作的虚拟物体，当食指尖离开已触碰的拇指指尖为释放手势，当识别出从抓...
【专利技术属性】
技术研发人员：潘仲光，
申请(专利权)人：大连三通科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。