一种以使用者躯干作为参考系的虚拟现实人机交互方法技术

一种以使用者躯干作为参考系的虚拟现实人机交互方法，包括以下步骤：1)在虚拟现实眼镜上使用一个或多个摄像头(RGB摄像头，红外摄像头或者深度摄像头)，或在使用者躯干上放置6Dof传感器：2)通过这些摄像头或者6Dof传感器的信息，得到虚拟现实眼镜到使用者躯干的相对位置矢量相对位置矢量所指的位置即是新的参考系相对于虚拟现实眼镜的位置；3)以这个新的参考系为参考设计虚拟对象的位置矢量通过矢量相加得到矢量通过矢量相加得到矢量即是虚拟现实眼镜中显示的虚拟对象的位置。本发明专利技术引入一个新的参考系，这个参考系是以使用者躯干的位置来确定的，以这个新的参考系来设计人机交互的虚拟对象的位置。人机交互的虚拟对象的位置。人机交互的虚拟对象的位置。

【技术实现步骤摘要】
一种以使用者躯干作为参考系的虚拟现实人机交互方法


[0001]本专利技术属于虚拟现实应用
，涉及参考系设计，具体涉及一种以使用者躯干作为参考系的虚拟现实人机交互方法。

技术介绍

[0002]目前大部分虚拟现实眼镜会用到inside
‑
out tracking(内向外追踪技术)。通过固定在虚拟现实眼镜上的单个或多个摄像头获得使用者外部的环境信息，再利用SLAM算法并结合虚拟现实眼镜中的3Dof(Degree of freedom自由度)或者6Dof传感器的数据计算得到虚拟现实眼镜在外部环境中的相对位置信息。SLAM是Simultaneous Localization and Mapping的缩写，意为“即时定位与地图构建”。它是指运动物体根据传感器的信息，一边计算自身位置，一边构建环境地图的过程。目前，SLAM的应用领域主要有机器使用者、虚拟现实和增强现实。其用途包括传感器自身的定位，以及后续的路径规划、场景理解)。
[0003]有了外部环境的信息，虚拟现实眼镜确定其相对于外部环境的空间位置，就可以用下列几种方式设置虚拟现实眼镜中虚拟对象的位置：
[0004]以外部环境为参考系，虚拟对象的空间位置是根据其与外部环境的相对位置而设置的。
[0005]以虚拟现实眼镜(使用者的头)为参考系，虚拟对象的空间位置是根据其与眼镜本体的相对位置设置的。
[0006]特别的也可以通过追踪使用者的双手或者配套的手柄等物体的位置，以手的位置或者手柄的位置来设置虚拟对象的空间位置。r/>[0007]目前，以上所述的虚拟现实眼镜的定位方案以及相应的人机交互的设计在“固定场所”中的有很好的使用体验，但还是有不完备的地方。
[0008]首先，在“固定场所”使用虚拟现实眼镜，如客厅，办公室等，通常来说眼镜里渲染的画面通常是超过人眼的可视范围的，使用者是可以通过头部的转动来获取更多的虚拟画面信息。使用者看到的虚拟对象是以之前所述的几种参考系来设计放置的。在现有的一些应用场景下，比如可以在使用者的眼前虚拟出三个显示器，分别在使用者的左中右三个位置。如图1所示，三个显示器放置的空间位置是以外部环境为参考，首先通过inside
‑
out定位技术得到虚拟现实眼镜相对于外部环境的位置矢量然后根据交互需要设置虚拟显示器相对于外界环境的位置矢量这时虚拟现实眼镜中的画面就可以通过位置矢量来确定。使用者可以通过向左转头或向右转头看到左边虚拟显示器或者右边虚拟显示器的内容，也可以移动自己的位置，在不同的地方看虚拟空间中的这三个虚拟显示器。因为这三个虚拟显示器是以外界为参考系固定在空间中的特定位置的，当使用者移动到另外一个确定位置时，这三个虚拟显示器并不会跟随使用者的移动而移动，它们依然固定在空间中的特定位置。所以当使用者移动到别的位置以后，就得根据需要把三个虚拟显示器重新放置在使用者的前方。当使用者的位置是相对固定的时候，对于上述的情况现有
的一种处理方案是，初始的时候就把三个虚拟显示器放置在使用者的正前方，虚拟显示器的初始位置是以使用者头的位置为参考系放置的。当使用者左右转头的时候通过虚拟现实眼镜中的陀螺仪探测出使用者的头部转动的角度，然后根据使用者头部的转动角度来渲染画面，这样也可以实现向左转头看到左边的虚拟显示器，向右转头看到右边的虚拟显示器。但当使用者在不断地移动过程中，比如转身，这时由于虚拟现实眼镜无法区分到底是头的转动和还是使用者躯干的转动，所以在渲染虚拟显示器的时候就会出现问题。这时只有等使用者的位置确定后再重新复位确定虚拟显示器的位置。
[0009]为了得到更好的使用体验，我们希望当使用者在发生移动以后，或者移动过程中，这三个虚拟显示器可以跟随使用者的移动而移动的同时，依然可以实现向左转头看见左边的虚拟显示器，向右转头看见右边的虚拟显示器，不转头时可以看见中间的虚拟显示器。更一般的情况下，把虚拟显示器替换成更一般的各种各样的虚拟对象，我们如何实现虚拟对象可以跟随使用者移动，与此同时可以通过头的转动观察到上下左右的虚拟对象？
[0010]再者，当使用者在开放空间使用虚拟现实眼镜，尤其是AR增强现实眼镜的发展目标是使用者在日常生活中也可以长时间佩戴。在这种情况下，外部环境是在不断变化的。如图1所示，此时如果没有一个确定的位置矢量则位置矢量也无法确定，则决定虚拟对象与虚拟现实眼镜相对位置的矢量也就无法给出。也就是说，在这种情况下我们缺少一个用来放置虚拟对象的参考系。此时，能实现的交互模式就是直接给出一个默认的矢量在这种情况下虚拟现实眼镜中的画面就是固定的了，并不会随着使用者的移动或者头的转动而发生变化。以上面提到的三个虚拟显示器为例，此时使用者只能看到正中间的虚拟显示器，不会因为头的转动而看到两侧的两个虚拟显示器。这时虚拟现实眼镜的交互效果会大打折扣。为了得到一个好的虚拟现实交互效果，我们就需要一个新的参考系来进行人机交互设计。
[0011]综上所述：
[0012]1、当使用者在固定场所中使用虚拟现实眼镜，为了实现特定的虚拟现实交互效果，现有的用来确定虚拟对象位置的参考系是不够的。
[0013]2、当使用者在开放空间中使用虚拟现实眼镜，在不断移动的过程中，外部环境不断变化时，外部参考系不再有效(缺少确定上图中提到的位置矢量的方法)。需要引入新的参考系来实现好的虚拟现实交互效果。

技术实现思路

[0014]为了克服上述现有技术的不足，本专利技术的目的是提供一种以使用者躯干作为参考系的虚拟现实人机交互方法，引入一个新的参考系，这个参考系是以使用者躯干的位置来确定的，以这个新的参考系来设计人机交互的虚拟对象的位置。
[0015]躯干的定义：人体的外形从大体上可以分为头部、四肢以及躯干几个部分，除了头部和四肢之外的人体部分就可以称为躯干。
[0016]为了实现上述目的，本专利技术采用的技术方案是：
[0017]一种以使用者躯干作为参考系的虚拟现实人机交互方法，其特征在于，包括以下步骤：
[0018]1)在虚拟现实眼镜上使用一个或多个摄像头，或在使用者躯干上放置6Dof传感器：
[0019]2)通过这些摄像头或者6Dof传感器的信息，得到虚拟现实眼镜到使用者躯干的相对位置矢量相对位置矢量所指的位置即是新的参考系相对于虚拟现实眼镜的位置；
[0020]3)以这个新的参考系为参考设计虚拟对象的位置矢量通过矢量相加得到矢量通过矢量相加得到矢量即是虚拟现实眼镜中显示的虚拟对象的位置。
[0021]进一步，所述的虚拟现实眼镜包含增强现实眼镜、混合现实眼镜。
[0022]进一步，所述的摄像头用来探测虚拟现实眼镜相对于使用者躯干的位置，可对准使用者胸部，颈部，或者肩膀等位置，当使用者的头部相对使用者躯干发生转动或移动时，摄像头的画面会发生明显变化，使用SLAM算法或其他图像处理算法处理通过摄像头得到的信息，便可计算出使用者躯干与虚拟现实眼镜之间的相对位置矢量的变化。
[0023]进一步，所述的摄像头为RGB摄本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种以使用者躯干作为参考系的虚拟现实人机交互方法，其特征在于，包括以下步骤：1)在虚拟现实眼镜上使用一个或多个摄像头，或在使用者躯干上放置6Dof传感器：2)通过这些摄像头或者6Dof传感器的信息，得到虚拟现实眼镜到使用者躯干的相对位置矢量相对位置矢量所指的位置即是新的参考系相对于虚拟现实眼镜的位置；3)以这个新的参考系为参考设计虚拟对象的位置矢量通过矢量相加得到矢量通过矢量相加得到矢量即是虚拟现实眼镜中显示的虚拟对象的位置。2.根据权利要求1所述的一种以使用者躯干作为参考系的虚拟现实人机交互方法，其特征在于，所述的虚拟现实眼镜包含增强现实眼镜、混合现实眼镜。3.根据权利要求1所述的一种以使用者躯干作为参考系的虚拟现实人机交互方法，其特征在于，所述的摄像头用来探测虚拟现实眼镜相对于使用者躯干的位置，可对准使用者胸部，颈部，或者肩膀等位置，当使用者的头部相对使用者躯干发生转动或平移时，摄像头的画面会发生明显变化，使用SLAM算法或其他图像处理算法处理通过摄像头得到的信息，便可计算出使用者躯干与虚拟现实眼镜之间的相对位置矢量的变化。4.根据权利要求1所述的一种以使用者躯干作为参考系的虚拟现实人机交互方法，其特征在于，所述的摄像头为RGB摄像头，红外摄像头或者深度摄像头。5.根据权利要求1所述的一种以使用者躯干作为参考系的虚拟现实人机交互方法，其特征在于，所述的使用6Dof传感器，是把6Dof传感器固定在使用者躯干上，由于虚拟现实眼镜中也有6Dof传感器，躯干上的6Dof传感器实时地把测量的数据无线传输到虚拟现实眼镜中，通过对比两个6Dof传感器的数据，就可以区分使用者头和使用者躯干的相对移动，计算可得使用者头与躯干的相对位置矢量的变化。6.根据权利要求3所述的一种以使用者躯干作为参考系的虚拟现实人机交互方法，其特征在于，包括以下步骤：(1)使用单摄像头采样，一个广角RGB摄像头，摄像头安置在虚拟现实眼镜上；摄像头的画面畸变函数K(ij)已知，用来矫正摄像头所得画面,其中i,j用来标记摄像头画面中像素的位置；一个半径为r的标记物；一个基准参数，即标记物在摄像头正前方d1距离处标记物像的像素宽度p1；(2)当使用者头相对于使用者躯干移动时，摄像头的画面中标记物像的位置也会发生变化，得到摄像头生成的原始像画面后，先用畸变函数进行矫正，得到矫正后的画面，标记物像的位置由初始的位置a变到位置b；(3)从摄像头的画面中可以得到，标记物在初始位置a处的像素宽度p1；标记物移动到b处的像素宽度p2；以及标记物位置的变化量像素宽度p3，p4，然后根据摄像头成...

【专利技术属性】
技术研发人员：燕熠，
申请(专利权)人：燕熠，
类型：发明
国别省市：