图腾在用户交互系统中的融合姿势的基于未融合姿势的漂移校正技术方案

本发明专利技术总体上涉及一种用户交互系统，其具有用于用户佩戴的头部单元和用户握在手中并且确定由用户看到的虚拟对象的位置的图腾。融合例程基于EM波和图腾IMU数据的组合来生成图腾在世界系中的融合位置。融合姿势可能由于传感器模型失配而随时间漂移。未融合姿势确定建模器例行地建立图腾相对于世界系的未融合姿势。当融合姿势与未融合姿势之间的差异大于预定最大距离时，声明漂移。

【技术实现步骤摘要】
【国外来华专利技术】图腾在用户交互系统中的融合姿势的基于未融合姿势的漂移校正相关申请的交叉引用本申请要求于2018年8月3日提交的美国临时专利申请No.62/714,609和2019年3月13日提交的美国临时专利申请No.62/818,032的优先权，其全部内容通过引用并入本文。
本专利技术涉及一种具有图腾(totem)的用户交互系统，该图腾限定由用户感知到的虚拟对象的六自由度(“6dof”)姿势或姿势。
技术介绍
现代计算和显示技术已经促进了包括“增强现实”观看装置的用户交互系统的开发。这样的观看装置通常具有头部单元，该头部单元具有头部单元主体，该头部单元主体可安装到用户的头部并且经常包括两个波导，用户的每个眼睛前面各有一个。波导是透明的，使得来自真实世界对象的环境光可以传输通过波导，并且用户可以看到真实世界对象。每个波导还用于将来自投射器的投射光传输到用户的相应眼睛。投射光在眼睛的视网膜上形成图像。因此，眼睛的视网膜接收环境光和投射光。用户同时看到真实世界对象和由投射光创建的一个或多个虚拟对象。这种用户交互系统通常包括图腾。例如，用户可以将图腾握在他们的右手中，并且在三维空间中以六个自由度来移动图腾。虚拟对象可以被用户感知为被附接到图腾并且在三维空间中随图腾移动，或者虚拟对象可以是对撞击壁或撞击用户在壁上移动的另一对象的光束的感知。对于虚拟对象要保持在其相对于图腾的现实姿势上，这是重要的。例如，如果图腾表示球拍的手柄并且虚拟对象表示球拍的头部，则球拍的头部必须随时间的推移而保持“被附接到”球拍的手柄。
技术实现思路
本专利技术提供了一种用户交互系统，包括：图腾，其具有图腾主体、在所述图腾主体上的电磁(EM)发射器、以及位于所述图腾上的图腾惯性测量单元(IMU)，该图腾惯性测量单元用于生成由所述图腾的移动引起的图腾IMU信号；头部单元，其具有头部单元主体、以及在所述头部单元主体上的EM接收器，该EM接收器用于接收由所述EM发射器发射的EM波，所述EM波指示所述图腾的位置；处理器；被连接到所述处理器的存储装置；在所述存储装置上并且可由所述处理器执行的一组指令。该组指令包括：世界系；被连接到所述EM接收器和所述图腾IMU的融合例程，其用于基于所述EM波、所述头部单元姿势和所述图腾IMU数据的组合来生成所述图腾在所述世界系中的融合姿势；未融合姿势确定建模器，其确定所述图腾相对于所述头部单元的姿势和所述头部单元相对于所述世界系的姿势，以建立所述图腾相对于所述世界系的未融合姿势；被连接到所述融合姿势确定建模器和所述未融合姿势确定建模器的比较器，其用于将所述融合姿势与所述未融合姿势进行比较；被连接到所述比较器的漂移声明器，其用于仅在所述融合姿势距所述未融合姿势大于预定距离的情况下声明漂移；被连接到所述漂移声明器的位置校正例程，其用于仅在所述漂移被声明的情况下重置所述图腾IMU的姿势以与所述未融合位置匹配；数据源，其用于携带图像数据；以及被连接到所述数据源的显示系统，其用于使用所述图像数据向用户显示虚拟对象，所述虚拟对象的位置是基于所述图腾的所述融合位置。本专利技术还提供了一种用户交互系统，包括：用图腾主体上的EM发射器来发射电磁(EM)波；用所述图腾主体上的图腾IMU生成由所述图腾的移动引起的图腾惯性测量单元(IMU)信号；将头部单元主体定位在用户的头部上；由所述头部单元主体上的EM接收器接收由所述EM发射器发射的所述EM波，所述EM波指示所述图腾的姿势；存储世界系；用处理器执行融合例程以基于所述EM波、头部单元姿势和图腾IMU数据的组合来生成所述图腾在所述世界系中的融合姿势；用所述处理器执行未融合姿势确定建模器，所述未融合姿势确定建模器确定所述图腾相对于所述头部单元的姿势和所述头部单元相对于所述世界系的位置，以建立所述图腾相对于所述世界系的未融合姿势；用所述处理器执行比较器，以将所述融合姿势与所述未融合姿势进行比较；用所述处理器执行漂移声明器，以仅在所述融合姿势距所述未融合姿势大于预定姿势的情况下声明漂移；用所述处理器执行姿势校正例程，以仅在所述漂移被声明的情况下重置所述图腾IMU的姿势以与所述未融合姿势匹配；接收来自数据源的图像数据；以及利用被连接到所述数据源的显示系统并使用所述图像数据向用户显示虚拟对象，所述虚拟对象的位置是基于所述图腾的所述融合姿势。附图说明通过参考附图进一步描述本专利技术，其中：图1是示出了根据本专利技术的实施例的用户交互系统的透视图；图2是示出了用户交互系统的组件的框图，该用户交互系统涉及头部单元和用于头部单元的视觉算法；图3是用户交互系统的框图，该用户交互系统涉及图腾和用于图腾的视觉算法；图4是示出了用户如何看到并感知真实和虚拟对象的前视图；图5是在虚拟对象已经在用户的视图内漂移之后的与图4类似的视图；图6是示出了融合位置随时间的漂移的透视图；图7是示出了如何使用距离计算来校正漂移的曲线图；图8是示出了如何通过检测融合位置与未融合位置之间的差异来校正漂移的曲线图；图9是示出了如何校正漂移的透视图；以及图10是根据本专利技术的一个实施例的可以在本专利技术系统中找到应用的计算机形式的机器的框图。具体实施方式根据本专利技术的实施例，附图中的图1示出了用户10、用户交互系统12、桌子形式的真实世界对象14和虚拟对象16，但是该虚拟对象16从图的角度不可见，但对用户10可见。用户交互系统12包括头部单元18、腰带包20、网络22和服务器24。头部单元18包括头部单元主体26和显示系统28。头部单元主体26具有适合用户10的头部的形状。显示系统28固定在头部单元主体26上。腰带包20具有处理器和连接到该处理器的存储装置。视觉算法被存储在存储装置上，并且可由处理器执行。腰带包20通过电缆连接30通信地连接到显示系统28。腰带包20还包括网络接口装置，该网络接口装置允许腰带包20通过链路32与网络22无线连接。服务器24连接到网络22。在使用中，用户10将头部单元主体26固定到他们的头部。显示系统28包括透明的光波导(未示出)，使得用户10可以通过波导看到真实世界的对象14。腰带包20可以通过网络22和链路32从服务器24下载图像数据。腰带包20通过电缆连接30将图像数据提供给显示系统28。显示系统28具有基于图像数据产生光的一个或多个投射器。光通过一个或多个光波导传播到用户10的眼睛。每个波导在相应眼睛的视网膜上以特定焦距产生光，以使得眼睛看到在显示系统28后面一定距离处的虚拟对象16。因此，眼睛在三维空间中看到虚拟对象16。另外，为每只眼睛产生略有不同的图像，以使得用户10的大脑在三维空间中感知虚拟对象16。因此，用户10在三维空间中看到被虚拟对象16增强的真实世界对象14。用户交互系统12还包括图腾34。在使用时，用户10将图腾34握在他们两只手中的一只手中。虚拟对象16基于图腾34的定位而被定位在三维空间中。作为示例，图腾34可以是球拍的手柄，以及本文档来自技高网...

【技术保护点】
1.一种用户交互系统，包括：/n图腾，其具有：/n图腾主体；/n在所述图腾主体上的电磁(EM)发射器；以及/n位于所述图腾上的图腾惯性测量单元(IMU)，其用于生成由所述图腾的移动引起的图腾IMU信号；/n头部单元，其具有：/n头部单元主体；以及/n在所述头部单元主体上的EM接收器，其用于接收由所述EM发射器发射的EM波，所述EM波指示所述图腾的位置；/n处理器；/n被连接到所述处理器的存储装置；/n在所述存储装置上并且可由所述处理器执行的一组指令，包括：/n世界系；/n被连接到所述EM接收器和所述图腾IMU的融合例程，其用于基于所述EM波、所述头部单元姿势和所述图腾IMU数据的组合来生成所述图腾在所述世界系中的融合姿势；/n未融合姿势确定建模器，其确定所述图腾相对于所述头部单元的姿势和所述头部单元相对于所述世界系的姿势，以建立所述图腾相对于所述世界系的未融合姿势；/n被连接到所述融合姿势确定建模器和所述未融合姿势确定建模器的比较器，其用于将所述融合姿势与所述未融合姿势进行比较；/n被连接到所述比较器的漂移声明器，其用于仅在所述融合姿势距所述未融合姿势大于预定距离的情况下声明漂移；/n被连接到所述漂移声明器的位置校正例程，其用于仅在所述漂移被声明的情况下重置所述图腾IMU的姿势以与所述未融合位置匹配；/n数据源，其用于携带图像数据；以及/n被连接到所述数据源的显示系统，其用于使用所述图像数据向用户显示虚拟对象，所述虚拟对象的位置是基于所述图腾的所述融合位置。/n...

【技术特征摘要】
【国外来华专利技术】20180803 US 62/714,609;20190313 US 62/818,0321.一种用户交互系统，包括：
图腾，其具有：
图腾主体；
在所述图腾主体上的电磁(EM)发射器；以及
位于所述图腾上的图腾惯性测量单元(IMU)，其用于生成由所述图腾的移动引起的图腾IMU信号；
头部单元，其具有：
头部单元主体；以及
在所述头部单元主体上的EM接收器，其用于接收由所述EM发射器发射的EM波，所述EM波指示所述图腾的位置；
处理器；
被连接到所述处理器的存储装置；
在所述存储装置上并且可由所述处理器执行的一组指令，包括：
世界系；
被连接到所述EM接收器和所述图腾IMU的融合例程，其用于基于所述EM波、所述头部单元姿势和所述图腾IMU数据的组合来生成所述图腾在所述世界系中的融合姿势；
未融合姿势确定建模器，其确定所述图腾相对于所述头部单元的姿势和所述头部单元相对于所述世界系的姿势，以建立所述图腾相对于所述世界系的未融合姿势；
被连接到所述融合姿势确定建模器和所述未融合姿势确定建模器的比较器，其用于将所述融合姿势与所述未融合姿势进行比较；
被连接到所述比较器的漂移声明器，其用于仅在所述融合姿势距所述未融合姿势大于预定距离的情况下声明漂移；
被连接到所述漂移声明器的位置校正例程，其用于仅在所述漂移被声明的情况下重置所述图腾IMU的姿势以与所述未融合位置匹配；
数据源，其用于携带图像数据；以及
被连接到所述数据源的显示系统，其用于使用所述图像数据向用户显示虚拟对象，所述虚拟对象的位置是基于所述图腾的所述融合位置。


2.根据权利要求1所述的用户交互系统，还包括：
渲染引擎，其具有被连接到数据通道以接收所述图像数据的输入和到所述显示系统的输出，所述渲染引擎向所述显示系统提供数据流，所述显示系统包括处于所述融合姿势的所述虚拟对象。


3.根据权利要求1所述的用户交互系统，其中，所述图腾IMU减少所述虚拟对象的抖动。


4.根据权利要求1所述的用户交互系统，其中，所述图腾IMU包括陀螺仪和加速度计中的至少一种。


5.根据权利要求1所述的用户交互系统，其中，所述融合例程以第一频率执行，以及所述未融合姿势确定建模器以不同于所述第一频率的第二频率执行。


6.根据权利要求1所述的用户交互系统，其中，所述EM接收器检测所述EM发射器相对于所述EM接收器的六自由度(“6dof”)移动。


7.根据权利要求1所述的用户交互系统，其中，所述预定距离小于100mm。


8.根据权利要求1所述的用户交互系统，还包括：
在所述头部单元主体上的相机，所述相机被定位以捕获所述图腾的图像；以及
同时定位和地图构建(SLAM)系统，其被连接到所述相机以接收所述图腾的图像，所述SLAM系统基于所述图腾的图像来确定所述未融合姿势。


9.根据权利要求1所述的用户交互系统，其中，所述显示系统包括：
被固定到所述头部单元主体的透明波导，其允许来自所述图腾的光通过以到达佩戴所述头部单元主体的用户的眼睛；以及
将所述...

【专利技术属性】
技术研发人员：万胜，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国;US