VR系统及其定位追踪方法技术方案

本发明专利技术提供一种VR系统及其定位追踪方法，VR系统包括头戴显示器和手柄，头戴显示器包括第一惯性传感器、第一处理器和多个第一拍摄装置，手柄包括第二惯性传感器和多个第二拍摄装置，第一拍摄装置采集头戴显示器坐标系外部环境图像，第一惯性传感器采集头戴显示器的惯性数据，第二拍摄装置采集手柄坐标系外部环境图像，第二惯性传感器采集手柄的惯性数据，第一处理器通过头戴显示器的惯性数据及其外部环境图像获得头戴显示器在世界坐标系下6DOF数据，通过手柄惯性数据及其外部环境图像获得手柄在世界坐标系下6DOF数据，生成头戴显示器上手柄端的6DOF数据。上述系统及方法能够高精度低延时获得头戴显示器上手柄6DOF数据。低延时获得头戴显示器上手柄6DOF数据。低延时获得头戴显示器上手柄6DOF数据。

【技术实现步骤摘要】
VR系统及其定位追踪方法


[0001]本专利技术涉及虚拟现实技术领，尤其涉及一种VR系统及其定位追踪方法。

技术介绍

[0002]现有的All
‑
in
‑
one VR(Virtual Reality，VR)6DOF一体机设计中，大部分是支持头部6DOF(Six Degrees of Freedom)追踪，通过光学，超声波，电磁等方案判断HMD(头戴显示器)和手柄的相对位置关系，在当前HMD 6DOF的基础上，通过相对关系的映射，把手柄的位置转换成手柄的世界坐标系。光学手柄存在FOV(视场角)的问题，在超出HMD camera的FOV外，会引入较大误差；超声波方案存在遮挡和反射问题，对无线同步的要求很高，无线波动也会引入一定的误差；电磁方案可以实现360度追踪，但受外界磁场影响较大，另外设备与设备之间的相互干扰也是一个困难的问题，通常情况下不支持很多设备同时工作。
[0003]电磁和超声波的相对位置转换是基于HMD上超声波和电磁接收器的位置，对产品组装一致性有很高的要求，后期使用中跌落等都会影响产品精度。

技术实现思路

[0004]本专利技术提供一种高精度低延时获得头戴显示器上手柄6DOF数据的VR系统及其定位追踪方法。
[0005]为实现上述目的，本专利技术提供的一种VR系统，包括头戴显示器和手柄，所述头戴显示器包括第一惯性传感器、第一处理器和多个第一拍摄装置，所述手柄包括第二惯性传感器和多个第二拍摄装置，所述第一拍摄装置采集头戴显示器坐标系的外部环境图像，所述第一惯性传感器采集头戴显示器的惯性数据，所述第二拍摄装置采集手柄坐标系的外部环境图像，所述第二惯性传感器采集手柄的惯性数据，所述第一处理器通过头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器坐标系的外部环境图像获得头戴显示器在世界坐标系下的6DOF数据，通过第二拍摄装置拍摄的手柄坐标系的外部环境图像和第二惯性传感器采集的手柄的惯性数据获得手柄在世界坐标系下的6DOF数据，生成头戴显示器上手柄端的6DOF数据。
[0006]可选地，还包括第一时间同步模块，将头戴显示器作为主设备，手柄作为从设备，通过数据信号在主设备和从设备之间的传输获得头戴显示器和手柄的时间偏差，实现头戴显示器和手柄的时间同步。
[0007]可选地，所述头戴显示器还包括第一无线传输模块，所述手柄还包括第二无线传输模块，在物理层解析和回复数据信号。
[0008]可选地，所述第一无线传输模块在T1时刻发送同步信号，第二无线传输模块在T2时刻接收到同步信号，第一无线传输模块将包含T1时刻的主设备数据包发送到从设备；延时设定时间后，在T3时刻，第二无线传输模块将包含T3时刻的从设备数据包发送给主设备，在T4时刻，主设备接收到从设备数据包；第一无线传输模块将包含T4时刻主设备数据包发送给从设备；所述第一时间同步模块通过下式获得头戴显示器和手柄的时间偏差T0
[0009]T0＝(T2
‑
T1
‑
T4+T3)/2。
[0010]可选地，还包括第二时间同步模块，通过时间戳对头戴显示器和手柄进行时间同步，所述第二时间同步模块包括：
[0011]第一时间戳添加单元，按照曝光中心点时刻在第一拍摄装置采集的外部环境图像添加第一时间戳；
[0012]第二时间戳添加单元，按照曝光中心点时刻在第二拍摄装置采集的外部环境图像添加第二时间戳；
[0013]第一时间同步单元，通过第一时间戳和第二时间戳的统一对头戴显示器和手柄进行时间同步。
[0014]可选地，所述第二时间同步模块还包括：
[0015]第三时间戳添加单元，基于数据中断在第一惯性传感器采集的头戴显示器的惯性数据中添加第三时间戳，所述第三时间戳减去第一惯性传感器的延时获得误差修正后的第三时间戳；
[0016]第四时间戳添加单元，基于数据中断在第二惯性传感器采集的手柄的惯性数据中添加第四时间戳，所述第四时间戳减去第二惯性传感器的延时获得误差修正后的第四时间戳；
[0017]所述误差修正后的第三时间戳和误差修正后的第四时间戳包含在数据信号中，通过第一时间同步模块对头戴显示器和手柄进行时间同步。
[0018]可选地，还包括第三时间同步模块，根据图像传输延时对头戴显示器和手柄进行时间同步，根据第二拍摄装置采集的环境图像的灰度图像评估第二无线传输模块和第一无线传输模块之间的图像传输延时。
[0019]可选地，所述第一拍摄装置和第二拍摄装置为鱼眼相机。
[0020]为了解决上述问题，本专利技术还提供一种VR系统的定位追踪方法，所述VR系统包括头戴显示器和手柄，所述定位追踪方法包括：
[0021]在头戴显示器上设置多个第一拍摄装置，采集头戴显示器坐标系的外部环境图像；
[0022]在手柄上设置多个第二拍摄装置，采集手柄坐标系的外部环境图像；
[0023]通过第一惯性传感器和第二惯性传感器分别采集头戴显示器和手柄的惯性数据；
[0024]通过头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器坐标系的外部环境图像获得头戴显示器在世界坐标系下的6DOF数据，通过第二拍摄装置拍摄的手柄坐标系的外部环境图像和第二惯性传感器采集的手柄的惯性数据获得手柄在世界坐标系下的6DOF数据，生成头戴显示器上手柄端的6DOF数据。
[0025]可选地，还包括：
[0026]将头戴显示器作为主设备，手柄作为从设备，通过数据信号在主设备和从设备之间的传输获得头戴显示器和手柄的时间偏差，实现头戴显示器和手柄的时间同步。
[0027]本专利技术所述VR系统及其定位追踪方法通过手柄端加入第二拍摄装置采集手柄的外部环境图像，将外部环境图像发送到头戴显示器处理直接生成手柄端的6DOF数据，实现高精度低延时手柄6DOF解决方案。
附图说明
[0028]图1是本专利技术所述VR系统的构成框图；
[0029]图2为本专利技术所述头戴显示器的示意图；
[0030]图3为本专利技术所述手柄的示意图；
[0031]图4为本专利技术所述VR系统的一个具体实施例的示意图；
[0032]图5是本专利技术所述VR系统的定位追踪方法的流程图；
[0033]图6是本专利技术所述头戴显示器和手柄时间同步的一个实施例的示意图；
[0034]图7是本专利技术所述头戴显示器和手柄时间同步的另一个实施例的示意图；
[0035]图8是本专利技术所述头戴显示器和手柄时间同步的第三个实施例的示意图。
[0036]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0037]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0038]头戴显示设备的定位技术有两种，一种是外向内追踪(Outside
‑
inTracking)技术，该技术是目前的主流，但是该技术也存在一些缺点，比如用户的可移动范本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种VR系统，包括头戴显示器和手柄，其特征在于，所述头戴显示器包括第一惯性传感器、第一处理器和多个第一拍摄装置，所述手柄包括第二惯性传感器和多个第二拍摄装置，所述第一拍摄装置采集头戴显示器坐标系的外部环境图像，所述第一惯性传感器采集头戴显示器的惯性数据，所述第二拍摄装置采集手柄坐标系的外部环境图像，所述第二惯性传感器采集手柄的惯性数据，所述第一处理器通过头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器坐标系的外部环境图像获得头戴显示器在世界坐标系下的6DOF数据，通过第二拍摄装置拍摄的手柄坐标系的外部环境图像和第二惯性传感器采集的手柄的惯性数据获得手柄在世界坐标系下的6DOF数据，生成头戴显示器上手柄端的6DOF数据。2.如权利要求1所述的VR系统，其特征在于，还包括第一时间同步模块，将头戴显示器作为主设备，手柄作为从设备，通过数据信号在主设备和从设备之间的传输获得头戴显示器和手柄的时间偏差，实现头戴显示器和手柄的时间同步。3.如权利要求2所述的VR系统，其特征在于，所述头戴显示器还包括第一无线传输模块，所述手柄还包括第二无线传输模块，在物理层解析和回复数据信号。4.如权利要求3所述的VR系统，其特征在于，所述第一无线传输模块在T1时刻发送同步信号，第二无线传输模块在T2时刻接收到同步信号，第一无线传输模块将包含T1时刻的主设备数据包发送到从设备；延时设定时间后，在T3时刻，第二无线传输模块将包含T3时刻的从设备数据包发送给主设备，在T4时刻，主设备接收到从设备数据包；第一无线传输模块将包含T4时刻主设备数据包发送给从设备；所述第一时间同步模块通过下式获得头戴显示器和手柄的时间偏差T0T0＝(T2
‑
T1
‑
T4+T3)/2。5.如权利要求2所述的VR系统，其特征在于，还包括第二时间同步模块，通过时间戳对头戴显示器和手柄进行时间同步，所述第二时间同步模块包括：第一时间戳添加单元，按照曝光中心点时刻在第一拍摄装置采集的外部环境图像添加第一时间戳；第二时间戳添加单元，按照曝光...

【专利技术属性】
技术研发人员：张秀志，周宏伟，柳光辉，郭衡江，
申请(专利权)人：青岛小鸟看看科技有限公司，
类型：发明
国别省市：