基于在轨特因环境的高速VSLAM增强现实头盔自主定位方法技术

本发明专利技术涉及增强现实技术领域，具体提供了一种基于在轨特因环境的高速VSLAM增强现实头盔自主定位方法，包括：通过增强现实设备上的视觉传感器采集在轨特因环境中的图像信息；基于前一帧图像对当前帧图像对应的视觉传感器的位姿进行实时计算；其中，当所述当前帧图像的帧数为当前计算周期内的结束帧时，对当前计算周期内的图像对应的视觉传感器的位姿进行局部优化；当检测到回环时，对回环帧到当前帧之间的图像对应的视觉传感器的位姿进行全局优化。本发明专利技术提供的技术方案很好地解决了在轨特因环境下的增强现实头盔定位的问题。特因环境下的增强现实头盔定位的问题。特因环境下的增强现实头盔定位的问题。

【技术实现步骤摘要】
基于在轨特因环境的高速VSLAM增强现实头盔自主定位方法


[0001]本专利技术涉及增强现实
，具体涉及一种基于在轨特因环境的高速VSLAM增强现实头盔自主定位方法。

技术介绍

[0002]目前用于地面场景的增强现实头盔通常采用预设Mark标志点、主动式IMU位姿预估、Outside
‑
in位姿预估以及Inside
‑
out位姿预估四种方法进行头盔定位。
[0003]预设Mark标志点的方法即在空间中提前布置设计好的标志物，一般为容易辨别的棋盘格、纹理图像等，当头盔扫描到这些标志物时，可以通过相对关系实现定位。
[0004]主动式IMU姿态预估不依赖外部设备，通过头盔内部的惯性测量单元(加速度计、陀螺仪和磁力计)来测量和预估速度、方向和重力。通过不断对IMU的测量数据进行积分，以渐进的方式计算头盔位姿，其特点是传感器获取数据快，一般可以达到100HZ以上。
[0005]Outside
‑
in(由外向内)位姿预估也叫灯塔追踪，需要事先放置两个以上的定位设备，使用这些定位器进行多重高速光线扫描，形成360
°
覆盖，建立三维位置信息，采用三角定位方式计算每个感应器的位置(精确到毫米)。根据定位信息采集的方式分为被动式定位和主动式定位，被动式定位由事先放置的定位器收集信息进行反馈；主动式定位属于第二代定位技术，由头盔主动收集信息进行反馈，相比被动式定位提高了便利性。
[0006]Inside
‑
out位姿预估需要在头盔上安装摄像头，让设备自己检测外部环境变化，通过视觉算法(SLAM算法)计算出摄像头的空间位置，目前普遍应用在机器人、无人机、自动驾驶等领域。这种方式的前置摄像头越多，精度越精准，但随着摄像头的增多，算法复杂度也会增加。其原理依然是三角定位算法，即摄像头收集到的图像数据能通过视觉算法转换成空间位置信息。目前此技术的难点在于需要从左右图像中提取匹配的特征点，由于计算复杂，实时解算频率有限，整个工作过程还需要依赖IMU的陀螺仪和加速计才能完成立体空间的实时位置计算和驱动渲染。工程上一般在低速VSLAM位姿计算的基础上插值高速IMU传感位姿，进行融合姿态预估。由于IMU长期运行会产生漂移，需要通过VSLAM对其修正，同样VSLAM也需要IMU进行世界坐标的对齐，一般采用紧耦合方法。
[0007]然而，上述现有技术存在一下缺陷：
[0008](1)基于预设Mark标志点进行增强现实定位的方案适用性不强，定位范围受限于对Mark标志点的观测，当移动出观测范围或者标志点被遮挡时，此种定位方案失效。同时这种方法计算量大、速率低、精度有限，容易造成眩晕，影响增强现实的使用体验，不适用于在轨环境中的航天员作业需要；
[0009](2)IMU依靠重力进行定位和偏差纠正，在轨失重模式下定位方向丢失，姿态和加速度无法进行补偿纠偏，因此不能正常工作。且单一的IMU头盔通常只能实现3DOF方向预估，无法实现6DOF的姿态预估；
[0010](3)Outside
‑
in方法需要在空间中布置信号发射装置，但在轨航天器空间狭小、对电磁辐射要求严格，无法提供光塔法所需的设备和功耗要求；
[0011](4)Inside
‑
out采用VSLAM+IMU方法，由于IMU在失重模式下不能工作，因此VSLAM与IMU紧耦合的方法不适合。如果采用松耦合方法，传统VSLAM采用基于特征点的位姿预估，计算频率较低，不适合头盔渲染模式的需要。

技术实现思路

[0012]为了克服上述缺陷，本专利技术提出了一种基于在轨特因环境的高速VSLAM增强现实头盔自主定位方法。
[0013]第一方面，提供一种基于在轨特因环境的高速VSLAM增强现实头盔自主定位方法，所述基于在轨特因环境的高速VSLAM增强现实头盔自主定位方法包括：
[0014]通过增强现实设备上的视觉传感器采集在轨特因环境中的图像信息；
[0015]基于前一帧图像对当前帧图像对应的视觉传感器的位姿进行实时计算；
[0016]其中，当所述当前帧图像的帧数为当前计算周期内的结束帧时，对当前计算周期内的图像对应的视觉传感器的位姿进行局部优化；当检测到回环时，对回环帧到当前帧之间的图像对应的视觉传感器的位姿进行全局优化。
[0017]优选的，所述视觉传感器为双目相机。
[0018]优选的，所述基于前一帧图像对当前帧图像对应的视觉传感器的位姿进行实时计算，包括：
[0019]采用稀疏特征点法提取前一帧图像的特征点；
[0020]采用光流法在当前帧图像上追踪和匹配所述特征点，得到所述特征点在当前帧图像上对应的匹配点；
[0021]采用三角化方法得到所述匹配点对应的三维点；
[0022]基于所述特征点在当前帧图像上对应的匹配点以及所述三维点确定当前帧图像对应的视觉传感器的位姿。
[0023]进一步的，所述稀疏特征点法选择几何角点法。
[0024]进一步的，所述基于所述特征点在当前帧图像上对应的匹配点以及所述三维点确定当前帧图像对应的视觉传感器的位姿，包括：
[0025]将所述特征点在当前帧图像上对应的匹配点以及所述三维点代入预先构建的最小化投影误差模型并求解，得到所述当前帧图像对应的视觉传感器的位姿。
[0026]进一步的，所述预先构建的最小化投影误差模型的数学模型如下：
[0027][0028]上式中，p
k
为第k个所述匹配点坐标，K为视觉传感器内参，T为当前帧图像对应的视觉传感器的位姿，P
k
为第k个匹配点对应的三维点坐标，Ω为所述匹配点的集合。
[0029]优选的，所述对当前计算周期内的图像对应的视觉传感器的位姿进行局部优化，包括：
[0030]将当前计算周期内同时观测到大于指定数量个三维点的图像作为待优化帧图像；
[0031]将所述待优化帧图像观测到的三维点及其对应的二维点以及历史计算的所述待优化帧图像对应的视觉传感器的位姿代入预先构建的最小化误差模型并求解，得到所述待优化帧图像对应的视觉传感器的位姿及所述待优化帧图像观测到的三维点优化坐标。
[0032]优选的，所述对回环帧到当前帧之间的图像对应的视觉传感器的位姿进行全局优化，包括：
[0033]将回环帧到当前帧之间同时观测到共同三维点的图像作为待优化帧图像；
[0034]将所述待优化帧图像观测到的三维点及其对应的二维点以及历史计算的所述待优化帧图像对应的视觉传感器的位姿代入预先构建的最小化误差模型并求解，得到所述待优化帧图像对应的视觉传感器的位姿及所述待优化帧图像观测到的三维点优化坐标。
[0035]进一步的，所述最小化误差模型的数学模型如下：
[0036][0037]上式中，p
ij
为第i个待优化帧图像观测到的第j个三维点坐标对应的二维点坐标，K为视觉传本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于在轨特因环境的高速VSLAM增强现实头盔自主定位方法，其特征在于，所述方法包括：通过增强现实设备上的视觉传感器采集在轨特因环境中的图像信息；基于前一帧图像对当前帧图像对应的视觉传感器的位姿进行实时计算；其中，当所述当前帧图像的帧数为当前计算周期内的结束帧时，对当前计算周期内的图像对应的视觉传感器的位姿进行局部优化；当检测到回环时，对回环帧到当前帧之间的图像对应的视觉传感器的位姿进行全局优化。2.如权利要求1所述的方法，其特征在于，所述视觉传感器为双目相机。3.如权利要求1所述的方法，其特征在于，所述基于前一帧图像对当前帧图像对应的视觉传感器的位姿进行实时计算，包括：采用稀疏特征点法提取前一帧图像的特征点；采用光流法在当前帧图像上追踪和匹配所述特征点，得到所述特征点在当前帧图像上对应的匹配点；采用三角化方法得到所述匹配点对应的三维点；基于所述特征点在当前帧图像上对应的匹配点以及所述三维点确定当前帧图像对应的视觉传感器的位姿。4.如权利要求3所述的方法，其特征在于，所述稀疏特征点法选择几何角点法。5.如权利要求3所述的方法，其特征在于，所述基于所述特征点在当前帧图像上对应的匹配点以及所述三维点确定当前帧图像对应的视觉传感器的位姿，包括：将所述特征点在当前帧图像上对应的匹配点以及所述三维点代入预先构建的最小化投影误差模型并求解，得到所述当前帧图像对应的视觉传感器的位姿。6.如权利要求5所述的方法，其特征在于，所述预先构建的最小化投影误差模型的数学模型如下：上式中，p
k
为第k个所述匹配点坐标，K为视觉传感器内参，T为当前帧图像对应的视觉传感器的位姿，P
k
为第k个匹配点对应的三维点坐标，Ω为所述匹配点的集合。7.如权利要求1所述的方法，其特征在于，所述对当前计算周期内的图像对应的视觉传感器的位姿进行局部优化，包括：将当前计算周期内同时观测到大于指定数量个三维点的图像作为待优化帧图像；将所述待优化帧图像观测到的三维点及其对应的二维点以及历史计算的所述待优化帧图像对应的视觉传感器的位姿代入预先构建的最小化误差模型并求解，得到所述待优化帧图像对应的视觉传感器的位姿及所述待优化帧图像观测到的三维点优化坐标。8.如权利要求1所述的方法，其特征在于，所述对回环帧到当前帧之间的图像对应的视觉传感器的位姿进行全局优化，包括：将回环帧到当前帧之间同时观测到共同三维点的图像作为待优化帧图像；将所述待优化帧图像观测到的三维点及其对应的二维点以及历史计算的所述待优化帧图像对应的视觉传感器的位姿代入预先构建的最小化误差模型并求解，得到所述待优化帧图像对应的视觉传感器的位姿及所述待优化帧图像观测到的三维点优化坐标。
9.如权利要求7或8所述的方法，其特征在于，所述最小化误差模型的数学模型如下：上式中，p
ij
为第i个待优化帧图像观测到的第j个三维点坐标对应的二维点坐标，K为视觉传感器内参，T
i
为第i个待优化帧图像对应的视觉传感器的位姿，P
ij
为第i个待优化帧图像观测到的第j个三维点坐标，m为待优化帧图像总数，n为同时观测到的三维点总数。10.如权利要求1所述的方法，其特征在于，所述方法包括：采用在线iBoW
‑
LCD方法进行回环检测。11.一种基于在轨特因环境的高速VSLAM增强现实头盔自主定位装置，其特征在于，所述装置包括：采集模块，用于通过增强现实设备上的视觉传感器采集在轨特因环境中的图像信息；计算模块，用于基于前一帧图像对当前帧图像对应的视觉传感器的位姿进行实时计算；其中，...

【专利技术属性】
技术研发人员：晁建刚，孙庆伟，何宁，许振瑛，陈炜，黄鹏，林万洪，
申请(专利权)人：中国人民解放军战略支援部队航天工程大学，
类型：发明
国别省市：