一种AR远景视觉定位方法和系统技术方案

本申请涉及一种AR远景视觉定位方法，其中，该方法包括：在实时图像和相似地图帧之间建立2D

【技术实现步骤摘要】
一种AR远景视觉定位方法和系统


[0001]本申请涉及增强现实领域，特别是涉及一种AR远景视觉定位方法和系统。

技术介绍

[0002]AR实景定位导航，即通过终端设备拍摄线下场景图像，将该场景图像在场景地图中进行匹配及处理，得到终端设备的实时定位信息(6dof)，进而可以根据该定位信息进行辅助导航。
[0003]在相关技术中，比较成熟的AR导航技术普遍应用在室内环境或小范围的室外环境中。例如“华为河图”、“滴滴AR实景导航”和“商汤AR实景导航”等。该类近景AR导航技术，通过在小范围环境中设置具有较高精度的定位设备(如蓝牙设备)提供参考信息，辅助进行视觉定位以提升定位精度。
[0004]但是，对于大场景远距离下的AR视觉定位(也称远景定位问题)，由于这类场景普遍在室外较大空间，实际体验点与观测对象(景物)之间往往相距较远(达到百米级甚至公里级)。在该类场景下，若设置额外的高精度辅助设备无疑是成本巨大且难以实现的，并且由于GPS的精度较差(通常为几十米)，也无法作为远景定位下的有效辅助信息。
[0005]针对远景定位问题，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种AR远景视觉定位方法，其特征在于，应用在服务端，所述方法包括：在实时图像和相似地图帧之间建立2D
‑
3D关联，其中，所述相似地图帧是场景地图中与所述实时图像匹配的地图帧，所述实时图像由终端发送；构建所述场景地图对应的虚拟相机坐标系，并在所述虚拟相机坐标系中，确定场景地图中预设路标点对应的第一观测矢量；获取实体相机坐标系下，各个所述预设路标点对应的第二观测矢量，根据所述第一观测矢量和所述第二观测矢量，将所述2D
‑
3D关联转换为3D
‑
3D关联；根据所述3D
‑
3D关联，计算所述虚拟相机坐标系和世界坐标系之间的相对姿态变换；基于预设策略优化所述相对姿态变换，以优化之后的相对姿态变换为约束条件计算真实尺度信息，并通过所述真实尺度信息恢复绝对位姿变换；获取所述虚拟相机坐标系和所述场景地图坐标系之间的刚体变换矩阵，并根据所述刚体变换矩阵和所述绝对位姿变换，得到与所述实时图像对应的定位结果并发送至所述终端。2.根据权利要求1所述的方法，其特征在于：基于所述场景地图的几何结构，建立与所述场景地图对应的虚拟相机坐标系，将所述定位地图坐标系下的3D路标点替换为所述虚拟相机坐标系下的方位矢量，将世界坐标系和实体相机坐标系的观测关系转换为相机之间的关系；其中，所述虚拟相机坐标系符合预设条件，包括：所述虚拟相机的视野朝向指向所述路标点；所述场景地图中的预设路标点，在所述虚拟相机光轴的左右均匀分布；所述虚拟相机的视锥覆盖预设比例的所述预设路标点，且视场角在预设范围内。3.根据权利要求1所述的方法，其特征在于，获取实体相机坐标系下，各个所述预设路标点对应的第二观测矢量，包括：获取终端设备发送的相机内参；根据所述相机内参，将所述实时图像中的2D特征点，反投影至所述实体相机坐标系，得到所述第二观测矢量。4.根据权利要求3所述的方法，其特征在于，根据所述第一观测矢量和所述第二观测矢量，将所述2D
‑
3D关联转换为3D
‑
3D关联，包括：分别将所述2D
‑
3D关联中的2D特征点和3D特征点，替换为所述第二观测矢量和所述第一观测矢量，得到所述3D
‑
3D关联，其中，一对观测矢量组成一组3D
‑
3D观测对，所有3D
‑
3D观测对组成从所述虚拟相机坐标系和所述实体相机坐标系之间的对极几何关系。5.根据权利要求4所述的方法，其特征在于，根据所述3D
‑
3D关联，计算所述虚拟相机坐标系和世界坐标系之间的相对姿态变换，包括：获取与所述3D
‑
3D关联对应的对极几何关系；基于所述对极几何关系，构建最小观测的线性方程组，通过求解所述线性方程组，计算所述虚拟相机坐标系和所述世界坐标系之间的相对姿态变换。6.根据权利要求5所述的方法，其特征在于，在所述相对姿态变换的求解过程中，结合RANSAC算法筛选出所述3D
‑
3D观测对内点集合。
7.根据权利要求6所述的方法，其特征在于，所述基于预设策略优化所述相对姿态变换，包括：以所述筛选出的3D
‑
3D观测对内点集合，建立非线性最小二乘模型；基于所述非线性最小二乘模型，以所述变换后虚拟相机坐标系下的方位矢量等于待求相机坐标系下的方位矢量为优化条件，计算所述优化之后的相对位姿变换。8.根据权利要求7所述的方法，其特征在于，所述非线性优化方程如下公式1所示，8.根据权利要求7所述的方法，其特征在于，所述非线性优化方程如下公式1所示，其中，Rt是所述相对位姿变换，voc是所述第二观测矢量，voc
′
是按照所述相对位姿变换转换后的第二观测矢量，所述预设路标点约束在所述相对位姿变换的位移向量上，在所述优化过程中，通过迭代更新求解所述相对姿态变换的优化结果。9.根据权利要求8所述的方法，其特征在于，以优化之后的相对姿态变换为约束条件计算真实尺度信息，并通过所述真实尺度信息恢复绝对位姿变换，包括：在所述相对姿态变换的约束下，以所述虚拟相机的光心距离多个所述相似地图帧距离最小构建优化条件，其中，所述定位结果在所述相对姿态的位移向量上；根...

【专利技术属性】
技术研发人员：贺飏，张双力，柯乐欣，丛林，
申请(专利权)人：杭州易现先进科技有限公司，
类型：发明
国别省市：