一种基于定位地图的AR设备定位方法技术

本发明专利技术公开了一种基于定位地图的AR设备定位方法，包括如下步骤：采集带gps场景图片，提取特征点，进行特征点描述子匹配；求解匹配相对RT，进行SFM操作，恢复所有图片位姿；每张图片挑选100个排序靠前的特征点，保存其对应三维点的sift描述子；根据场景划分，每50*50米存储为一个定位地图块；AR设备采集实时图片，进行图片快速粗略检索，进行AR图片与定位地图图像特征点匹配；挑选匹配靠前的10张图片，AR设备图片的描述子和定位地图匹配中描述子对应三维点，构成PNP问题；求解PNP问题，可获得AR设备查询图片的位姿；在10张图片都结算完PNP问题，获得AR设备查询图像位姿后，根据RANSAC原则获得最佳的位姿。具备精确实时定位等优点。点。点。

【技术实现步骤摘要】
一种基于定位地图的AR设备定位方法


[0001]本专利技术涉及AR设备领域，尤其涉及一种基于定位地图的AR设备定位方法。

技术介绍

[0002]目前AR设备很火，AR设备的主要一个功能就是实时定位，然后在定位基础上进行各种增强现实和虚拟现实操作。而当前的实时定位一般基于IMU设备确定roll pitch yaw三个朝向角，基于gps设备确定具体地理位置。AR设备上往往不会配备特别昂贵的传感器，导致这些传感器最终输出的位置都不是很准确。

技术实现思路

[0003]本专利技术提供了一种基于定位地图的AR设备定位方法，不需要IMU和GPS设备，只需要AR设备自带的视频传感器，即可精确实时定位，大范围均可定位，提前重建好的基于sift描述子的定位地图，解决了现有技术中AR设备传感器输出的位置不准确的问题。
[0004]请参阅图1，根据本申请实施例提供的一种基于定位地图的AR设备定位方法，包括如下步骤：
[0005]采集带gps场景图片，提取特征点，进行特征点描述子匹配；
[0006]求解匹配相对RT，进行SFM操作，恢复所有图片位姿；
[0007]每张图片挑选100个排序靠前的特征点，保存其对应三维点的sift描述子；
[0008]根据场景划分，每50*50米存储为一个定位地图块；
[0009]AR设备采集实时图片，进行图片快速粗略检索，进行AR图片与定位地图图像特征点匹配；
[0010]挑选匹配靠前的10张图片，AR设备图片的描述子和定位地图匹配中描述子对应三维点，构成PNP问题；
[0011]求解PNP问题，可获得AR设备查询图片的位姿；
[0012]在10张图片都结算完PNP问题，获得AR设备查询图像位姿后，根据RANSAC原则获得最佳的位姿。
[0013]优选地，sift描述子提取过程，先使用DoG金字塔从图像中提取关键点，关键点是在变化处发现的，通过对不同尺度下的高斯滤波得到一系列图像，随后对两个不同尺度的高斯滤波的图像相减，得到DoG图像；
[0014]接着对于每个关键点，使用该点的尺度和方向构建一个圆形区域，该圆形区域内的像素将减去平均值并归一化，将该圆形区域划分为若干个子区域，每个子区域内再计算方向直方图；
[0015]最后，将所有子区域的方向直方图串联起来形成一个向量，该向量为sift描述子。
[0016]优选地，sift特征描述子匹配过程包括以下步骤：
[0017]对每个关键点计算其sift特征描述子，该描述子是一个128维的向量，包含了该关键点周围区域的特征信息和梯度方向信息；
[0018]对于第一幅图像中的每个关键点，计算其与第二幅图像所有关键点的相似度，找到与之最匹配的若干个关键点，最匹配的若干个关键点为候选匹配点；
[0019]对于每个候选匹配点，计算其与第一幅图像中的其他候选匹配点的相似度，并根据相似度进行筛选。
[0020]优选地，采用筛选方法包括：对于每个匹配点，选择与其相似度最高的点作为唯一匹配点；对于每个匹配点，计算与次最佳匹配点的相似度比值，若小于某一阈值则认为此匹配点可靠，否则舍弃，最后剩余的匹配点为最终的sift特征描述子匹配结果。
[0021]优选地，基于多视图的SfM是一个主要用于三维重建的技术，它使得可以从多个图像中计算出物体的三维形状和位置，即重建三维模型，包括如下步骤：
[0022]特征提取，这里使用sift算法来匹配对应点；
[0023]匹配，在每一个视角计算对应特征点，两视图间利用匹配算法确定它们的对应关系；
[0024]基础矩阵估计，基于对应点的几何关系计算出相机之间的内部参数以及旋转和平移矩阵；
[0025]三角测量，计算给出的两张图像中的点之间的3D位置估计，利用现有的3D点的估计，确定更多图像之间的匹配，然后进行壮健估计；
[0026]重建，得到一个可能是不完整的三维模型，它的每一个视角都有一个相机位置估计；
[0027]集束调整，对分散在不同视图中的相机位置和特征点位置进行优化调整，并得到最终的3D重建结果。
[0028]优选地，还包括存储定位地图和AR设备实时定位，定位地图主要由sfm中的三维点及其对应描述子组成，AR设备实时定位，随着AR设备不断移动，可实时获得拍摄的照片，拍摄的照片经过计算描述信息，在定位地图中找到排名前10的描述信息相近的图像，在找到前10的图片之后，查询其对应的100个特征描述子，跟当前图片的特征描述子进行匹配，构建PNP问题，求解该图的位姿，10张图则有10个PNP问题，最后根据RANSAC选择，选择10个位姿中最好的那个作为最终位姿。
[0029]优选地，还包括基于二维图片坐标和三维点对应的PnP问题，通过已知的相机内参、多个二维图片中物体的特征点在跟踪相同物体上的对应点以及对应物体上的三维点，来求解相机的外参的问题；
[0030]基本求解方式，通过计算相机的投影矩阵，将三维世界坐标投影到二维平面上，并计算投影点与对应特征点之间的误差；可以使用RANSAC等方法进行迭代求解，在每次迭代中使用最小二乘等方法来优化相机的外参，最终求出的相机外参，相机外参表示相机在三维空间中的位置和方向。
[0031]本申请实施例提供的技术方案可以包括以下有益效果：
[0032]本专利技术提出一种基于定位地图的AR设备定位方法，相对于现有技术，本专利技术不需要IMU和GPS设备，只需要AR设备自带的视频传感器，即可精确实时定位，大范围均可定位，提前重建好的基于sift描述子的定位地图。
附图说明
[0033]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]图1为本专利技术一种基于定位地图的AR设备定位方法的流程图；
[0035]图2为本专利技术一种基于定位地图的AR设备定位方法的sift特征描述子匹配的示意图。
具体实施方式
[0036]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0037]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0038]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0039]请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于定位地图的AR设备定位方法，其特征在于，包括如下步骤：采集带gps场景图片，提取特征点，进行特征点描述子匹配；求解匹配相对RT，进行SFM操作，恢复所有图片位姿；每张图片挑选100个排序靠前的特征点，保存其对应三维点的sift描述子；根据场景划分，每50*50米存储为一个定位地图块；AR设备采集实时图片，进行图片快速粗略检索，进行AR图片与定位地图图像特征点匹配；挑选匹配靠前的10张图片，AR设备图片的描述子和定位地图匹配中描述子对应三维点，构成PNP问题；求解PNP问题，可获得AR设备查询图片的位姿；在10张图片都结算完PNP问题，获得AR设备查询图像位姿后，根据RANSAC原则获得最佳的位姿。2.根据权利要求1所述的一种基于定位地图的AR设备定位方法，其特征在于，sift描述子提取过程，先使用DoG金字塔从图像中提取关键点，关键点是在变化处发现的，通过对不同尺度下的高斯滤波得到一系列图像，随后对两个不同尺度的高斯滤波的图像相减，得到DoG图像；接着对于每个关键点，使用该点的尺度和方向构建一个圆形区域，该圆形区域内的像素将减去平均值并归一化，将该圆形区域划分为若干个子区域，每个子区域内再计算方向直方图；最后，将所有子区域的方向直方图串联起来形成一个向量，该向量为sift描述子。3.根据权利要求2所述的一种基于定位地图的AR设备定位方法，其特征在于，sift特征描述子匹配过程包括以下步骤：对每个关键点计算其sift特征描述子，该描述子是一个128维的向量，包含了该关键点周围区域的特征信息和梯度方向信息；对于第一幅图像中的每个关键点，计算其与第二幅图像所有关键点的相似度，找到与之最匹配的若干个关键点，最匹配的若干个关键点为候选匹配点；对于每个候选匹配点，计算其与第一幅图像中的其他候选匹配点的相似度，并根据相似度进行筛选。4.根据权利要求3所述的一种基于定位地图的AR设备定位方法，其特征在于，采用筛选方法包括：对于每个匹配点，选择与其相似度最高的点作为唯一匹配点；对于每个匹配点，计算与次最佳匹配点的相似度比值，若小于某一阈值则认为此匹配点可...

【专利技术属性】
技术研发人员：李春霞，刘坚，陈大清，胡相才，刘宇，
申请(专利权)人：深圳市兰星科技有限公司，
类型：发明
国别省市：