图像定位方法、装置、电子设备及可读存储介质制造方法及图纸

本申请提供了一种图像定位方法、装置、电子设备及可读存储介质，该方法包括：获取目标场景的查询图像；提取所述查询图像中的多个二维特征点，并确定每个二维特征点的描述子；对所述查询图像的三维特征点的描述子进行迭代更新，获得K组三维特征点的描述子；其中，所述三维特征点是所述目标场景的三维模型中对应所述查询图像的三维特征点，K为迭代更新的次数；根据所述二维特征点的描述子分别与每组三维特征点的描述子的匹配结果，确定所述查询图像的目标位姿。本申请能够解决现有技术中的图像定位方法容易出现定位失败或估算位姿严重偏离的问题。偏离的问题。偏离的问题。

【技术实现步骤摘要】
图像定位方法、装置、电子设备及可读存储介质


[0001]本申请涉及通信
，尤其涉及一种图像定位方法、装置、电子设备及可读存储介质。

技术介绍

[0002]目前的图像定位方法，比如增强现实(Augmented Reality，AR)技术的方案，主要是基于传统立体几何学方法，对目标场景进行三维建模，得到三维点云，保存一些关键帧图像，并记录关键帧图像上的2D特征点，及其对应的三维点云上的3D特征点。当查询图像输入时，通过查找与查询图像最相似的关键帧，并对查询图像与关键帧进行2D特征点匹配，进而关联到点云的3D特征点，这样基于2D特征点和3D特征点的匹配关系，可以通过透视n点(Perspective
‑
n
‑
Point，PNP)算法估算最优相机位姿。
[0003]但是目前的图像定位方案中，基于立体几何学方法在常规方面表现良好，而对于查询图像与所有关键帧的视差较大的情况，可能存在无法确定相似关键帧或者与关键帧的匹配关键点过少，导致无法计算出最优位姿而出现定位失败或后续PNP估算位姿严重偏离的问题。

技术实现思路

[0004]本申请提供一种图像定位方法、装置、电子设备及可读存储介质，解决了现有技术中的图像定位方法容易出现定位失败或估算位姿严重偏离的问题。
[0005]本申请的实施例提供一种图像定位方法，包括：
[0006]获取目标场景的查询图像；
[0007]提取所述查询图像中的多个二维特征点，并确定每个二维特征点的描述子；
[0008]对所述查询图像的三维特征点的描述子进行迭代更新，获得K组三维特征点的描述子；其中，所述三维特征点是所述目标场景的三维模型中对应所述查询图像的三维特征点，K为迭代更新的次数；
[0009]根据所述二维特征点的描述子分别与每组三维特征点的描述子的匹配结果，确定所述查询图像的目标位姿。
[0010]可选地，所述对所述查询图像的三维特征点的描述子进行迭代更新，获得K组三维特征点的描述子，包括：
[0011]按照以下步骤对所述查询图像的三维特征点的描述子进行K次迭代更新：
[0012]获得第m
‑
1组三维特征点的描述子；其中，m为正整数，且m≤K；
[0013]根据所述二维特征点的描述子与所述第m
‑
1组三维特征点的描述子的匹配结果，确定所述查询图像的第m个位姿；
[0014]根据所述第m个位姿，生成第m组三维特征点的描述子。
[0015]可选地，在m＝1的情况下，所述第m组三维特征点的描述子是：将所述三维模型的每个三维特征点在所述三维模型对应的关键帧上的投影点的描述子；
[0016]和/或，
[0017]在1＜m≤K的情况下，所述第m组三维特征点的描述子是：经第m
‑
1次迭代更新后得到的三维特征点的描述子。
[0018]可选地，所述根据所述第m个位姿，生成第m组三维特征点的描述子，包括：
[0019]基于所述三维模型，计算得到所述第m个位姿对应的第m个相机参数；
[0020]根据所述第m个相机参数，生成所述第m组三维特征点的描述子；
[0021]其中，所述相机参数包括以下至少一项：所述位姿对应的相机焦距、所述位姿对应的相机中心与所述三维模型中每个三维特征点之间的角度、所述相机中心与所述三维模型中每个三维特征点之间的距离。
[0022]可选地，所述根据所述第m个相机参数，生成所述第m组三维特征点的描述子，包括：
[0023]将所述第m个相机参数输入到目标预测模型，生成所述第m组三维特征点的描述子；
[0024]其中，所述目标预测模型用于基于所述第m个位姿对应图像中的二维特征点的描述子生成相应的三维特征点的描述子。
[0025]可选地，所述对所述查询图像的三维特征点的描述子进行迭代更新，获得K组三维特征点的描述子，包括：
[0026]对所述查询图像的三维特征点的描述子进行第n次迭代更新，得到第n组三维特征点的描述子；
[0027]在所述二维特征点的描述子与第n组三维特征点的描述子匹配的内点数量小于或等于目标值的情况下，则结束迭代更新，获得n组三维特征点的描述子；其中，n＝K；
[0028]在所述二维特征点的描述子与第n组三维特征点的描述子匹配的内点数量大于目标值的情况下，继续第n+1次迭代更新直至确定迭代更新结束，获得K组三维特征点的描述子。
[0029]可选地，所述根据所述二维特征点的描述子分别与每组三维特征点的描述子的匹配结果，确定所述查询图像的目标位姿，包括：
[0030]根据所述二维特征点的描述子分别与每组三维特征点的描述子的匹配内点数量，确定匹配结果；
[0031]根据所述二维特征点的描述子与所述三维特征点的描述子的匹配内点数量最高的匹配结果，计算得到所述查询图像的目标位姿。
[0032]本申请实施例还提供一种图像定位装置，包括：
[0033]获取模块，用于获取目标场景的查询图像；
[0034]处理模块，用于提取所述查询图像中的多个二维特征点并确定每个二维特征点的描述子；
[0035]迭代模块，用于对所述查询图像的三维特征点的描述子进行迭代更新，获得K组三维特征点的描述子；其中，所述三维特征点是预先构建的所述目标场景的三维模型中对应所述查询图像的三维特征点，K为迭代更新的次数；
[0036]定位模块，用于根据所述二维特征点的描述子分别与每组三维特征点的描述子的匹配结果，确定所述查询图像的目标位姿。
[0037]本申请实施例还提供一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的图像定位方法的步骤。
[0038]本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像定位的步骤。
[0039]本申请实施例中，针对目标场景的查询图像，提取所述查询图像中的多个二维特征点以及每个二维特征点的描述子，并对所述查询图像在目标场景的三维模型中的三维特征点的描述子进行K次迭代更新，获得K组三维特征点的描述子，从而根据所述二维特征点的描述子分别与每组三维特征点的描述子的匹配结果，确定所述查询图像的目标位姿。这样该方案中基于目标场景的三维模型中的三维特征点的描述子的多次迭代更新，可以保证三维模型中具有与查询图像的二维特征点匹配数量更多的关键点，从而提高了定位成功率，减少PNP估算位姿偏离的情况，解决了目前图像定位方法容易出现定位失败或估算位姿严重偏离的问题。
附图说明
[0040]图1表示本申请实施例的图像定位方法的流程图；
[0041]图2表示本申请实施例的目标预测模型的结构示意图；
[0042]图3表示本申请实施例的图像定位方法的效果示意图；
[0043]图4表示本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像定位方法，其特征在于，包括：获取目标场景的查询图像；提取所述查询图像中的多个二维特征点，并确定每个二维特征点的描述子；对所述查询图像的三维特征点的描述子进行迭代更新，获得K组三维特征点的描述子；其中，所述三维特征点是所述目标场景的三维模型中对应所述查询图像的三维特征点，K为迭代更新的次数；根据所述二维特征点的描述子分别与每组三维特征点的描述子的匹配结果，确定所述查询图像的目标位姿。2.根据权利要求1所述的图像定位方法，其特征在于，所述对所述查询图像的三维特征点的描述子进行迭代更新，获得K组三维特征点的描述子，包括：按照以下步骤对所述查询图像的三维特征点的描述子进行K次迭代更新：获得第m
‑
1组三维特征点的描述子；其中，m为正整数，且m≤K；根据所述二维特征点的描述子与所述第m
‑
1组三维特征点的描述子的匹配结果，确定所述查询图像的第m个位姿；根据所述第m个位姿，生成第m组三维特征点的描述子。3.根据权利要求2所述的图像定位方法，其特征在于，在m＝1的情况下，所述第m组三维特征点的描述子是：将所述三维模型的每个三维特征点在所述三维模型对应的关键帧上的投影点的描述子；和/或，在1＜m≤K的情况下，所述第m组三维特征点的描述子是：经第m
‑
1次迭代更新后得到的三维特征点的描述子。4.根据权利要求2所述的图像定位方法，其特征在于，所述根据所述第m个位姿，生成第m组三维特征点的描述子，包括：基于所述三维模型，计算得到所述第m个位姿对应的第m个相机参数；根据所述第m个相机参数，生成所述第m组三维特征点的描述子；其中，所述相机参数包括以下至少一项：所述位姿对应的相机焦距、所述位姿对应的相机中心与所述三维模型中每个三维特征点之间的角度、所述相机中心与所述三维模型中每个三维特征点之间的距离。5.根据权利要求4所述的图像定位方法，其特征在于，所述根据所述第m个相机参数，生成所述第m组三维特征点的描述子，包括：将所述第m个相机参数输入到目标预测模型，生成所述第m组三维特征点的描述子；其中，所述目标预测...

【专利技术属性】
技术研发人员：洪毅强，王琦，胡良军，刘泽凡，陈佳悦，
申请(专利权)人：咪咕文化科技有限公司中国移动通信集团有限公司，
类型：发明
国别省市：