视觉定位方法、设备和存储介质技术

本申请实施例提供一种视觉定位方法、设备和存储介质，方法包括，获得第一设备的前置摄像头拍的前置图像和后置摄像头拍的后置图像，找到和前置图像相似的前置候选帧，以及和后置图像相似的后置候选帧；根据前置候选帧确定前置图像的点对，根据后置候选帧确定后置图像的点对，前置图像的点对包括前置图像的像素点和投影出像素点的空间点，后置图像的点对包括后置图像的像素点和投影出像素点的空间点；根据前置图像和后置图像的点对，以及第一设备的前置摄像头和后置摄像头的相对位姿，确定第一设备的位姿。本方案利用前置摄像头拍的前置图像以及前后置摄像头间的相对位姿确定第一设备的位姿，提高了视觉定位的准确度。提高了视觉定位的准确度。提高了视觉定位的准确度。

【技术实现步骤摘要】
视觉定位方法、设备和存储介质


[0001]本申请涉及增强现实
，尤其涉及一种视觉定位方法、设备和存储介质。

技术介绍

[0002]随着软硬件技术的快速发展，基于电子设备(如智能手机)实现的增强现实(Augmented Reality，AR)技术被越来越多地应用在诸如教育培训、展览展示等行业中。
[0003]AR技术，是一种基于设备自身的位姿，在显示屏上特定位置显示虚拟图像的技术。通过应用AR技术，电子设备可以使设备屏幕中虚拟图像和实物的图像相结合，达到虚实结合的效果。设备位姿的准确度，对AR的性能有重要影响。设备位姿越准确，则虚拟图像和实物的图像的结合越自然，用户的视觉效果越好，反之设备的位姿不准确，则视觉效果较差。
[0004]目前设备的位姿一般通过视觉定位的方法确定，即根据设备的摄像头当前拍摄到的图像确定设备的位姿。而现有的视觉定位方法，仅利用了设备上单个摄像头(例如手机的后置摄像头)拍摄的图像，准确度较低。

技术实现思路

[0005]针对上述问题，本申请提供了一种视觉定位方法、设备和存储介质，结合电子设备不同方向的摄像头拍摄到的照片来计算电子设备的位姿，从而提高计算结果的准确度。
[0006]为了实现上述目的，本申请提供了以下技术方案：
[0007]本申请第一方面提供一种视觉定位方法，包括：
[0008]获得前置图像和后置图像，所述前置图像为第一设备的前置摄像头拍摄的图像，所述后置图像为所述第一设备的后置摄像头拍摄的图像；
[0009]在离线地图中查找得到与所述前置图像相似的前置候选帧，以及与所述后置图像相似的后置候选帧，所述离线地图包括第二设备拍摄的多帧图像；
[0010]根据所述前置候选帧确定所述前置图像的点对，并根据所述后置候选帧确定所述后置图像的点对，所述前置图像的点对包括所述前置图像的像素点和投影出所述前置图像的像素点的空间点，所述后置图像的点对包括所述后置图像的像素点和投影出所述后置图像的像素点的空间点；
[0011]根据所述前置图像的点对，所述后置图像的点对，以及所述第一设备的相对位姿，确定所述第一设备的位姿，所述第一设备的相对位姿为所述第一设备的前置摄像头和所述第一设备的后置摄像头的相对位姿。
[0012]其中，第一设备可以是用户使用的电子设备，即用户设备，例如可以是智能手机；第二设备是专门用于拍摄构建离线地图所需图像的摄像设备，即采集设备。
[0013]本实施例的有益效果在于，利用前置摄像头拍的前置图像以及前后置摄像头间的相对位姿确定第一设备的位姿，提高了视觉定位的准确度。
[0014]在一些可选的实施例中，所述在离线地图中查找得到与所述前置图像相似的前置候选帧，以及与所述后置图像相似的后置候选帧，包括：
[0015]将所述第二设备的前置摄像头拍摄的图像中，和所述前置图像的相似度大于预设的相似度阈值的图像确定为前置候选帧；
[0016]将所述第二设备的后置摄像头拍摄的图像中，和所述后置图像的相似度大于预设的相似度阈值的图像确定为后置候选帧。
[0017]可以理解，前置候选帧和后置候选帧可以有多个。示例性的，可以选取和前置图像相似度大于0.8的多帧图像作为前置候选帧，选取和后置图像相似度大于0.8的多帧图像作为后置候选帧。
[0018]在一些可选的实施例中，所述根据所述前置候选帧确定所述前置图像的点对，并根据所述后置候选帧确定所述后置图像的点对之前，还包括：
[0019]识别出所述前置候选帧和所述后置候选帧中的图像组合，所述图像组合包括所述第二设备同时拍摄的一帧所述前置候选帧和一帧所述后置候选帧；
[0020]针对每一个所述图像组合，计算所述图像组合的相对位姿误差，所述图像组合的相对位姿误差，为所述图像组合的所述前置候选帧和所述后置候选帧的相对位姿，与所述第二设备的相对位姿的误差，所述第二设备的相对位姿，为预先标定的所述第二设备的前置摄像头和后置摄像头的相对位姿；
[0021]按对应的所述相对位姿误差从小到大的顺序将所述图像组合重新排序。
[0022]在一些可选的实施例中，所述识别出所述前置候选帧和所述后置候选帧中的图像组合之后，还包括：
[0023]删除未组成图像组合的前置候选帧和后置候选帧。
[0024]在一些可选的实施例中，所述根据所述前置候选帧确定所述前置图像的点对，并根据所述后置候选帧确定所述后置图像的点对，包括：
[0025]根据重新排序后的前N个所述前置候选帧确定所述前置图像的点对，并根据重新排序后的前N个所述后置候选帧确定所述后置图像的点对，所述N为预设的正整数。
[0026]上述实施例的好处在于，按相对位姿误差从小到大重新排序并优先选用相对位姿误差较小的图像组合，可以提高视觉定位结果的准确度。
[0027]在一些可选的实施例中，所述根据所述前置候选帧确定所述前置图像的点对，包括：
[0028]提取所述前置候选帧的图像特征和所述前置图像的图像特征；
[0029]通过比对所述前置候选帧的图像特征和所述前置图像的图像特征，确定和所述前置图像的像素点匹配的所述前置候选帧的像素点；
[0030]将投影出所述前置候选帧的像素点的空间点，以及和所述前置候选帧的像素点匹配的所述前置图像的像素点，确定为所述前置图像的点对。
[0031]示例性的，离线地图中已经记录有前置候选帧的像素点B1为空间点B的投影，通过比对前置候选帧的图像特征和前置图像的图像特征，确定前置图像的像素点B2和前置候选帧的像素点B1匹配，于是，可以进一步确定像素点B2和空间点B为前置图像的一个点对，即前置图像的像素点B2为空间点B的投影。
[0032]在一些可选的实施例中，所述根据所述前置图像的点对，所述后置图像的点对，以及所述第一设备的相对位姿，确定所述第一设备的位姿，包括：
[0033]根据所述前置图像的点对计算得到所述第一设备的前置摄像头的位姿估计值；
[0034]根据所述后置图像的点对计算得到所述第一设备的后置摄像头的位姿估计值；
[0035]基于非线性优化方法优化所述第一设备的前置摄像头的位姿估计值和所述第一设备的后置摄像头的位姿估计值，得到所述第一设备的位姿，所述非线性优化方法的优化函数至少包括所述第一设备的相对位姿误差；
[0036]所述第一设备的相对位姿误差为，根据所述第一设备的前置摄像头的位姿估计值和所述第一设备的后置摄像头的位姿估计值计算得到的所述第一设备的相对位姿估计值，与预先标定的所述第一设备的相对位姿的误差，所述第一设备的相对位姿为所述第一设备的前置摄像头和后置摄像头之间的相对位姿。
[0037]在一些可选的实施例中，所述非线性优化方法的优化函数包括所述第一设备的相对位姿误差，所述前置图像的重投影误差和所述后置图像的重投影误差。
[0038]本申请第二方面提供一种电子设备，包括存储器，一个或多个处理器；
[0039]所述存储器用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉定位方法，其特征在于，包括：获得前置图像和后置图像，所述前置图像为第一设备的前置摄像头拍摄的图像，所述后置图像为所述第一设备的后置摄像头拍摄的图像；在离线地图中查找得到与所述前置图像相似的前置候选帧，以及与所述后置图像相似的后置候选帧，所述离线地图包括第二设备拍摄的多帧图像；根据所述前置候选帧确定所述前置图像的点对，并根据所述后置候选帧确定所述后置图像的点对，所述前置图像的点对包括所述前置图像的像素点和投影出所述前置图像的像素点的空间点，所述后置图像的点对包括所述后置图像的像素点和投影出所述后置图像的像素点的空间点；根据所述前置图像的点对，所述后置图像的点对，以及所述第一设备的相对位姿，确定所述第一设备的位姿，所述第一设备的相对位姿为所述第一设备的前置摄像头和所述第一设备的后置摄像头的相对位姿。2.根据权利要求1所述的方法，其特征在于，所述在离线地图中查找得到与所述前置图像相似的前置候选帧，以及与所述后置图像相似的后置候选帧，包括：将所述第二设备的前置摄像头拍摄的图像中，和所述前置图像的相似度大于预设的相似度阈值的图像确定为前置候选帧；将所述第二设备的后置摄像头拍摄的图像中，和所述后置图像的相似度大于预设的相似度阈值的图像确定为后置候选帧。3.根据权利要求2所述的方法，其特征在于，所述根据所述前置候选帧确定所述前置图像的点对，并根据所述后置候选帧确定所述后置图像的点对之前，还包括：识别出所述前置候选帧和所述后置候选帧中的图像组合，所述图像组合包括所述第二设备同时拍摄的一帧所述前置候选帧和一帧所述后置候选帧；针对每一个所述图像组合，计算所述图像组合的相对位姿误差，所述图像组合的相对位姿误差，为所述图像组合的所述前置候选帧和所述后置候选帧的相对位姿，与所述第二设备的相对位姿的误差，所述第二设备的相对位姿，为预先标定的所述第二设备的前置摄像头和后置摄像头的相对位姿；按对应的所述相对位姿误差从小到大的顺序将所述图像组合重新排序。4.根据权利要求3所述的方法，其特征在于，所述识别出所述前置候选帧和所述后置候选帧中的图像组合之后，还包括：删除未组成图像组合的前置候选帧和后置候选帧。5.根据权利要求3所述的方法，其特征在于，所述根...

【专利技术属性】
技术研发人员：刘小伟，陈兵，周俊伟，王国毅，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：