同步定位与建图后端优化方法、装置及存储介质制造方法及图纸

本申请提供一种同步定位与建图后端优化方法、装置及存储介质，该方法通过在同步定位与建图系统定位的多个关键帧的三维空间点中，确定目标三维空间点，进而，根据该目标三维空间点，确定重投影误差，通过预处理后上述目标三维空间点对应的最大视差提供权重，获得相对重投影误差，该相对重投影误差描述了点的空间位置与相机空间位置之间的差异，从而为同步定位与建图的优化问题提供更为鲁棒的残差构建，更好地进行空间定位，解决了现有后端优化不能很好的表现出重投影误差与点的深度之间的关系，缺乏空间信息的描述，导致优化后的位姿估计准确率较低的问题。计准确率较低的问题。计准确率较低的问题。

【技术实现步骤摘要】
同步定位与建图后端优化方法、装置及存储介质


[0001]本申请涉及图像处理
，尤其涉及一种同步定位与建图后端优化方法、装置及存储介质。

技术介绍

[0002]随着计算机视觉技术的发展，同步定位与建图算法被广泛应用于如增强现实、虚拟现实、自动驾驶以及机器人或者无人机的定位导航等领域。
[0003]在同步定位与建图算法问题中，可以分为前端和后端两个部分。前端的主要作用是计算帧与帧间的相对关系，例如计算帧与帧间之间的相对位姿。后端的作用主要是对前端的输出结果进行优化，得到最优的位姿估计。以视觉同步定位与建图方法中，后端优化一般以帧与帧匹配关键点之间的重投影误差作为损失函数，进而基于该损失函数进行一个整体优化，例如在损失函数较小时，得到优化后的位姿估计。
[0004]然而，上述后端优化不能很好的表现出重投影误差与点的深度之间的关系，缺乏空间信息的描述，可能导致优化后的位姿估计准确率较低。

技术实现思路

[0005]为解决现有技术中存在的问题，本申请提供一种同步定位与建图后端优化方法、装置及存储介质。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种同步定位与建图后端优化方法，其特征在于，包括：在同步定位与建图系统定位的多个关键帧的三维空间点中，确定目标三维空间点；根据所述目标三维空间点，确定重投影误差；根据所述重投影误差和预处理后所述目标三维空间点对应的最大视差，确定相对重投影误差，所述预处理包括去除旋转影响的操作；根据所述相对重投影误差，对所述同步定位与建图系统进行后端优化。2.根据权利要求1所述的方法，其特征在于，在所述根据所述重投影误差和预处理后所述目标三维空间点对应的最大视差，确定相对重投影误差之前，还包括：确定所述目标三维空间点对应的多个目标关键帧；根据关键帧ui的关键点坐标、关键帧uj的关键点坐标、所述同步定位与建图系统中图像获取装置的内参矩阵，以及所述关键帧uj到所述关键帧ui的旋转矩阵，确定所述预处理后所述目标三维空间点对应的多个视差，其中，所述关键帧ui和所述关键帧uj为所述多个目标关键帧中任意两个关键帧，i＝1,2,
…
m，j＝1,2,
…
m，m等于所述多个目标关键帧的数目；从所述预处理后所述目标三维空间点对应的多个视差中，确定所述最大视差。3.根据权利要求2所述的方法，其特征在于，所述根据关键帧ui的关键点坐标、关键帧uj的关键点坐标、所述同步定位与建图系统中图像获取装置的内参矩阵，以及所述关键帧uj到所述关键帧ui的旋转矩阵，确定所述预处理后所述目标三维空间点对应的多个视差，包括：计算所述内参矩阵、所述旋转矩阵、所述内参矩阵的逆矩阵，以及所述关键帧uj的关键点坐标的乘积；根据所述关键帧ui的关键点坐标与所述乘积的差值，确定所述预处理后所述目标三维空间点对应的多个视差。4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述根据所述重投影误差和预处理后所述目标三维空间点对应的最大视差，确定相对重投影误差，包括：计算所述重投影误差与所述最大视差的比值；将所述比值作为所述相对重投影误差。5.根据权利要求1至3中任意一项所述的方法，其特征在于，所述根据所述目标三维空间点，确定重投影误差，包括：确定所述目标三维空间点进行投影得到的位置；根据所述投影得到的位置，确定所述重投影误差。6.根据权利要求1至3中任意一项所述的方法，其特征在于，所述根据所述相对重投影误差，对所述同步定位与建图系统进行后端优化，包括：判断所述相对重投影误差是否达到预设误差阈值；若所述相对重投影误差未达到所述预设误差阈值，则重新执行所述在同步定位与建图系统定位的多个关键帧的三维空间点中，确定目标三维空间点的步骤，以使所述相对重投影误差达到所述预设误差阈值，根据所述相对重投影误差，对所述同步定位与建图系统进行后端优化。7.根据权利要求1至3中任意一项所述的方法，其特征在于，在所述在同步定位与建图
系统定位的多个关键帧的三维空间点中，确定目标三维空间点之前，还包括：对所述同步定位与建图系统进行初始化。8.根据权利要求7所述的方法，其特征在于，所述对所述同步定位与建图系统进行初始化，包括：获取预设数量的连续的帧图像，对所述预设数量的连续的帧图像进行所述预处理；利用预先构建的自适应大小的滑动窗口，在去除旋转影响的所述预设数量的连续的帧图像中筛选出初始关键帧，所述初始关键帧包括多个关键帧；基于所述多个关键帧，进行同步定位与建图初始化。9.根据权利要求8所述的方法，其特征在于，所述基于所述多个关键帧，进行同步定位与建图初始化，包括：确定所述多个关键帧中的第一关键帧和最后一关键帧的相对位姿；根据所述第一关键帧和所述最后一关键帧的相对位姿，获得所述多个关键帧中各个关键帧的三维空间点；根据所述第一关键帧和所述最后一关键帧的相对位姿，以及所述多个关键帧中各个关键帧的三维空间点，确定所述多个关键帧中各个关键帧的相对位姿；根据所述多个关键帧中各个关键帧的三维空间点和所述多个关键帧中各个关键帧的相对位姿，建立初始地图。10.一种同步定位与建...

【专利技术属性】
技术研发人员：温佳伟，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：