平面融合定位方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种平面融合定位方法、装置、电子设备及存储介质，其中，该平面融合定位方法包括：采用基于当前输入的图像帧得到的稀疏点云构建稀疏平面，获取前端基于图像帧生成的目标三维网格与稀疏平面的第一关联信息；根据第一关联信息和载体当前的第一位姿，得到第一点面约束条件；根据第一点面约束条件、基于图像帧和图像帧的上一帧得到的重投影约束条件和深度约束条件，获取第一位姿的优化值。本申请实施例有利于提升SLAM系统中的定位精度。申请实施例有利于提升SLAM系统中的定位精度。申请实施例有利于提升SLAM系统中的定位精度。

【技术实现步骤摘要】
平面融合定位方法、装置、电子设备及存储介质


[0001]本申请涉及计算机视觉
，尤其涉及一种平面融合定位方法、装置、电子设备及存储介质。

技术介绍

[0002]随着计算机视觉技术的发展，SLAM(Simultaneous Localization And Mapping，同时定位与地图构建)技术的研究工作取得了突出成就，并被广泛应用于AR(Augmented Reality，增强现实)或VR(Virtual Reality，虚拟现实)产品、无人机、机器人和自动驾驶中。结构化平面的构建和优化是SLAM技术中的关键环节，目前在结构化平面优化方面，受选取特征点和平面约束条件的影响，生成的平面的精度和稳定性有限，从而会导致定位的精度较低。

技术实现思路

[0003]本申请实施例提供了一种平面融合定位方法、装置、电子设备及存储介质。
[0004]本申请实施例第一方面提供了一种平面融合定位方法，该方法包括：
[0005]采用基于当前输入的图像帧得到的稀疏点云构建稀疏平面，获取前端基于图像帧生成的目标三维网格与稀疏平面的第一关联信息；
[0006]根据第一关联信息和载体当前的第一位姿，得到第一点面约束条件；
[0007]根据第一点面约束条件、基于图像帧和图像帧的上一帧得到的重投影约束条件和深度约束条件，获取第一位姿的优化值。
[0008]结合第一方面，在一种可能的实施方式中，根据第一关联信息和载体当前的第一位姿，得到第一点面约束条件，包括：
[0009]获取基于上一帧得到的历史稀疏点云构建的历史稀疏平面与前端基于上一帧生成的历史三维网格的第二关联信息，以及载体在上一帧的第二位姿；
[0010]采用第一关联信息、第一位姿、第二关联信息和第二位姿构建点面优化模型，得到第一点面约束条件。
[0011]结合第一方面，在一种可能的实施方式中，根据第一点面约束条件、基于图像帧和图像帧的上一帧得到的重投影约束条件和深度约束条件，获取第一位姿的优化值，包括：
[0012]获取至少一个第二点面约束条件，至少一个第二点面约束条件包括第一点面约束条件，至少一个第二点面约束条件中除第一点面约束条件外的点面约束条件是基于目标关联信息得到的，目标关联信息是基于图像帧的前预设数量的第一历史帧得到的关联信息；
[0013]优化第一位姿，将满足至少一个第二点面约束条件、重投影约束条件和深度约束条件的位姿估计值作为优化值。
[0014]结合第一方面，在一种可能的实施方式中，该方法还包括：
[0015]边缘化基于第一历史帧之前的第二历史帧得到的点面约束条件。
[0016]结合第一方面，在一种可能的实施方式中，在采用基于当前输入的图像帧得到的
稀疏点云构建稀疏平面之前，该方法还包括：
[0017]对图像帧进行均匀采样，得到至少一个二维特征点；
[0018]确定至少一个二维特征点在图像帧对应的深度图中的点；
[0019]将至少一个二维特征点在图像帧对应的深度图中的点映射到三维空间，得到稀疏点云。
[0020]结合第一方面，在一种可能的实施方式中，在得到至少一个二维特征点之后，该方法还包括：
[0021]采用至少一个二维特征点构建二维网格；
[0022]采用基于当前输入的图像帧得到的稀疏点云构建稀疏平面，包括：
[0023]基于二维网格中的二维特征点与稀疏点云中的三维点的对应关系，采用三维点构建与二维网格对应的三维网格；
[0024]基于第一位姿对三维网格进行聚类，得到稀疏平面。
[0025]结合第一方面，在一种可能的实施方式中，对图像帧进行均匀采样，得到至少一个二维特征点，包括：
[0026]去除图像帧的边缘像素点；
[0027]根据图像帧的大小和预设采样数量计算得到采样距离；
[0028]按照采样距离对图像帧中未被去除的像素点进行采样，得到至少一个二维特征点。
[0029]结合第一方面，在一种可能的实施方式中，获取前端基于图像帧生成的目标三维网格与稀疏平面的第一关联信息，包括：
[0030]获取目标三维网格与稀疏平面的方向的差值；
[0031]在差值小于或等于预设值，且构成目标三维网格的至少一个三维点在稀疏平面上的情况下，将目标三维网格与稀疏平面关联，得到第一关联信息。
[0032]本申请实施例第二方面提供了一种平面融合定位装置，该装置包括获取单元和处理单元；
[0033]获取单元，用于采用基于当前输入的图像帧得到的稀疏点云构建稀疏平面，获取前端基于图像帧生成的目标三维网格与稀疏平面的第一关联信息；
[0034]处理单元，用于根据第一关联信息和载体当前的第一位姿，得到第一点面约束条件；
[0035]处理单元，还用于根据第一点面约束条件、基于图像帧和图像帧的上一帧得到的重投影约束条件和深度约束条件，获取第一位姿的优化值。
[0036]本申请实施例第三方面提供了一种电子设备，该电子设备包括输入设备和输出设备，还包括处理器，适于实现一条或多条指令；以及，计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如上述第一方面所述方法中的步骤。
[0037]本申请实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如上述第一方面所述方法中步骤。
[0038]本申请实施例第五方面提供了一种计算机程序产品，其中，上述计算机程序产品
包括计算机程序，上述计算机程序可操作来使计算机执行如上述第一方面所述方法中的步骤。该计算机程序产品可以为一个软件安装包。
[0039]可以看出，本申请实施例中采用基于当前输入的图像帧得到的稀疏点云构建稀疏平面，获取前端基于图像帧生成的目标三维网格与稀疏平面的第一关联信息；根据第一关联信息和载体当前的第一位姿，得到第一点面约束条件；根据第一点面约束条件、基于图像帧和图像帧的上一帧得到的重投影约束条件和深度约束条件，获取第一位姿的优化值。由于当前输入的图像帧是RGBD图像采集设备采集的RGBD图像，而RGBD图像通常包含观测到的二维数据，比如深度传感器提供的数据，观测到的二维数据相对比较准确，那么，基于该二维数据得到的稀疏点云相比估计得到的三维数据准确度更高，从而使得构建的稀疏平面的精度更高，有利于提升点面关联(即第一关联信息)的精度，另外，在SLAM系统前端给出重投影约束和深度约束的基础上，还加入了基于点面关联和第一位姿得到的点面约束(即第一点面约束条件)，通过不断优化第一位姿以使载体的位姿满足上述三个约束条件，从而有利于缩小位姿的估计值与观测值之间的偏差，进而提升定位精度。
附图说明
[0040]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种平面融合定位方法，其特征在于，所述方法包括：采用基于当前输入的图像帧得到的稀疏点云构建稀疏平面，获取前端基于所述图像帧生成的目标三维网格与所述稀疏平面的第一关联信息；根据所述第一关联信息和载体当前的第一位姿，得到第一点面约束条件；根据所述第一点面约束条件、基于所述图像帧和所述图像帧的上一帧得到的重投影约束条件和深度约束条件，获取所述第一位姿的优化值。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一关联信息和载体当前的第一位姿，得到第一点面约束条件，包括：获取基于所述上一帧得到的历史稀疏点云构建的历史稀疏平面与前端基于所述上一帧生成的历史三维网格的第二关联信息，以及所述载体在所述上一帧的第二位姿；采用所述第一关联信息、所述第一位姿、所述第二关联信息和所述第二位姿构建点面优化模型，得到所述第一点面约束条件。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一点面约束条件、基于所述图像帧和所述图像帧的上一帧得到的重投影约束条件和深度约束条件，获取所述第一位姿的优化值，包括：获取至少一个第二点面约束条件，所述至少一个第二点面约束条件包括所述第一点面约束条件，所述至少一个第二点面约束条件中除所述第一点面约束条件外的点面约束条件是基于目标关联信息得到的，所述目标关联信息是基于所述图像帧的前预设数量的第一历史帧得到的关联信息；优化所述第一位姿，将满足所述至少一个第二点面约束条件、所述重投影约束条件和所述深度约束条件的位姿估计值作为所述优化值。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：边缘化基于所述第一历史帧之前的第二历史帧得到的点面约束条件。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，在采用基于当前输入的图像帧得到的稀疏点云构建稀疏平面之前，所述方法还包括：对所述图像帧进行均匀采样，得到至少一个二维特征点；确定所述至少一个二维特征点在所述图像帧对应的深度图中的点；将所述至少一个二维特征点在所述图像帧对应的深度图中的点映射到三维空间，得到所述稀疏点云。6.根据权利要求5所述的方法，其特征在于，在得到至少一个二维特征点之后，...

【专利技术属性】
技术研发人员：王帅，陈丹鹏，慕翔，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：