即时定位与建图方法及装置制造方法及图纸

技术编号:33640821 阅读:89 留言:0更新日期:2022-06-02 20:15
提供一种即时定位与建图方法及装置。即时定位与建图方法包括:获取通过相机输入的当前帧图像;对当前帧图像进行场景识别,获得当前帧图像在全局地图中的相似度最大的关键帧图像;根据所述关键帧图像确定当前帧图像的相机位姿。即时定位与建图方法包括:获取通过相机输入的当前帧图像;确定与当前帧图像具有相似度的关键帧图像;获取当前帧图像和所述关键帧图像之间的特征点匹配关系;基于当前帧图像和所述关键帧图像之间的特征点匹配关系计算当前帧图像的相机位姿。根据本公开的示例性实施例的即时定位与建图方法及装置,既可以通过传统的方法计算相机位姿;又能够通过深度学习模型进行回环检测和重定位来确定相机位姿。型进行回环检测和重定位来确定相机位姿。型进行回环检测和重定位来确定相机位姿。

【技术实现步骤摘要】
即时定位与建图方法及装置


[0001]本公开涉及计算机视觉
更具体地,本公开涉及一种即时定位与建图方法及装置。

技术介绍

[0002]即时定位与建图系统(Simultaneous Localization and Mapping,简称SLAM)通过捕获各种传感器(激光雷达LiDAR、相机Camera、惯性导航元件IMU、全球定位导航GPS、深度传感器Kinect等)的输入,能够实时地估计位姿,同时构建三维场景,在自动驾驶、机器人导航、增强现实领域中得到广泛应用。其中相机因为能够获得更丰富的纹理信息,且不受距离、建筑物遮挡等的影响,所以在SLAM系统中被大量使用。能否寻找到两幅图像之间的数据关联,关系着SLAM系统相机跟踪的准确度,同时也关系着SLAM系统中跟踪的鲁棒性。场景识别技术通过计算任意两幅图像之间的相似度,寻找最相似的图像,可用于在大尺度场景中寻找可能共识的两幅图像并用于后续的特征点匹配中,在SLAM系统的回环检测(Loop Closure)和重定位(Re

Localization)中发挥着重要作用。
...

【技术保护点】

【技术特征摘要】
1.一种即时定位与建图方法,包括:获取通过相机输入的当前帧图像;对当前帧图像进行场景识别,获得当前帧图像在全局地图中的相似度最大的关键帧图像;根据所述关键帧图像确定当前帧图像的相机位姿。2.根据权利要求1所述的方法,其中,根据所述关键帧图像确定当前帧图像的相机位姿的步骤包括:获取当前帧图像和所述关键帧图像之间的特征点匹配关系;基于当前帧图像和所述关键帧图像之间的特征点匹配关系计算当前帧图像的相机位姿。3.根据权利要求1所述的方法,其中,对当前帧图像进行场景识别的步骤包括:获取当前帧图像的全局描述子;基于当前帧图像的全局描述子在全局地图中查询与当前帧图像相似度最大的关键帧图像。4.根据权利要求3所述的方法,其中,基于当前帧图像的全局描述子在全局地图中查询与当前帧图像相似度最大的关键帧图像的步骤包括:计算全局地图中的每个关键帧图像的全局描述子与当前帧图像的全局描述子的距离;根据关键帧图像的全局描述子与当前帧图像的全局描述子的距离确定关键帧图像的全局描述子与当前帧图像的全局描述子的相似度,其中,关键帧图像的全局描述子与当前帧图像的全局描述子的距离越近,关键帧图像与当前帧图像的相似度越大。5.根据权利要求2所述的方法,其中,获取当前帧图像和所述关键帧图像之间的特征点匹配关系的步骤包括:获取当前帧图像的局部三维点云和所述关键帧图像的全局三维点云;基于当前帧图像的局部三维点云和所述关键帧图像的全局三维点云获得当前帧图像和所述关键帧图像的场景结构;基于当前帧图像和所述关键帧图像的场景结构获取当前帧图像和所述关键帧图像之间的特征点匹配关系。6.根据权利要求5所述的方法,其中,获取当前帧图像的局部三维点云的步骤包括:获取当前帧图像的二维特征点和深度值;使用位姿先验将当前帧图像的二维特征点和深度值转换为当前帧图像的局部三维点云。7.根据权利要求5所述的方法,其中,获取所述关键帧图像的全局三维点云的步骤包括:基于所述关键帧图像的相机位姿,将所述关键帧图像的二维特征点和深度值转化为全局三维点云。8.根据权利要求7所述的方法,其中,基于当前帧图像和所述关键帧图像的场景结构获取当前帧图像和所述关键帧图像之间的特征点匹配关系的步骤包括:通过三维位置编码器分别对局部三维点云和全局三维点云进行编码,得到局部高维特
征和全局高维特征;获取当前帧图像的特征点描述子和所述关键帧图像的特征点描述子,并将局部高维特征和全局高维特征、以及当前帧图像的特征点描述子和所述关键帧图像的特征点描述子输入到特征点匹配网络,获得当前帧图像和所述关键帧图像之间的特征点匹配关系。9.根据权利要求2所述的方法,其中,基于当前帧图像和所述关键帧图像之间的特征点匹配关系计算当前帧图像的相机位姿的步骤包括:基于当前帧图像和所述关键帧图像之间的特征点匹配关系通过局部光束平差法或全局光束平差法计算当前帧图像的相机位姿。10.根...

【专利技术属性】
技术研发人员:马宽刘志花金允泰李洪硕司空栋勋王强
申请(专利权)人:三星电子株式会社
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1