本公开涉及计算机技术领域，公开了一种位姿确定方法及装置、电子设备和存储介质，所述方法包括：获取移动设备采集的第一图像和第二图像；所述第一图像在时序上早于所述第二图像；分别对所述第一图像和第二图像进行全景分割，得到所述第一图像对应的第一全景分割结果和所述第二图像对应的第二全景分割结果；基于所述第一全景分割结果和所述第二全景分割结果，对所述第一图像和所述第二图像进行匹配，得到所述第一图像和所述第二图像之间特征点的匹配关系；基于所述匹配关系，确定移动设备在采集所述第二图像时的位姿。本公开实施例提高了得到的匹配关系的准确性，进而提高了基于匹配关系确定的位姿的准确性。匹配关系确定的位姿的准确性。匹配关系确定的位姿的准确性。
【技术实现步骤摘要】
一种位姿确定方法及装置、电子设备和存储介质
[0001]本公开涉及计算机
，尤其涉及一种位姿确定方法及装置、电子设备和存储介质。
技术介绍
[0002]同时定位和地图创建(simultaneous localization and mapping，SLAM)是移动机器人在解决未知环境中的探索、侦查、导航等各项问题的基础和关键。机器人根据自身携带的传感器获取观测信息创建环境地图，同时根据部分已创建地图估计机器人的位姿。
[0003]目前，在基于视觉的SLAM中，会利用相邻的两帧图像来确定设备采集当前帧时的位姿，然而，其估计的位姿的准确度较低。
技术实现思路
[0004]本公开提出了一种位姿确定技术方案。
[0005]根据本公开的一方面，提供了一种位姿确定方法，包括：获取移动设备采集的第一图像和第二图像；所述第一图像在时序上早于所述第二图像；分别对所述第一图像和第二图像进行全景分割，得到所述第一图像对应的第一全景分割结果和所述第二图像对应的第二全景分割结果；基于所述第一全景分割结果和所述第二全景分割结果，对所述第一图像和所述第二图像进行匹配，得到所述第一图像和所述第二图像之间特征点的匹配关系；基于所述匹配关系，确定移动设备在采集所述第二图像时的位姿。
[0006]在一种可能的实现方式中，所述基于所述第一全景分割结果和所述第二全景分割结果，对所述第一图像和所述第二图像进行匹配，得到所述第一图像和所述第二图像之间特征点的匹配关系，包括：基于所述第一全景分割结果和所述第二全景分割结果中图像特征点的语义信息，确定所述第一图像和所述第二图像中静态对象的第一特征点；对所述第一图像和所述第二图像中的第一特征点进行匹配，得到所述第一图像和所述第二图像中的第一特征点之间的匹配关系。
[0007]在一种可能的实现方式中，所述对所述第一图像和所述第二图像中的第一特征点进行匹配，得到所述第一图像和所述第二图像中的第一特征点之间的匹配关系，包括：确定所述第一图像和所述第二图像中第一特征点之间的相似度值，在两个第一特征点之间的相似度值小于相似度阈值的情况下，建立两个第一特征点之间的初步匹配关系；在具备初步匹配关系的两个第一特征点的语义信息和/或实例信息相同的情况下，确定具备初步匹配关系的两个第一特征点之间具备匹配关系。
[0008]在一种可能的实现方式中，所述基于所述匹配关系，确定移动设备在采集所述第二图像时的位姿，包括：基于所述第一全景分割结果和所述第二全景分割结果，确定所述第一图像和所述第二图像中实例轮廓的参考点；确定所述第一图像和所述第二图像之间具备匹配关系的参考点；基于所述第一图像和所述第二图像之间具备匹配关系的参考点和具备匹配关系的特征点，确定所述第一图像和所述第二图像之间的旋转平移参数；基于所述旋
转平移参数，确定移动设备采集所述第二图像时的位姿。
[0009]在一种可能的实现方式中，所述基于所述第一图像和所述第二图像之间具备匹配关系的参考点和具备匹配关系的特征点，确定所述第一图像和所述第二图像之间的旋转平移参数，包括：确定使得重投影误差函数的值最小的旋转平移参数；其中，旋转平移参数用于对所述第一图像和所述第二图像中的任一图像进行旋转平移操作，所述重投影误差函数用于确定旋转平移操作后所述第一图像和所述第二图像的重合度，所述重投影误差函数的值与旋转平移操作后具备匹配关系的参考点之间的距离负相关，与旋转平移操作后具备匹配关系的特征点之间的距离负相关，与所述重合度负相关。
[0010]在一种可能的实现方式中，所述基于所述第一全景分割结果和所述第二全景分割结果，确定所述第一图像和所述第二图像中实例轮廓的参考点，包括：基于所述第一全景分割结果中的第一实例信息，和所述第二全景分割结果中的第二实例信息，得到所述第一图像和所述第二图像中的实例轮廓；确定所述实例轮廓的最小外接图形；将所述最小外接图形的中心点作为实例轮廓的参考点。
[0011]在一种可能的实现方式中，在确定移动设备在采集所述第二图像时的位姿后，所述方法还包括：根据所述位姿以及采集的环境信息，构建地图。
[0012]根据本公开的一方面，提供了一种位姿确定装置，包括：获取单元，用于获取移动设备采集的第一图像和第二图像；所述第一图像在时序上早于所述第二图像；分割单元，用于分别对所述第一图像和第二图像进行全景分割，得到所述第一图像对应的第一全景分割结果和所述第二图像对应的第二全景分割结果；匹配单元，用于基于所述第一全景分割结果和所述第二全景分割结果，对所述第一图像和所述第二图像进行匹配，得到所述第一图像和所述第二图像之间特征点的匹配关系；位姿确定单元，用于基于所述匹配关系，确定移动设备在采集所述第二图像时的位姿。
[0013]在一种可能的实现方式中，所述匹配单元，用于：基于所述第一全景分割结果和所述第二全景分割结果中图像特征点的语义信息，确定所述第一图像和所述第二图像中静态对象的第一特征点；对所述第一图像和所述第二图像中的第一特征点进行匹配，得到所述第一图像和所述第二图像中的第一特征点之间的匹配关系。
[0014]在一种可能的实现方式中，所述匹配单元，用于：确定所述第一图像和所述第二图像中第一特征点之间的相似度值，在两个第一特征点之间的相似度值小于相似度阈值的情况下，建立两个第一特征点之间的初步匹配关系；在具备初步匹配关系的两个第一特征点的语义信息和/或实例信息相同的情况下，确定具备初步匹配关系的两个第一特征点之间具备匹配关系。
[0015]在一种可能的实现方式中，所述位姿确定单元，用于：基于所述第一全景分割结果和所述第二全景分割结果，确定所述第一图像和所述第二图像中实例轮廓的参考点；确定所述第一图像和所述第二图像之间具备匹配关系的参考点；基于所述第一图像和所述第二图像之间具备匹配关系的参考点和具备匹配关系的特征点，确定所述第一图像和所述第二图像之间的旋转平移参数；基于所述旋转平移参数，确定移动设备采集所述第二图像时的位姿。
[0016]在一种可能的实现方式中，所述位姿确定单元，用于：确定使得重投影误差函数的值最小的旋转平移参数；其中，旋转平移参数用于对所述第一图像和所述第二图像中的任
一图像进行旋转平移操作，所述重投影误差函数用于确定旋转平移操作后所述第一图像和所述第二图像的重合度，所述重投影误差函数的值与旋转平移操作后具备匹配关系的参考点之间的距离负相关，与旋转平移操作后具备匹配关系的特征点之间的距离负相关，与所述重合度负相关。
[0017]在一种可能的实现方式中，所述位姿确定单元，用于：基于所述第一全景分割结果中的第一实例信息，和所述第二全景分割结果中的第二实例信息，得到所述第一图像和所述第二图像中的实例轮廓；确定所述实例轮廓的最小外接图形；将所述最小外接图形的中心点作为实例轮廓的参考点。
[0018]在一种可能的实现方式中，所述装置还包括：构图单元，用于根据所述位姿以及采集的环境信息，构建地图。
[0019]根据本公开的一方面，提供了一种电子设备，包括：处理本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种位姿确定方法，其特征在于，包括：获取移动设备采集的第一图像和第二图像；所述第一图像在时序上早于所述第二图像；分别对所述第一图像和第二图像进行全景分割，得到所述第一图像对应的第一全景分割结果和所述第二图像对应的第二全景分割结果；基于所述第一全景分割结果和所述第二全景分割结果，对所述第一图像和所述第二图像进行匹配，得到所述第一图像和所述第二图像之间特征点的匹配关系；基于所述匹配关系，确定移动设备在采集所述第二图像时的位姿。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一全景分割结果和所述第二全景分割结果，对所述第一图像和所述第二图像进行匹配，得到所述第一图像和所述第二图像之间特征点的匹配关系，包括：基于所述第一全景分割结果和所述第二全景分割结果中图像特征点的语义信息，确定所述第一图像和所述第二图像中静态对象的第一特征点；对所述第一图像和所述第二图像中的第一特征点进行匹配，得到所述第一图像和所述第二图像中的第一特征点之间的匹配关系。3.根据权利要求2所述的方法，其特征在于，所述对所述第一图像和所述第二图像中的第一特征点进行匹配，得到所述第一图像和所述第二图像中的第一特征点之间的匹配关系，包括：确定所述第一图像和所述第二图像中第一特征点之间的相似度值，在两个第一特征点之间的相似度值小于相似度阈值的情况下，建立两个第一特征点之间的初步匹配关系；在具备初步匹配关系的两个第一特征点的语义信息和/或实例信息相同的情况下，确定具备初步匹配关系的两个第一特征点之间具备匹配关系。4.根据权利要求1所述的方法，其特征在于，所述基于所述匹配关系，确定移动设备在采集所述第二图像时的位姿，包括：基于所述第一全景分割结果和所述第二全景分割结果，确定所述第一图像和所述第二图像中实例轮廓的参考点；确定所述第一图像和所述第二图像之间具备匹配关系的参考点；基于所述第一图像和所述第二图像之间具备匹配关系的参考点和具备匹配关系的特征点，确定所述第一图像和所述第二图像之间的旋转平移参数；基于所述旋转平移参数，确定移动设备采集所述第二图像时的位姿。5.根据权利要求4所述的方法，其特征在于，所述基于所述第...
【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：摩尔线程智能科技北京有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。