【技术实现步骤摘要】
定位以及训练特征匹配网络的方法和装置
[0001]本公开涉及图像处理、增强现实和深度学习等人工智能领域。
技术介绍
[0002]随着手机等便携摄影设备的发展,基于摄像头的低成本视觉定位方法逐渐受到大家的关注。现有技术通常采用基于2D
‑
3D直接匹配的方法进行定位。首先将数据库中的3D点通过词汇树等方法进行聚类,然后建立查询图片中特征点与数据库中3D点的对应关系,最后估算位姿。
[0003]现有技术中每个3D点都有多个2D观测及特征,地图越大,观测越多,特征越多,特征空间被严重压缩,简而言之,地图越大,特征匹配效果越差。
技术实现思路
[0004]本公开提供了一种定位以及训练特征匹配网络的方法和装置、设备、存储介质以及计算机程序产品。
[0005]根据本公开的第一方面,提供了一种定位方法,包括:获取待定位区域的2D图片和已建好的3D地图。从2D图片中提取出2D关键点位置和2D描述子。从3D地图中提取出3D关键点位置和3D描述子。将2D关键点位置、2D描述子、3D关键点位置和3D描述子输入预先训练的特征匹配网络,得到至少一组2D
‑
3D匹配对。根据至少一组2D
‑
3D匹配对求得位姿。
[0006]根据本公开的第二方面,提供了一种训练特征匹配网络的方法,包括:获取图像集合作为样本集,并将位姿信息作为所采集的图像的标注信息。根据图像集合构建3D地图。执行如下训练步骤:从样本集中选取样本。基于样本和3D地图执行第一方面的方法,得到定位 ...
【技术保护点】
【技术特征摘要】
1.一种定位方法,包括:获取待定位区域的2D图片和已建好的3D地图;从所述2D图片中提取出2D关键点位置和2D描述子;从所述3D地图中提取出3D关键点位置和3D描述子;将所述2D关键点位置、所述2D描述子、所述3D关键点位置和所述3D描述子输入预先训练的特征匹配网络,得到至少一组2D
‑
3D匹配对;根据至少一组2D
‑
3D匹配对求得位姿。2.根据权利要求1所述的方法,其中,所述将所述2D关键点位置、所述2D描述子、所述3D关键点位置和所述3D描述子输入预先训练的特征匹配网络,包括:将所述2D关键点位置编码后与2D描述子组成2D特征;将所述3D关键点位置编码后与所述3D描述子组成3D特征;将所述2D特征和所述3D特征输入预先训练的特征匹配网络。3.根据权利要求1所述的方法,其中,所述从所述2D图片中提取出2D关键点位置和2D描述子,包括:通过尺度不变特征变换算法从所述2D图片中提取出2D关键点位置和2D描述子。4.根据权利要求1所述的方法,其中,所述从所述3D地图中提取出3D关键点位置和3D描述子,包括:通过尺度不变特征变换算法从所述3D地图中提取出3D关键点位置和3D描述子。5.根据权利要求1
‑
4任一项所述的方法,其中,所述特征匹配网络包括图神经网络和匹配层,所述图神经网络包括自注意力层和交叉注意力层。6.根据权利要求1
‑
4任一项所述的方法,其中,所述根据至少一组2D
‑
3D匹配对求得位姿,包括:通过求解3D到2D点对运动的方法根据至少一组2D
‑
3D匹配对求得位姿。7.一种训练特征匹配网络的方法,包括:获取图像集合作为样本集,并将位姿信息作为所采集的图像的标注信息;根据所述图像集合构建3D地图;执行如下训练步骤:从所述样本集中选取样本;基于所述样本和所述3D地图通过特征匹配网络执行权利要求1
‑
6中任一项所述的定位方法,得到定位结果;基于所述定位结果和标注信息计算总损失值;若总损失值小于预定阈值,则确定出所述特征匹配网络训练完成。8.根据权利要求7所述的方法,其中,所述方法还包括:若总损失值大于等于预定阈值,则调整所述特征匹配网络的相关参数,基于调整后的所述特征匹配网络继续执行上述训练步骤。9.一种定位装置,包括:获取单元,被配置成获取待定位区域的2D图片和已建好的3D地图;第一提取单元,被配置成从所述2D图片中提取出2D关键点位置和2D描述子;第二提取单元,被配置成从所述3D地图中提取出3D关键点位置和3D描述子;匹配单元,被配置成将所述2D关键点位置、所述2D描述子、所述3D关...
【专利技术属性】
技术研发人员:张晋川,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。