基于并行搜索2D-3D匹配的视觉定位方法、系统、装置制造方法及图纸

本发明专利技术属于定位技术领域，具体涉及了基于并行搜索2D‑3D匹配的视觉定位方法、系统、装置，旨在解决现有视觉定位方法中无法在光照变化剧烈条件和大视角变化条件都具有高精度和高鲁棒性的问题。本发明专利技术包括：先提取数据库场景图像中的3D点及其描述子和查询图像的2D关键点的描述子，再建立场景图像中3D点和查询图像中2D关键点的匹配关系，最后根据场景图像3D点和真实匹配最近邻描述子的对应关系通过RANSAC和PnP算法计算出查询图像的相机位姿完成定位。本发明专利技术提高了在大视角和光照变化下的视觉定位精度和鲁棒性。

【技术实现步骤摘要】
基于并行搜索2D-3D匹配的视觉定位方法、系统、装置
本专利技术属于定位
，具体涉及了基于并行搜索2D-3D匹配的视觉定位方法、系统、装置。
技术介绍
单幅图像的视觉定位的任务是在一个已知三维模型的场景里估计出查询照片的6-DoF相机位姿，在增强现实、虚拟现实、自动驾驶等领域有着广泛的应用。单幅图像定位方法可以分为端到端的方法和非端到端的方法。非端到端的方法又可分为基于图像检索的方法和基于2D-3D直接匹配的方法。端到端的方法通过训练网络模型直接回归相机的位姿。端到端的方法可以借助深度学习以及GPU的优势实现快速定位，但是泛化性能较差且在大范围场景下精度较差。基于图像检索的方法首先在数据库里查找与查询照片相似的照片，然后只在那些检索到的图像能看得到的3D点范围内搜索与2D查询特征匹配的3D点。传统方法通常要借助词袋模型来搜索相似照片。DenseVLAD通过合成新的视角图像来检索与查询图像相似的图像。近年来出现了一些基于深度学习搜索相似图像的方法，如NetVLAD通过对整幅图像提取特征描述来检索相似图像。基于2D-3本文档来自技高网...

【技术保护点】
1.一种基于并行搜索2D-3D匹配的视觉定位方法，其特征在于，所述视觉定位方法包括：/n步骤S10，根据数据库中的多个场景图像，通过预设的第一算法计算出场景3D点，并通过基于深度学习的描述子网络CRBNet提取场景3D点的第一描述子和第二描述子；/n所述第一描述子为所述场景图像的二值描述子，所述第二描述子为所述场景图像的实值描述子；/n通过基于深度学习的描述子网络CRBNet提取查询图像上2D关键点的查询描述子；/n所述查询描述子包含第三描述子和第四描述子；/n所述第三描述子为所述查询图像的二值描述子，所述第四描述子为所述查询图像的实值描述子；/n步骤S20，根据场景3D点、第一描述子和第二描...

【技术特征摘要】
1.一种基于并行搜索2D-3D匹配的视觉定位方法，其特征在于，所述视觉定位方法包括：
步骤S10，根据数据库中的多个场景图像，通过预设的第一算法计算出场景3D点，并通过基于深度学习的描述子网络CRBNet提取场景3D点的第一描述子和第二描述子；
所述第一描述子为所述场景图像的二值描述子，所述第二描述子为所述场景图像的实值描述子；
通过基于深度学习的描述子网络CRBNet提取查询图像上2D关键点的查询描述子；
所述查询描述子包含第三描述子和第四描述子；
所述第三描述子为所述查询图像的二值描述子，所述第四描述子为所述查询图像的实值描述子；
步骤S20，根据场景3D点、第一描述子和第二描述子，与第三描述子和第四描述子的匹配关系查找第六描述子；
步骤S30，根据场景3D点与第六描述子的对应关系，通过预设的第二算法得到查询图像的相机位姿，通过相机位姿完成对查询图像的定位。


2.根据权利要求1所述的基于并行搜索2D-3D匹配的视觉定位方法，其特征在于，所述预设的第一算法为：SfM算法。


3.根据权利要求1所述的基于并行搜索2D-3D匹配的视觉定位方法，其特征在于，所述基于深度学习的描述子网络CRBNet基于L2-Net构建，包括：
搭建L2-Net卷积神经网络；
在所述L2-Net卷积神经网络中第一个卷积层后连续加入4个残差块，将步长为2的卷积层放在后两个残差块中，在最后一个卷积层前加入DropoutLayer，获得基于深度学习的描述子网络CRBNet。


4.根据权利要求1所述的基于并行搜索2D-3D匹配的视觉定位方法，其特征在于，所述基于深度学习的描述子网络CRBNet引入设定的损失函数进行训练；
所述设定的损失函数由相互匹配的描述子的欧氏距离三元损失项、二阶相似性正则项及加权汉明距离三元损失项构成：



其中，表示损失函数；表示相互匹配描述子的欧氏距离三元损失函数；表示二阶相似性正则项；表示相互匹配描述子的加权汉明距离的三元损失函数；所述相互匹配的描述子可以来源于不同图像但都对应着空间中的同一个3D点。


5.根据权利要求4所述的基于并行搜索2D-3D匹配的视觉定位方法，其特征在于，所述基于深度学习的描述子网络CRBNet引入的损失函数中相互匹配的描述子的欧氏距离三元损失项及加权汉明距离三元损失项为：






其中，表示相互匹配的描述子，xi表示第i对匹配描述子的前一个，表示第i对匹配描述子的后一个，表示第i对匹配的描述子xi与之间的欧式距离，表示第i对匹配描述子的前一个描述子xi和第j对匹配描述子的后一个描述子之间的欧氏距离，表示第i对匹配描述子的后一个描述子和第j对匹配描述子的前一个描述子xj之间的欧氏距离。


6.根据权利要求5所述的基于并行搜索2D-3D匹配的视觉定位方法，其特征在于，所述基于深度学习的描述子网络CRBNet引入的损失函数中加权汉明损失项的加权汉明距离为：



其中，表示相互匹配的描述子的加权汉明距离；K表示描述子的第k维；sign(a)表示取符号，如果a大于0，则sign(a)＝1，否则sign(a)＝0；xik表示第i对匹配描述子的前一个描述子的第k维，表示第i匹配描述子的后一个描述子的第k维。


7.根据权利要求1所述的基于并行搜索2D-3D匹配的是决定为方法，其特征在于，步骤S20包括：
步骤S21，通过共视信息聚类将能够出现在同一幅场景图像中的场景3D点聚类生成第一聚类3D点；
步骤S22，建立随机树，根据第一描述子和第三描述子训练随机树的结构，选取非叶子结点的二值测试，根据非叶子结点的二值测试结果将第一聚类3D点及第二描述子存放在随机树的叶子结点里；
步骤S23，根据概率模型计算随机树叶子结点中最大概率包含查询图像的查询描述子的正确匹配的优先叶子结点；
通过基于NetVLAD全局描述子的图像搜索方法得到数据库场景图像中有最大概率得到查询图像的查询描述子的正确匹配3D点的优先帧；
所述优先叶子结点和优先帧中的3D点共同构成第五描述子；
所述第五描述子为候选最近邻描述子；
步骤S24，根据第四描述子、第五描述子通过预设的第三算法找出第六描述子；
所述第六描述子为真实匹配最近邻描述子。


8.根据权利要求7所述的基于并行搜索2D-3D匹配的视觉定位方法，其特征在于，步骤S...

【专利技术属性】
技术研发人员：张朋举，吴毅红，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11