一种基于VSLAM的稀疏三维点云图的视觉定位方法技术

本发明专利技术提出一种基于VSLAM的稀疏三维点云图的视觉定位方法，本发明专利技术通过改动开源的ORB‑SLAM系统的输出，得到相机轨迹、相机坐标系与全局坐标系的转移矩阵以及全局坐标系下的稀疏三维点云图，三维点云为关键路标点的三维坐标，并基于获得的信息建立起初始的图像数据库，从而基于建立好的图像数据库实现用户定位，本发明专利技术提出利用建立好的稀疏三维点云图与用户输入图像进行匹配，从而减少重复匹配次数，提高定位速度。同时，基于此可以进一步对图像数据库进行压缩，降低图像数据库容量。

A visual location method of sparse 3D point cloud based on vSLAM

【技术实现步骤摘要】
一种基于VSLAM的稀疏三维点云图的视觉定位方法
本专利技术属于图像处理
，是一种结合计算机视觉领域中基于视觉的同时定位与建图技术(VisualbasedSimultaneousLocalizationandMapping,VSLAM)以及多视图几何理论的室内视觉定位方法，特别是涉及一种基于VSLAM的稀疏三维点云图的视觉定位方法。
技术介绍
随着科技的发展，人们会经常出入大型未知室内环境，如大型商场、艺术展览馆、飞机场等。因此，位置定位服务越来越受到人们的重视。而在比较复杂的室内环境中，传统的GPS定位方法因信号衰减而失效。近年来，多种室内定位技术被先后提出。相对于其他需要布置额外设备的室内定位方法，基于视觉的室内定位方法无需其他设施，在成本和精度上占有一定的优势。同时，因为室内视觉信息丰富、基于图像的特征提取技术日渐成熟、手机设备的快速发展使得每部智能手机上都集成有一颗以上的摄像头等综合原因，基于视觉的室内定位技术逐渐成为研究热点。室内基于视觉的室内定位系统主要分为离线和在线两个阶段：离线阶段采集待定位的室内数据库图像以及拍摄图像的位置，在线阶段用户拍摄照片并进行定位。在视觉定位中，用户首先通过智能移动终端上配备的相机在室内场景中拍摄图像；然后，通过用户拍摄的图像进行视觉特征提取；最后，用户拍摄的图像将与数据库图像进行特征匹配，并在此基础上对相机的位置进行求解。视觉定位的优势在于无需布设定位设施，只需要在室内场景中预先建立图像数据库，并在定位阶段获取用户拍摄的图像，便可实现对用户的位置估计。此外，因为视觉定位算法是以像素为单位进行相机位置求解的，所以视觉定位算法在理论上可以实现高精度的位置估计。视觉定位的技术关键分别在于图像数据库的建立、图像搜索以及定位方法三个方面，其技术基础是图像数据库的建立。相对于传统的逐点采集图像信息并计算其位置信息的图像数据库建立方法，利用VSLAM技术建立图像数据库更为高效。SLAM技术源于机器人领域，旨在解决机器人在位置环境中定位及建图问题，VSLAM主要是指输入信号为视觉信号。VSLAM算法大体上可以分为前端视觉里程计、后端优化、回环检测以及建图四个部分：首先从视觉传感器得到图像信息，视觉里程计估算相邻图片之间的相机运动；然后，通过回环检测判断相机是否重返以前到过的位置；接着，将视觉里程计与回环检测的内容送入后端进行优化；最后，根据估计的相机轨迹与姿态实现三维场景重建。一般来说，位置服务要求实时性，视觉定位在现阶段影响定位速度的最大因素是图像匹配时需要遍历图像数据库。现今的大多方法是在图像搜索算法上进行改进，或者以分层的结构建立图像数据库，以此来提高图像匹配速度。但图像数据库中相邻图像间往往存在很大的冗余，在遍历图像数据库时需要对多张图像的相同特征进行多次重复匹配。当定位环境较大，图像数据库容量较大时，会严重影响定位速度。基于此，本专利技术提出利用建立好的稀疏三维点云图与用户输入图像进行匹配，从而减少重复匹配次数，提高定位速度。同时，基于此可以进一步对图像数据库进行压缩，降低图像数据库容量。
技术实现思路
本专利技术目的是为了解决现有技术中存在的问题，提出了一种基于VSLAM的稀疏三维点云图的视觉定位方法。本专利技术通过改动开源的ORB-SLAM系统的输出，得到相机轨迹、相机坐标系与全局坐标系的转移矩阵以及全局坐标系下的稀疏三维点云图，三维点云为关键路标点的三维坐标。并基于获得的信息建立起初始的图像数据库。本专利技术是通过以下技术方案实现的，本专利技术提出一种基于VSLAM的稀疏三维点云图的视觉定位方法，所述方法包括以下步骤：步骤一、基于VSLAM建立图像数据库；步骤二、对用户输入图像提取SURF特征点；步骤三、利用SURF描述子将用户输入图像与图像数据库中的代表图像进行粗匹配，找到匹配程度最高的一幅图像；步骤四、统计由步骤三得到的匹配图像与用户输入图像的SURF匹配特征点在像素坐标系下v轴的像素分布，根据像素分布以及图像的IndexLists决定待搜索三维点云范围；步骤五、在由步骤四获得的搜索范围中进行用户输入图像与三维点云的精匹配，得到匹配好的2D-3D匹配对；步骤六、根据步骤五中得到的2D-3D匹配对，利用EPnP算法计算出用户的位置坐标，完成室内定位。进一步地，所述步骤一具体为：步骤一一、根据待定位的室内环境，选择适当的坐标原点pW,0(x0,y0,z0)，建立三维直角坐标系；所述三维直角坐标系为全局坐标系；步骤一二、从步骤一一选取的坐标原点开始，利用载有KinectV2设备的平台在待定位环境中平稳行走，采集彩色图像信息和深度图像信息，组成RGB-D信息；步骤一三、输入由步骤一二采集得到的RGB-D信息，更改开源系统ORBSALM的输出，并利用该开源系统得到相机轨迹、相机坐标系与全局坐标系的转移矩阵以及全局坐标系下的稀疏三维点云图；步骤一四、对每幅图像，利用由步骤一三得到的转移矩阵和全局三维点云，通过投影关系得到三维点云对应的像素，并对该像素提取SURF特征描述子；对稀疏三维点云按一定规则进行排序；步骤一五、通过图像关键帧提取策略提取部分代表图像，组成图像数据库，对挑选的代表图像建立IndexLists，并给定三维点云特征描述子，完成图像数据库的建立。进一步地，在步骤一三中，稀疏三维点云图是由每幅图像提取的ORB特征点的全局三维坐标组成的集合，记为转移矩阵T为4阶方阵，T由旋转矩阵R、平移矩阵t组成，如(1)所示：式中，R表示的是从当前帧的相机坐标系到选定的全局坐标系的旋转矩阵。进一步地，所述排序规则先按采集图像时间戳的先后顺序来存储每帧图像Ii对应的点云，对归属于每帧的三维点云，按其在图像中的像素坐标进行排序，按照u轴从小到大排列、再按v轴从小到大的顺序排列。进一步地，所述对每幅图像，利用由步骤一三得到的转移矩阵和全局三维点云，通过投影关系得到三维点云对应的像素，具体为：假设图像上一点的坐标为pI＝[u,v]T，相机内参矩阵为K，全局坐标系下的点云为pw＝[x,y,z]T，则满足的关系如式(2)所示，通过式(2)算出的值取最近邻整数即可得到与点云对应的特征点像素值，进一步地，所述步骤一五具体为：步骤一五一、对所有图像提取SURF特征点，特征的描述子为s，则每幅图像表达为特征点像素及其描述子的集合步骤一五二、计算任意两幅序列为a和b的两幅图像Ia和Ib之间的相似度S(Ia,Ib)，相似度由两幅图像之间特征点的匹配程度描述，而特征点的匹配程度由特征点对应描述子之间的欧式距离衡量；假设两幅图像间任意两个特征点之间的欧式距离Edij为：Edij＝||si-sj||2si∈Ia,sj∈Ib(5)式中，si表示图像序列为a图像中的第i个特征点，sj表示图像序列为b图像中的第j个特征点，若两个特征点满足式(6)，则认为相互匹配；式中，Edmin1表示最近邻特征点欧式距离，本文档来自技高网...

【技术保护点】
1.一种基于VSLAM的稀疏三维点云图的视觉定位方法，其特征在于：所述方法包括以下步骤：/n步骤一、基于VSLAM建立图像数据库；/n步骤二、对用户输入图像提取SURF特征点；/n步骤三、利用SURF描述子将用户输入图像与图像数据库中的代表图像进行粗匹配，找到匹配程度最高的一幅图像；/n步骤四、统计由步骤三得到的匹配图像与用户输入图像的SURF匹配特征点在像素坐标系下v轴的像素分布，根据像素分布以及图像的IndexLists决定待搜索三维点云范围；/n步骤五、在由步骤四获得的搜索范围中进行用户输入图像与三维点云的精匹配，得到匹配好的2D-3D匹配对；/n步骤六、根据步骤五中得到的2D-3D匹配对，利用EPnP算法计算出用户的位置坐标，完成室内定位。/n

【技术特征摘要】
1.一种基于VSLAM的稀疏三维点云图的视觉定位方法，其特征在于：所述方法包括以下步骤：
步骤一、基于VSLAM建立图像数据库；
步骤二、对用户输入图像提取SURF特征点；
步骤三、利用SURF描述子将用户输入图像与图像数据库中的代表图像进行粗匹配，找到匹配程度最高的一幅图像；
步骤四、统计由步骤三得到的匹配图像与用户输入图像的SURF匹配特征点在像素坐标系下v轴的像素分布，根据像素分布以及图像的IndexLists决定待搜索三维点云范围；
步骤五、在由步骤四获得的搜索范围中进行用户输入图像与三维点云的精匹配，得到匹配好的2D-3D匹配对；
步骤六、根据步骤五中得到的2D-3D匹配对，利用EPnP算法计算出用户的位置坐标，完成室内定位。


2.根据权利要求1所述的方法，其特征在于：所述步骤一具体为：
步骤一一、根据待定位的室内环境，选择适当的坐标原点pW,0(x0,y0,z0)，建立三维直角坐标系；所述三维直角坐标系为全局坐标系；
步骤一二、从步骤一一选取的坐标原点开始，利用载有KinectV2设备的平台在待定位环境中平稳行走，采集彩色图像信息和深度图像信息，组成RGB-D信息；
步骤一三、输入由步骤一二采集得到的RGB-D信息，更改开源系统ORBSALM的输出，并利用该开源系统得到相机轨迹、相机坐标系与全局坐标系的转移矩阵以及全局坐标系下的稀疏三维点云图；
步骤一四、对每幅图像，利用由步骤一三得到的转移矩阵和全局三维点云，通过投影关系得到三维点云对应的像素，并对该像素提取SURF特征描述子；对稀疏三维点云按一定规则进行排序；
步骤一五、通过图像关键帧提取策略提取部分代表图像，组成图像数据库，对挑选的代表图像建立IndexLists，并给定三维点云特征描述子，完成图像数据库的建立。


3.根据权利要求2所述的方法，其特征在于：在步骤一三中，稀疏三维点云图是由每幅图像提取的ORB特征点的全局三维坐标组成的集合，记为转移矩阵T为4阶方阵，T由旋转矩阵R、平移矩阵t组成，如(1)所示：



式中，R表示的是从当前帧的相机坐标系到选定的全局坐标系的旋转矩阵。


4.根据权利要求2所述的方法，其特征在于：所述排序规则先按采集图像时间戳的先后顺序来存储每帧图像Ii对应的点云，对归属于每帧的三维点云，按其在图像中的像素坐标进行排序，按照u轴从小到大排列、再按v轴从小到大的顺序排列。


5.根据权利要求2所述的方法，其特征在于：所述对每幅图像，利用由步骤一三得到的转移矩阵和全局三维点云，通过投影关系得到三维点云对应的像素，具体为：
假设图像上一点的坐标为pI＝[u,v]T，相机内参矩阵为K，全局坐标系下的点云为pw＝[x,y,z]T，则满足的关系如式(2)所示，通过式(2)算出的值取最近邻整数即可得到与点云对应的特征点像素值，





6.根据权利要求2所述的方法，其特征在于：所述步骤一五具体为：
步骤一五一、对所有图像提取SURF特征点，特征的描述子为s，则每幅图像表达为特征点像素及其描述子的集合
步骤一五二、计算任意两幅序列为a和b的两幅图像Ia和Ib之间的相似度S(Ia,Ib)，相似度由两幅图像之间特征点的匹配程度描述，而特征点的匹配程度由特征点对应描述子之间的欧式距离衡量；
假设两...

【专利技术属性】
技术研发人员：马琳，姜晗，谭学治，王彬，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙;23