一种基于稠密点云与合成视图的视觉跟踪定位方法技术

本发明专利技术提供一种基于稠密点云与合成视图的视觉跟踪定位方法，过程为：利用对真实场景进行三维扫描，获取彩色关键帧图像和对应的深度图像，进行图像修复后，对关键帧图像进行图像编码；将摄像机实时获取的当前帧图像进行图像编码，并选出与当前帧图像编码距离最近的一张合成图像作为当前图像的参考帧图像；获得两图像上稳定的匹配特征点集合，并进行处理获得当前帧摄像机相对于三维扫描点云坐标系的六自由度位姿信息；利用光流算法进行判定，若无法满足要求，则更新当前帧图像为摄像机获取的下一帧图像，重新进行匹配。本发明专利技术能够解决激光雷达获取的三维点云与异源视觉图像的关联问题，具有实现视觉导航快速初始化定位的效果。

A visual tracking and location method based on dense point cloud and synthetic view

【技术实现步骤摘要】
一种基于稠密点云与合成视图的视觉跟踪定位方法
本专利技术属于信息
，具体涉及一种基于稠密点云与合成视图的视觉跟踪定位方法。
技术介绍
大规模户外场景的视觉实时跟踪定位一直以来是计算机视觉领域的重要研究方向。户外复杂多变的环境因素，如光照、视角、遮挡、弱纹理以及随时间运动的物体等都对视觉跟踪定位算法的精度和鲁棒性造成较大的影响。荒漠、草原、山地等户外作战场景由于地域广，场景纹理信息不丰富，对视觉跟踪定位算法提出了更高的技术挑战。目前较常采用的户外大场景视觉跟踪定位算法是SLAM(实时定位与地图构建)算法。该类算法可分为基于特征的SLAM算法和基于直接法的SLAM算法。基于特征的SLAM算法可获得场景的稀疏地图和摄像机的实时运动轨迹。基于直接法的SLAM算法可获得场景的稠密地图和摄像机的实时运动轨迹。特征法和直接法各有其优缺点，分别适用于不同的应用领域。目前SLAM算法的局限性在于由于场景地图与位姿需要同时进行估算，因此计算量大、摄像机姿态估计存在误差累积漂移，且难以处理动态场景、无法实现大规模场景的应用。为解决SLAM算法计算量大、姿态估计误差累积漂移的问题，可采用离线构建地图，在线进行跟踪定位的方式。离线地图可采用基于视觉的SFM算法(运动结构重建)或是利用三维激光雷达扫描获取。由于SFM算法获取的场景地图存在尺度不确性问题，因此难以在户外增强现实军事仿真训练中得以应用。而利用激光雷达获取户外场景的三维点云，具有扫描精度高且尺度确定的特点。因此，利用激光雷达获取场景的三维地图并用于后续基于视觉的跟踪定位，成为一个重要的研究方向。激光雷达构建的三维地图与相机获取的图像属于异源数据，存在光照变化、传感器差异、视角不同等各种不利因素影响，需要着重解决激光雷达获取的三维点云与视觉图像的关联问题。
技术实现思路
本专利技术的目的是为了克服已有技术的缺陷，为了解决激光雷达三维扫描数据与图像数据的关联，使其能够用于视觉跟踪定位的问题，提出一种基于稠密点云与合成视图的视觉跟踪定位方法。本专利技术方法是通过下述技术方案实现的：一种基于稠密点云与合成视图的视觉跟踪定位方法，具体过程为：步骤一：利用三维激光雷达扫描仪在固定位置对真实场景进行三维扫描，获取真实场景的三维点云模型以及与点云模型相对应的彩色图像；步骤二:将带有颜色信息的三维点云模型利用投影变换算法合成出多个特定视点下的彩色关键帧图像和对应的深度图像；步骤三：利用所述深度图像对合成的彩色关键帧图像利用图像修复算法，修复图像中的空洞；步骤四:提取所有修复后彩色关键帧图像上的特征点，并进行离线训练，构建码书，并对关键帧图像进行图像编码；步骤五：将摄像机实时获取的当前帧图像进行图像编码，并选出与当前帧图像编码距离最近的一张合成图像作为当前图像的参考帧图像；步骤六：分别提取当前帧与步骤五中选取的参考帧图像上的特征点，利用特征匹配算法获得稳定的匹配特征点集合；步骤七：利用参考帧图像上的特征点与三维扫描点之间的投影对应关系，构建当前帧匹配特征点与三维扫描点之间的2D/3D空间匹配关系；步骤八：根据所述空间匹配关系，利用当前帧摄像机相对于三维扫描点云坐标系的六自由度位姿信息；步骤九：利用光流算法预测当前帧图像上匹配的特征点在下一帧图像的位置；步骤十：若光流跟踪的匹配点数大于设定的阈值，则根据步骤八计算的得到的六自由度位姿信息结合视觉SLAM算法进行后续姿态估计，若光流跟踪的匹配点数小于设定的阈值，则更新当前帧图像为摄像机获取的下一帧图像，返回步骤五。有益效果本专利技术方法，对比已有技术，本专利技术通过将激光雷达获取的三维点云投影合成图像，进行图像修复、检索和匹配，因此能够解决激光雷达获取的三维点云与异源视觉图像的关联问题，具有实现视觉导航快速初始化定位的效果。附图说明图1为本专利技术实施方式的算法流程示意图；图2为Faro扫描的真实场景三维模型图；图3为合成关键帧图像和对应深度图，左侧为关键帧，右侧为深度图；图4为图像修复后的关键帧图像和对应深度图，左侧为关键帧，右侧为深度图；图5为当前帧图像与参考帧图像的特征匹配图，左侧为当前帧，右侧为参考帧。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述。本专利技术的设计思想为：将激光雷达获得的三维点云经过空间反投影变换，生成已知视点下的合成图像，利用合成图像与摄像机获取的实时图像进行匹配的方式，估算摄像机的实时6自由度位姿。该方法可用于机器人、无人车、无人飞行器、虚拟现实与增强现实等领域的跟踪导航或辅助定位。本专利技术基于稠密点云与合成视图的视觉跟踪定位方法，如图1所示，具体步骤包括：步骤一、将Faro激光雷达扫描仪放置在户外某一地点固定，扫描周围真实场景并获得三维点云模型以及与模型相对应的RGB图像。其中三维点云模型的每一个三维点(xw,yw,zw,r,g,b)包含在点云模型坐标系下的坐标(xw,yw,zw)T和RGB颜色信息(r,g,b)。步骤二、将带有颜色信息的三维点云模型利用投影变换算法合成出特定视点下的彩色关键帧图像和对应的深度图像。其具体步骤包括：(1)根据步骤一获得的三维点云模型，利用三角网格化算法生成三角面片模型并将模型导入三维模型软件中。在三维模型软件中，通过调整虚拟相机的位姿获取k个不同视点下的旋转矩阵和平移矢量对点云中每一个三维点(xw,yw,zw,r,g,b)利用公式(1)分别计算三维点在不同虚拟相机坐标系下的三维点坐标(2)根据真实相机的内部参数值设定虚拟相机的内部参数，其中包括焦距(fx,fy)、主点(u0，v0)，利用公式(2)将虚拟相机坐标系下的坐标变换到图像坐标系下。(3)将公式(2)计算获得的图像坐标(uk，vk)，根据真实相机的分辨率W×H进行剪裁，如果或舍弃，否则保留。(4)当投影到同一图像坐标(uk，vk)有多个对应的三维点(xw,yw,zw,r,g,b)时，比较三维点(xw,yw,zw,r,g,b)在虚拟相机坐标系下的三维点坐标的分量，保留最小正值所对应的三维点，消除点云前后遮挡问题。(5)根据投影的图像坐标(uk，vk)分别赋予对应的三维点云(xw,yw,zw,r,g,b)的颜色信息(r,g,b)和对应的虚拟相机坐标系下的三维点坐标的分量，合成出特定视点下的彩色关键帧图像和对应的深度图。步骤三、根据步骤二中得到的彩色关键帧图像和对应的深度图，利用基于深度信息的图像修复算法对步骤二中获得的彩色关键帧图像逐一进行图像修复，去除彩色关键帧图像中的空洞。具体实现步骤包括：(1)利用线性插值算法对深度图进行图像补全，去除深度图像中的空洞，(2)利用补全的深度图修复彩色关键帧图像：读取彩色关键帧图像的每一个像素点(u,v)，判断其是否是空白点，若该点是空本文档来自技高网...

【技术保护点】
1.一种基于稠密点云与合成视图的视觉跟踪定位方法，其特征在于，具体过程为：/n步骤一：利用三维激光雷达扫描仪在固定位置对真实场景进行三维扫描，获取真实场景的三维点云模型以及与点云模型相对应的彩色图像；/n步骤二:将带有颜色信息的三维点云模型利用投影变换算法合成出多个特定视点下的彩色关键帧图像和对应的深度图像；/n步骤三：利用所述深度图像对合成的彩色关键帧图像利用图像修复算法，修复图像中的空洞；/n步骤四:提取所有修复后彩色关键帧图像上的特征点，并进行离线训练，构建码书，并对关键帧图像进行图像编码；/n步骤五：将摄像机实时获取的当前帧图像进行图像编码，并选出与当前帧图像编码距离最近的一张合成图像作为当前图像的参考帧图像；/n步骤六：分别提取当前帧与步骤五中选取的参考帧图像上的特征点，利用特征匹配算法获得稳定的匹配特征点集合；/n步骤七：利用参考帧图像上的特征点与三维扫描点之间的投影对应关系，构建当前帧匹配特征点与三维扫描点之间的2D/3D空间匹配关系；/n步骤八：根据所述空间匹配关系，求解当前帧摄像机相对于三维扫描点云坐标系的六自由度位姿信息；/n步骤九：利用光流算法预测当前帧图像上匹配的特征点在下一帧图像的位置；/n步骤十：若光流跟踪的匹配点数大于设定的阈值，则根据步骤八计算的得到的六自由度位姿信息结合视觉SLAM算法进行后续姿态估计，若光流跟踪的匹配点数小于设定的阈值，则更新当前帧图像为摄像机获取的下一帧图像，返回步骤五。/n...

【技术特征摘要】
1.一种基于稠密点云与合成视图的视觉跟踪定位方法，其特征在于，具体过程为：
步骤一：利用三维激光雷达扫描仪在固定位置对真实场景进行三维扫描，获取真实场景的三维点云模型以及与点云模型相对应的彩色图像；
步骤二:将带有颜色信息的三维点云模型利用投影变换算法合成出多个特定视点下的彩色关键帧图像和对应的深度图像；
步骤三：利用所述深度图像对合成的彩色关键帧图像利用图像修复算法，修复图像中的空洞；
步骤四:提取所有修复后彩色关键帧图像上的特征点，并进行离线训练，构建码书，并对关键帧图像进行图像编码；
步骤五：将摄像机实时获取的当前帧图像进行图像编码，并选出与当前帧图像编码距离最近的一张合成图像作为当前图像的参考帧图像；
步骤六：分别提取当前帧与步骤五中选取的参考帧图像上的特征点，利用特征匹配算法获得稳定的匹配特征点集合；
步骤七：利用参考帧图像上的特征点与三维扫描点之间的投影对应关系，构建当前帧匹配特征点与三维扫描点之间的2D/3D空间匹配关系；
步骤八：根据所述空间匹配关系，求解当前帧摄像机相对于三维扫描点云坐标系的六自由度位姿信息；
步骤九：利用光流算法预测当前帧图像上匹配的特征点在下一帧图像的位置；
步骤十：若光流跟踪的匹配点数大于设定的阈值，则根据步骤八计算的得到的六自由度位姿信息结合视觉SLAM算法进行后续姿态估计，若光流跟踪的匹配点数小于设定的阈值，则更新当前帧图像为摄像机获取的下一帧图像，返回步骤五。


2.根据权利要求1所述基于稠密点云与合成视图的视觉跟踪定位方法，其特征在于...

【专利技术属性】
技术研发人员：陈靖，缪远东，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11