The invention proposes a real-time 3D scene reconstruction method for UAV based on EG_SLAM, which reconstructs a large-scale 3D scene with texture details by utilizing the real-time visual information obtained by the UAV camera. Compared with many existing methods, the proposed method runs directly on the CPU after collecting images, realizes positioning and rebuilding three-dimensional maps in real time, and does not use the traditional PNP method to solve the pose of UAV, but uses the EG_SLAM method to solve the pose of UAV, that is, using the feature points between two frames. In addition, the large amount of environmental information obtained makes UAV have a more precise and detailed perception of the environmental structure. The real-time generated large-scale 3D point cloud map is rendered by texture rendering, which realizes the reconstruction of large-scale 3D map and gets more straightforward. Viewing realistic 3D scenes.
【技术实现步骤摘要】
基于EG-SLAM的无人机实时三维场景重建方法
本专利技术涉及无人机自主飞行、计算机视觉、地图构建等领域，具体地说是利用实时同步定位与地图构建(EG-SLAM)，对得到的三维点云进行稠密扩散和纹理渲染实现无人机对地面目标的三维场景重建。
技术介绍
无人机实时同步定位并重建三维场景一直都是无人机自主飞行领域和计算机视觉领域的热点和难点。无人机有诸多优点，比如：体积小、成本低、隐身性好、灵活方便、作战能力强等，近几年被广泛应用到军民的多个领域。军事方面无人机可用于侦察、攻击、电子对抗等军事任务，也可当做靶机，对未来空战有着重要的意义。民用方面，是无人机真正刚需的领域，目前在农业、植保、快递运输、抢险救灾、城市管理、新闻报道、影视拍摄甚至自拍等领域无人机有着很大的积极作用。在未知的空间领域，往往要求实时获取外界环境信息，构建地图，以满足无人机障碍物规避、路径规划和自主飞行的需求，故实时同步定位并重建三维场景有着尤为重要的实际意义。同步定位与地图构建(SimultaneousLocalizationandMapping，简称SLAM)这种方法描述了无人机从未知环境的未知位置出发，在运动过程中重复观测环境，根据传感器感知的环境特征定位自身位置和姿态，再根据自身位置增量式的构建地图。随着图像处理技术以及摄像机硬件的发展，基于视觉的SLAM成为一个比较热门的研究方向。常见的视觉SLAM一般分为相机定位跟踪和场景地图构建两个高度相关的部分。相机定位跟踪是指确定相机在环境中的位置和位姿，场景地图构建是指构建相机所在场景的三维地图。然而目前存在的同步定位与地图构建方法存在几点...
【技术保护点】
1.一种基于EG‑SLAM的无人机实时三维场景重建方法，其特征在于：包括以下步骤：步骤1：采集并处理图像：无人机机载相机采集到一系列图像，实时将图像传递给计算单元，并利用相机标定数据对采集到的每一帧图像进行去畸变处理，得到去畸变的图像；步骤2：对步骤1得到的前两帧图像进行以下处理得到初始化地图：步骤2.1：将第一帧图像设置为第一个关键帧；提取并存储前两帧图像的SIFT特征点，任意设定前两帧中提取的特征点的初始逆深度；步骤2.2：利用特征点匹配关系求解前两帧之间的本质矩阵E，通过SVD分解出第二帧图像到第一帧图像所对应的相机位姿变化的旋转矩阵R和平移矩阵t；步骤2.3：根据步骤2.2得到的第二帧图像到第一帧图像所对应的相机位姿变化的旋转矩阵R和平移矩阵t，通过逆深度滤波方法计算前两帧中特征点的逆深度，以及得到特征点在三维空间中的对应空间坐标，完成三维点云地图的初始化；步骤3：对实时获得的第i帧图像进行以下处理，完成追踪和构图过程，i＝3,4,5......：步骤3.1：得到第i帧去畸变的图像后，以当前关键帧为基准，求解第i帧与当前关键帧之间的相机位姿变化：提取第i帧图像的SIFT特征点，...
【技术特征摘要】
1.一种基于EG-SLAM的无人机实时三维场景重建方法，其特征在于：包括以下步骤：步骤1：采集并处理图像：无人机机载相机采集到一系列图像，实时将图像传递给计算单元，并利用相机标定数据对采集到的每一帧图像进行去畸变处理，得到去畸变的图像；步骤2：对步骤1得到的前两帧图像进行以下处理得到初始化地图：步骤2.1：将第一帧图像设置为第一个关键帧；提取并存储前两帧图像的SIFT特征点，任意设定前两帧中提取的特征点的初始逆深度；步骤2.2：利用特征点匹配关系求解前两帧之间的本质矩阵E，通过SVD分解出第二帧图像到第一帧图像所对应的相机位姿变化的旋转矩阵R和平移矩阵t；步骤2.3：根据步骤2.2得到的第二帧图像到第一帧图像所对应的相机位姿变化的旋转矩阵R和平移矩阵t，通过逆深度滤波方法计算前两帧中特征点的逆深度，以及得到特征点在三维空间中的对应空间坐标，完成三维点云地图的初始化；步骤3：对实时获得的第i帧图像进行以下处理，完成追踪和构图过程，i＝3,4,5......：步骤3.1：得到第i帧去畸变的图像后，以当前关键帧为基准，求解第i帧与当前关键帧之间的相机位姿变化：提取第i帧图像的SIFT特征点，并对每个特征点的逆深度初始化，利用特征点匹配关系求解第i帧图像与当前关键帧之间的本质矩阵E，通过SVD分解出第i帧到当前关键帧之间位姿变化SE(3)矩阵的初始值；对于当前关键帧和第i帧的特征匹配点对p1、p2，已知当前关键帧中的特征点p1的图像位置坐标和初始逆深度d，可得到p1在三维空间中的位置P，利用位姿变化SE(3)矩阵将三维点P重投影到第i帧图像上，得到投影点计算投影点与第i帧上p1对应的特征匹配点p2的重投影误差e，以位姿变化SE(3)矩阵和逆深度d为优化变量，优化求解出当前关键帧与第i帧的位姿变化SE(3)矩阵，以及当前关键帧中特征点的逆深度d′，使重投影误差最小；计算当前关键帧中所有特征点逆深度优化值d′与优化前逆深度d的比值d′/d，并对当前关键帧中所有特征点的比值加权平均后，作为第i帧与当前关键帧对应相机之间位姿变化的尺度参数s；根据优化后的位姿变化SE(3)矩阵和尺度参数s，得到第i帧与当前关键帧之间的相机位姿变化SIM(3)矩阵；步骤3.2：根据步骤3.1得到第i帧与当前关键帧之间第一次优化后的相机位姿变化SIM(3)矩阵和特征点匹配关系，再用逆深度滤波方法更新当前关键帧特征点的逆深度；步骤3.3：采用基于图优化的方法再次优化第i帧与当前关键帧之间的相机位姿变化SIM(3)矩阵和当前关键帧特征点的逆深度，并将最终优化的具有逆深度的特征点更新到地图中；步骤3.4：若步骤3.3得到的第i帧与当前关键帧之间的相机位姿变化大于设定的位姿变化阈值，且第i帧与当前关键帧的特征匹配点对数小于第i帧特征点数量的1/2时，则第i帧确定为新的关键帧，更新成为当前关键帧；步骤4：将采集到的图像和步骤3更新后的点云地图传回地面端进行后续处理：步骤4.1：利用k-d树算法聚类点云地图中的空间点，取每个聚类中空间点坐标的均值作为聚类的中心空间坐标，所有聚类的中心空间坐标组成一个新的点集；步骤4.2：将步骤4.1得到的新点集中的空间点投影到采集到的每张图像上，若图像上的投影点数量大于设定阈值，则保留该图像，否则，删除该图像；通过筛选得到一个新的图像集合；步骤4.3：根据图割原理，对步骤4.2得到的图像集合进行分割得到图像簇，使得每个图像簇中图像的数量小于给定的阈值；步骤5：对步骤4得到的每个图像簇，对其内部的图像分别进行特征提取并匹配，生成一系列三维空间点，利用空间点生成贴片，并过滤掉误差较大的贴片，得到稠密空间点集：步骤5.1：利用DOG金字塔和Harries算子对每个图像簇中的所有图像进行特征提取：对于一个图像簇中的某个图像Ii，在图像簇中的其他图像中选取主光轴与图像Ii夹角小于设定角度的图像组成图像集合I(p)；利用特征匹配法寻找图像Ii与I(p)中每幅图像的特征匹配点对，利用特征匹配点对通过三角化方法生成三维空间点，将三维空间点按照与Ii对应的光心O(Ii)距离从小到大排列；依次采用以下方法生成贴片，得到一系列初始化的稀疏贴片：贴片p生成方法：对于一个贴片p，由中心点c(p)和法向量n(p)表示；利用得到的三维空间点初始化候选贴片的中心点c(p)，c(p)与O(Ii)的单位方向向量为法向量n(p)；每个贴片p的中心点c(p)是由图像Ii和图像集合I(p)中对应的匹配图像Ij得到，将这两张图像Ii和Ij首先加入贴片的可视图集V(p)；再将中心点c(p)投影到图像集合I(p)中除Ij外的其他图像上，若在某一图像Im存在投影点，且c(p)和该图像Im对应光心的射线与n(p)方向夹角大于设定角度阈值，则将此图像Im加入贴片p的可见图集V(p)；定义光度误差函数：其中V(p)表示贴片p的可视图集，R(p)表示贴片p的参考图像，I表示除参考图像R(p)外可视图集V(p)里的任一图像，h(p,I,R(p))是指图像I和R(p)之间的光度误差；光度误差函数的自变量是贴片p的中心点c(p)、法向量n(p)和可视图集V(p)；通过共轭梯度法最小化贴片p的光度误差函数，更新c(p)、n(p)、V(p)；如果可见图集V(p)中的图像数量大于设定阈值，贴片p生成成功，否则不接受此贴片；步骤5.2：扩散初始化的贴片，生成稠密的贴片：对于贴片p和对应的V(p)，将V(p)中的每个图像分成β×β像素的图像块Ci(x,y)，x,y表示图像块的下标，i表示V(p)中的第i张图像；将贴片p投影到V(p)中的每个图像，对于投影到图像块Ci(x,y)的贴片用贴片集合Qi(x,y)表示；将所有在步骤5.1中生成成功的贴片p均重复此过程；得到图像簇中每个图像对应图像块的贴片集合；对于某一贴片p，找到满足以下条件的邻域图像块集合C(p)：C(p)＝{Ci(x′,y′)|p∈Qi(x,y),|x-x′|+|y-y′|＝1}当存在贴片p′和p是近邻关系，且p′所对应的图像块Ci(x′,y′)满足Ci(x′,y′)∈C(p)时，从C(p)中删除Ci(x′,y′)；对C(p)中剩余的图像块，建立新的贴片，新贴片中心为通过此图像块中心以及光心的射线与贴片p所在平面的交点，新贴片的法向量与贴片p法向量一致；将新贴片中心投影到贴片p对应的可视图...
【专利技术属性】
技术研发人员：布树辉，张咪，赵勇，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。