基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法技术

本发明专利技术公开了一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法，该方法采用二维拉普拉斯算子进行模糊度检测从而剔除模糊帧，并采用相位相关算法进行运动估计，初步剔除位移较小的帧，从而减少了特征匹配的运算量；在闭环检测与图优化部分，提出了一种自适应的阈值的闭环检测算法，并利用感知哈希算法对影像的相似性进行加权处理，改善了构建图的连通性，从而提升了闭环检测与图优化的可靠性与精度。本发明专利技术方法基于ORBSLAM框架，考虑到无人机视频数据的特殊性，从关键帧选取、闭环检测、图优化三部分进行了改进，实现了无人机图传视频影像实时定向与点云生成。

Real-time Orientation and Sparse Point Cloud Generation of UAV Video Image Based on ORBSLAM

The invention discloses a method for real-time orientation and sparse point cloud generation of UAV video images based on ORBSLAM. The method uses two-dimensional Laplacian operator to detect ambiguity, eliminates blurred frames, and uses phase correlation algorithm to estimate motion, initially eliminates frames with small displacement, thereby reducing the computational complexity of feature matching. An adaptive threshold closed-loop detection algorithm is proposed, and the image similarity is weighted by Perceptual Hashing algorithm, which improves the connectivity of the constructed graph and improves the reliability and accuracy of Closed-loop Detection and graph optimization. Based on ORBSLAM framework, considering the particularity of UAV video data, the method is improved from three parts: key frame selection, Closed-loop Detection and graph optimization to realize real-time orientation and point cloud generation of UAV image.

【技术实现步骤摘要】
基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法
本专利技术涉及SLAM技术，尤其涉及一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法。
技术介绍
地质灾害会造成巨大的财产损失和人员伤亡，在灾害发生过程中与发生后及时获取现场信息并转化为有效数据、为救灾提供帮助即为当前头等问题。载人飞机与传统卫星遥感技术因成本和现场环境因素的限制，只有在某些情况下才能满足需求，而无人机系统与之相比有其独特的优势。使用无人机获取航拍视频并实时处理获取有效的地形地貌数据将会给应急救灾领域提供巨大的帮助。SLAM是SimultaneousLocationandMapping的缩写，即为“同时定位与地图构建”。它是指在没有环境先验信息的基础上搭载某种特定传感器的主体，在运动过程中建立周围环境的模型并同时估计自己的运动。在此讨论的传感器主要为相机，即根据一张张连续运动的图像来推断相机的运动与恢复周围环境的情况，故称为“视觉SLAM”。只使用一个摄像头进行SLAM的做法称作“单目SLAM”，视频数据即为连续的一帧帧单张相片，而相片的本质为外部环境在成像平面上的一个投影，以二维的相片反映了三维的环境。在投影过程中我们无法通过单张相片来计算场景中物体距离相机投影中心的距离，即损失了深度信息。如果想恢复三维结构则需要改变相机的视角，在单目SLAM中我们通过移动相机来估计它的运动(Motion)，同时估计场景中物体的远近大小，即结构(Structure)。当相机移动时，近处物体在相片上运动快，远处物体则相反，这在逐帧图片上形成了视差。视差可以让我们获得物体的远近信息，但这仍然是一个相对值。所以单目SLAM估计的轨迹和地图，与真实世界相差一个统一的比例，称之为尺度(Scale)。经典的视觉SLAM框架主要包含了视频信息读取，视觉里程计，后端优化，回环检测以及建图五个部分。其中视觉里程计(VisualOdometry，VO)的主要任务是估算相邻图像间的运动和构建局部地图，又称为前端，提供了各帧位姿信息的初值；后端优化(Optimization)则接收各帧提供的位姿信息初值和回环检测的信息，根据匹配信息的限制对解进行优化，得到全局一致的运动轨迹和地图。回环检测(LoopClosing)负责判断新帧的内容是否为之前经过的部分，从而构成回环，为优化提供了限制条件。建图(Mapping)为SLAM的主要输出，有多种表达形式。可以是点云图或是拼接的影像等等，主要提供了相机的运动轨迹和附近环境的信息。现有单目视觉SLAM系统中，稳定性、实时性最佳的开源框架为ORBSLAM，但将其应用到无人机视频数据，尚有以下不足：(1)低空无人机视频中存在由于晃动引起的模糊，模糊帧在特征匹配中所带来的误匹配会对整体结果造成较大影响；(2)ORBSLAM对每一帧都进行特征匹配，效率较低，影响计算速度；(3)低空无人机视频数据中地物丰富，而现阶段实时处理通常使用的ORB特征往往分布不均匀(通常植被区域提取的ORB特征很少)。因此，在回环检测阶段根据匹配到的特征点数量来判断两帧之间的关联性会造成图优化中图的断连、图优化缺少回环的限制；(4)ORBSLAM中图优化仅根据影像重叠区域判断影像的交会角，对于无人机原地旋转的影像会判断为交会角较大，从而提高该类影像的权重，但实际上，因此需要对无人机原地旋转的影像进行降权处理；(5)优化基本完全基于对Co-visibilityGraph和EssentialGraph的最优解，而其中边的定权由匹配特征点的数量决定。这种简单的定权方式在场景变化明显的区域或是场景中某些地物难以提到特征的情况下难以构成比较稳健的网。
技术实现思路
本专利技术要解决的技术问题在于针对现有技术中的缺陷，提供一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法。本专利技术解决其技术问题所采用的技术方案是：一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法，包括以下步骤：1)实时采集获取无人机视频影像帧；2)使用改进的关键帧选取方法选取关键帧；具体如下：2.1)对输入的影像帧进行模糊度检测，将检测到的模糊帧剔除；采用各向同性微分的拉普拉斯算子进行模糊度检测，将个二维图像f(x,y)的拉普拉斯算子定义为：在二维图像上，其离散的表达方式为：用一个卷积核来表示这个滤波器：由于拉普拉斯为一种微分算子，因此其强调的是图像中灰度的突变，并不强调灰度级缓慢变化的区域，而由连续曝光所造成的模糊往往是这样的；对作拉普拉斯算子卷积后的图像求均值，将均值作为模糊度检测的判定指标，将检测到的低于均值的模糊帧剔除；2.2)采用相位相关算法进行图传视频帧运动检测，剔除运动位移较小的帧；对于两张仅存在平移变换的影像，假设f1(x,y),f2(x,y)分别为连续的两帧，由于相邻两帧姿态变化很小且相机距离场景较远，可近似认为f2(x,y)是f1(x,y)平移(Δx,Δy)得到，即：f2(x,y)＝f1(x-Δx,y-Δy)根据傅里叶变换到频域，可以表示为：F2(x,y)＝F1(u,v)*e-2πi(uΔx+vΔy)互功率谱(cross-powerspectrum)可表示为：对互功率谱作反傅里叶变化得到归一化的互相关系数r(NormalizedCross-Correlation)：r＝F-1(H(u,v))在无噪声的情况下，该值只有在(Δx,Δy)处取极大值，在其它地方几乎为0。我们可以通过寻找这个系数的峰值来找到对应点的坐标，因而求得平移量(Δx,Δy)，平移量大小若平移量dist小于设定阈值(0.1D)，则剔除该帧；在实际运算中，两幅图像互功率谱相位的反变换，总是含有一个相关峰值代表两幅图像的配准点,和一些非相关峰值。相关峰值直接反映两幅图像间的一致程度。对于存在旋转和平移的两张影像，假设图像f2(x,y)是图像f1(x,y)经平移(Δx,Δy)、旋转角度后得到的图像，用下面公式表示为：根据傅里叶旋转平移特性，FFT变换后两图像间的关系如下：由上式看出F1,F2能量是相同的，把直角坐标转到极坐标可表示如下：再由仅存在平移影像部分所述的方法，在极坐标系下用相位相关可求出旋转角度最后对图像以角度做旋转，旋转得到图像与原图再次用仅存在平移影像部分所述的方法就可求出图像间的平移参数；3)采用ORBSLAM中的求解影像位姿的方法，获取关键帧的位姿；4)闭环检测；ORB-SLAM在根据BOW特征共有单词数目筛选可能经过的位置时，将共有单词数最大值的0.8倍设为阈值，其意义在于挑选更多的候选帧的前提下剔除那些重叠区域过小的帧。在此我们根据关键帧选取阶段的重叠度进行判断，取新加入关键帧与相邻关键帧的共有单词数为N0，与新加入关键帧重叠度为50％的临近关键帧共有单词数为N1，取比例系数k＝N1/N0；我们在根据BOW特征共有单词数目筛选可能经过的位置时，将共有单词数最大的k倍设为阈值，即是选取重叠度在50％以上的关键帧为候选帧；ORB-SLAM在根据BOWScore选取闭环帧时将新加入关键帧与共视关键帧BOWScore的最高分的0.75倍和共视帧之间的BOWScore的最低值设为阈值。同理，本专利取新加入关键帧与相邻关键帧的BOWScore为S0，与新加入关本文档来自技高网...

【技术保护点】
1.一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法，其特征在于，包括以下步骤：1)实时采集获取无人机视频影像帧；2)使用改进的关键帧选取方法选取关键帧；具体如下：2.1)对输入的影像帧进行模糊度检测，将检测到的模糊帧剔除；采用各向同性微分的拉普拉斯算子进行模糊度检测，将个二维图像f(x,y)的拉普拉斯算子定义为：

【技术特征摘要】
1.一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法，其特征在于，包括以下步骤：1)实时采集获取无人机视频影像帧；2)使用改进的关键帧选取方法选取关键帧；具体如下：2.1)对输入的影像帧进行模糊度检测，将检测到的模糊帧剔除；采用各向同性微分的拉普拉斯算子进行模糊度检测，将个二维图像f(x,y)的拉普拉斯算子定义为：在二维图像上，其离散的表达方式为：用一个卷积核来表示这个滤波器：对作拉普拉斯算子卷积后的图像求均值，将均值作为模糊度检测的判定指标，将检测到的低于均值的模糊帧剔除；2.2)采用相位相关算法进行图传视频帧运动检测，剔除运动位移较小的帧；对于两张仅存在平移变换的影像，假设f1(x,y),f2(x,y)分别为连续的两帧，由于相邻两帧姿态变化很小且相机距离场景较远，认为f2(x,y)是f1(x,y)平移(Δx,Δy)得到，即:f2(x,y)＝f1(x-Δx,y-Δy)根据傅里叶变换到频域，表示为：F2(x,y)＝F1(u,v)*e-2πi(uΔx+vΔy)互功率谱(cross-powerspectrum)可表示为：对互功率谱作反傅里叶变化得到归一化的互相关系数r(NormalizedCross-Correlation)：r＝F-1(H(u,v))在无噪声的情况下，该值只有在(Δx,Δy)处取极大值，通过寻找这个系数的峰值来找到对应点的坐标，因而求得平移量(Δx,Δy)，平移量大小若平移量dist小于设定阈值，则剔除该帧；对于存在旋转和平移的两张影像，假设图像f2(x,y)是图像f1(x,y)经平移(Δx,Δy)、旋转角度后得到的图像，用下面公式表示为：根据傅里叶旋转平移特性，FFT变换后两图像间的关系如下：由上式看出F1,F2能量是相同的，把直角坐标转到极坐标可表示如下：再由仅存在平移影像部分所述的方法，在极坐标系下用相位相关可求出旋转角度最后对图像以角度做旋转，旋转得到图像与原图再次用仅存在平移影像部分所述的方法就可求出图像间的平移参数；3)采用ORBSLAM中的求解影像位姿的方法，获取关键帧的位姿；4)闭环检测；取新加入关键帧与相邻关键帧的共有单词数为N0，与新加入关键帧重叠...

【专利技术属性】
技术研发人员：詹总谦，李一挥，王陈东，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42