The invention discloses a method for real-time orientation and sparse point cloud generation of UAV video images based on ORBSLAM. The method uses two-dimensional Laplacian operator to detect ambiguity, eliminates blurred frames, and uses phase correlation algorithm to estimate motion, initially eliminates frames with small displacement, thereby reducing the computational complexity of feature matching. An adaptive threshold closed-loop detection algorithm is proposed, and the image similarity is weighted by Perceptual Hashing algorithm, which improves the connectivity of the constructed graph and improves the reliability and accuracy of Closed-loop Detection and graph optimization. Based on ORBSLAM framework, considering the particularity of UAV video data, the method is improved from three parts: key frame selection, Closed-loop Detection and graph optimization to realize real-time orientation and point cloud generation of UAV image.
【技术实现步骤摘要】
基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法
本专利技术涉及SLAM技术,尤其涉及一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法。
技术介绍
地质灾害会造成巨大的财产损失和人员伤亡,在灾害发生过程中与发生后及时获取现场信息并转化为有效数据、为救灾提供帮助即为当前头等问题。载人飞机与传统卫星遥感技术因成本和现场环境因素的限制,只有在某些情况下才能满足需求,而无人机系统与之相比有其独特的优势。使用无人机获取航拍视频并实时处理获取有效的地形地貌数据将会给应急救灾领域提供巨大的帮助。SLAM是SimultaneousLocationandMapping的缩写,即为“同时定位与地图构建”。它是指在没有环境先验信息的基础上搭载某种特定传感器的主体,在运动过程中建立周围环境的模型并同时估计自己的运动。在此讨论的传感器主要为相机,即根据一张张连续运动的图像来推断相机的运动与恢复周围环境的情况,故称为“视觉SLAM”。只使用一个摄像头进行SLAM的做法称作“单目SLAM”,视频数据即为连续的一帧帧单张相片,而相片的本质为外部环境在成像平面上的一个投影,以二维的相片反映了三维的环境。在投影过程中我们无法通过单张相片来计算场景中物体距离相机投影中心的距离,即损失了深度信息。如果想恢复三维结构则需要改变相机的视角,在单目SLAM中我们通过移动相机来估计它的运动(Motion),同时估计场景中物体的远近大小,即结构(Structure)。当相机移动时,近处物体在相片上运动快,远处物体则相反,这在逐帧图片上形成了视差。视差可以让我们获得物体的远近 ...
【技术保护点】
1.一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法,其特征在于,包括以下步骤:1)实时采集获取无人机视频影像帧;2)使用改进的关键帧选取方法选取关键帧;具体如下:2.1)对输入的影像帧进行模糊度检测,将检测到的模糊帧剔除;采用各向同性微分的拉普拉斯算子进行模糊度检测,将个二维图像f(x,y)的拉普拉斯算子定义为:
【技术特征摘要】
1.一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法,其特征在于,包括以下步骤:1)实时采集获取无人机视频影像帧;2)使用改进的关键帧选取方法选取关键帧;具体如下:2.1)对输入的影像帧进行模糊度检测,将检测到的模糊帧剔除;采用各向同性微分的拉普拉斯算子进行模糊度检测,将个二维图像f(x,y)的拉普拉斯算子定义为:在二维图像上,其离散的表达方式为:用一个卷积核来表示这个滤波器:对作拉普拉斯算子卷积后的图像求均值,将均值作为模糊度检测的判定指标,将检测到的低于均值的模糊帧剔除;2.2)采用相位相关算法进行图传视频帧运动检测,剔除运动位移较小的帧;对于两张仅存在平移变换的影像,假设f1(x,y),f2(x,y)分别为连续的两帧,由于相邻两帧姿态变化很小且相机距离场景较远,认为f2(x,y)是f1(x,y)平移(Δx,Δy)得到,即:f2(x,y)=f1(x-Δx,y-Δy)根据傅里叶变换到频域,表示为:F2(x,y)=F1(u,v)*e-2πi(uΔx+vΔy)互功率谱(cross-powerspectrum)可表示为:对互功率谱作反傅里叶变化得到归一化的互相关系数r(NormalizedCross-Correlation):r=F-1(H(u,v))在无噪声的情况下,该值只有在(Δx,Δy)处取极大值,通过寻找这个系数的峰值来找到对应点的坐标,因而求得平移量(Δx,Δy),平移量大小若平移量dist小于设定阈值,则剔除该帧;对于存在旋转和平移的两张影像,假设图像f2(x,y)是图像f1(x,y)经平移(Δx,Δy)、旋转角度后得到的图像,用下面公式表示为:根据傅里叶旋转平移特性,FFT变换后两图像间的关系如下:由上式看出F1,F2能量是相同的,把直角坐标转到极坐标可表示如下:再由仅存在平移影像部分所述的方法,在极坐标系下用相位相关可求出旋转角度最后对图像以角度做旋转,旋转得到图像与原图再次用仅存在平移影像部分所述的方法就可求出图像间的平移参数;3)采用ORBSLAM中的求解影像位姿的方法,获取关键帧的位姿;4)闭环检测;取新加入关键帧与相邻关键帧的共有单词数为N0,与新加入关键帧重叠...
【专利技术属性】
技术研发人员:詹总谦,李一挥,王陈东,
申请(专利权)人:武汉大学,
类型:发明
国别省市:湖北,42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。