本发明专利技术属于无人机定位技术领域，公开了一种GPS拒止环境下无人机集群实时定位方法及系统包括：无人机集群首先检测并匹配其所捕捉到的图像彼此之间的显著特征；对共性特征进行三角化，形成稀疏重构，生成所有无人机都可以访问的全局地图；无人机开始移动，每架无人机通过跟踪全局地图中的特征，进行各自的位姿估计。本发明专利技术的无人机也可以通过特征匹配和基于多视图几何的相对位姿计算，将相对测量与单个测量融合起来，提高定位的准确性；无人机集群继续飞行，当其跟踪到的特征点的数量低于某一阈值时，则无人机集群重新检测并匹配其所捕捉到的图像的特征点，更新全局地图，以避免因周围环境的变化或无人机快速运动影响定位的效果。
A Real-time Location Method and System for UAV Cluster in GPS Denial Environment
【技术实现步骤摘要】
一种GPS拒止环境下无人机集群实时定位方法及系统
本专利技术属于无人机定位
，尤其涉及一种GPS拒止环境下无人机集群实时定位方法及系统。
技术介绍
目前，业内常用的现有技术是这样的：无人机在侦查、打击等作战任务中有着很重要的价值，随着无人机的应用场景越来越复杂，对精确定位的需求也变得至关重要。传统的无人机定位方法由全球定位系统(GPS)和惯性测量单元(IMU)组合完成，虽然这种方法实现起来简单明了，但也存在很多局限性，如GPS信号在杂乱的环境或低空飞行时，会受到障碍物的影响，且完全不适用于室内飞行。考虑到GPS/IMU融合导航的这些局限性，大量学者们开始研究如何在GPS拒止环境下实现无人机实时定位。其中主流方案是通过无人机视觉传感器采集的图像序列估计无人机的位姿从而实现定位。基于视觉的定位方案成本低，适用于没有先验环境信息的地区，且无需外部设施辅助，但是基于视觉的方案在昏暗的环境、雨雪天气、快速运动等情况下的效果并不理想甚至失效。为此，有学者提出了一些改进的视觉算法，如利用卡尔曼滤波器将基于视觉得到的位置估计值与IMU数据进行融合，实现更为准确的位置估计，且增加了算法的适用性。然而其计算量大，在单架无人机上运行耗时久，使得定位的效率低，且会导致定位有一定的时间延迟。还有学者提出了动态场景下的视觉协同定位方案，其主要步骤是：1)通过分析特征点的三角剖分一致性将每个特征点分为动态或静态；2)根据特征点的重叠部分，将无人机进行分组；3)各组无人机通过其所捕获的图像构建全局3D地图，并分别在各组内共享；4)在静态场景下，使用无人机个体位姿估计(即通过跟踪全局地图的特征点估计无人机位姿)进行定位，在动态场景下(当静态点很少或固定在某一很小的区域内时)，使用无人机相对位姿估计(通过和另一已知位置的无人机捕获的图像进行特征匹配，估计其相对位姿势)进行定位。多架无人机的协作可帮助提高定位的准确性，且允许将复杂的计算任务分配给领头的无人机或地面站。不过单纯的视觉方案其效果依赖于场景的丰富度，且快速运动时，传感器抖动以及采集图像的速率限制将会导致定位的失败。综上所述，现有技术存在的问题是：(1)适用性不强，现有的基于视觉定位方案对于环境要求较高，光线昏暗、场景丰富度较低(如一面白墙)、动态场景等情况下都很难精确定位，在无人机快速运动时定位甚至会失效，因此无法适用于实际应用中的复杂情形。(2)稳定性差，传感器采集的图像模糊、图传信号不稳定都会极大的影响定位效果。(3)定位效率低，视觉定位的计算量大，耗时久，而摄像头采集图像的速率较低，这些都会导致定位的效率低。解决上述技术问题的难度：解决GPS拒止环境下无人机的实时定位问题需要深入了解图像特征点检测、特征点匹配、三维重建地图、基于多视图的位姿估计、卡尔曼滤波器以及IMU模型等相关知识，且需考虑到所设计的方案在实际应用中的各种情况，其具有一定的复杂性。解决上述技术问题的意义：无人机在军事、农业、物流等领域都有着巨大的发展前景，开发智能化的无人机是未来的发展趋势，而无人机能够实现自主定位是其实现智能化的基础。解决GPS拒止环境下无人机的实时定位问题将有效的扩大无人机的应用场景。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种GPS拒止环境下无人机集群实时定位方法及系统。本专利技术是这样实现的，一种GPS拒止环境下基于IMU和视觉的无人机集群实时定位方法，包含以下内容：本专利技术所涉及的无人机均配备单目摄像头、视觉处理计算机以及IMU，且无人机之间可以进行通信，共享地图信息，传输和接收数据。所述的GPS拒止环境下实时定位方法具体步骤如下：第一步，图像采集模块实时采集无人机的视觉传感器捕获的图像信息并对所获的图像信息进行预处理；第二步，长机通过通信模块实时接收僚机的图像特征信息及位姿信息，进行特征检测、匹配以及3D重建构建周围环境的全局地图，并将得到的全局地图通过通信模块传送给僚机；第三步，各僚机及长机通过内部定位模块跟踪全局地图的特征点，若跟踪到的特征点数量低于某一阈值，则返回上一步重新构建全局地图，否则根据追踪到的特征点并结合IMU模块的测量值估计自身的位姿，即可得到初步的定位结果；第四步，僚机还将通过相对定位模块计算其与长机的相对位姿来修正上一步的定位结果；第五步，输出模块实时输出修正后的定位结果。进一步，所述第二步无人机集群首先检测并匹配其所捕捉到的图像之间的显著特征，图像特征点是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点；采用了AKAZE算法提取图像特征点；接着采用暴力匹配算法匹配图像特征点，得到匹配的特征点对。进一步，所述第二步对匹配到的共性特征进行三角化，形成稀疏重构，生成所有无人机共享的全局地图，全局地图的构建过程如下：对所有无人机相机采集的图像进行两两的特征点匹配，选取共性特征点最多的两张图像开始初始的3D重建，生成了初始的地图，其它无人机将根据它们对初始地图特征点的跟踪逐步地被包含在这个3D重建地图中，最终得到关于周围环境的全局地图。进一步，3D重建的过程是：根据特征匹配点对利用五点算法估计本质矩阵E，两个视图之间的相对旋转R和平移t在与本质矩阵有如下关系：E＝[t]×R；由上式，通过SVD分解本质矩阵得到相对位姿；再根据相对位姿，从而恢复两相机的投影矩阵，即可利用三角法及特征点重建出三维点。进一步，所述第三步随着无人机的移动，每架无人机通过跟踪全局地图中的特征点，并结合IMU的观测值估计各自的位姿；通过基于优化的紧耦合方法融合视觉数据和IMU数据，即通过最小化重投影误差加上IMU的时间误差的和对位姿估计进行改进，其数学表达式为：其中mk表示k时刻无人机的位姿估计值，P是相机投影矩阵，P(Xi，mk)表示将三维点Xi投影到相机图像平面上的位置，而xi是k时刻图像中实际特征点位置,f(mk-1，zk)表示k时刻IMU的测量值为zk得到的无人机位姿推导值，Vk表示有关IMU的运动方程的协方差矩阵；在内部定位过程中还利用了卡尔曼滤波框架对无人机状态进行预测和更新。进一步，所述第四步协方差交集算法融合内部定位结果与相对定位结果的具体步骤是：通过下列公式并使用相对测量数据无人机i计算出它与长机j的相对位姿和协方差的估计值，记之为和然后使用协方差交集算法将这两个估计值进行融合：进一步，所述GPS拒止环境下无人机集群实时定位方法无人机配备单目摄像头，且与其他无人机进行通信，共享地图信息，传输或接收相对位姿数据。进一步，所述GPS拒止环境下无人机集群实时定位方法的无人机通过特征匹配和基于多视图几何的相对位姿计算，将相对测量与单个测量融合；无人机集群继续飞行，跟踪到的特征点的数量低于某一阈值时，则无人机集群重新检测并匹配其所捕捉到的图像的特征点，更新全局地图。本专利技术的另一目的在于提供一种基于所述GPS拒止环境下无人机集群实时定位方法的GPS拒止环境下无人机集群实时定位系统，所述GPS拒止环境下无人机集群实时定位系统包括：图像采集模块，用于将无人机的视觉传感器获得的图像实时传入系统中，并对所获的图像信息进行预处理；通信模块，用于实现无人机集群间图像信号的传送和接收；地图构建模块，用于构建可在所有无人机间共享的全局地图，用于每架无人机的内部定位；IMU模块，用本文档来自技高网...
【技术保护点】
1.一种GPS拒止环境下无人机集群实时定位方法，其特征在于，所述GPS拒止环境下无人机集群实时定位方法包括：第一步，图像采集模块实时采集无人机的视觉传感器捕获的图像信息并对所获的图像信息进行预处理；第二步，长机通过通信模块实时接收僚机的图像特征信息及位姿信息，进行特征检测、匹配以及3D重建构建周围环境的全局地图，并将得到的全局地图通过通信模块传送给僚机；第三步，各僚机及长机通过内部定位模块跟踪全局地图的特征点，若跟踪到的特征点数量低于某一阈值，则返回上一步重新构建全局地图，否则根据追踪到的特征点并结合IMU模块的测量值估计自身的位姿，即可得到初步的定位结果；第四步，僚机还将通过相对定位模块计算其与长机的相对位姿修正上一步的定位结果；第五步，输出模块实时输出修正后的定位结果。
【技术特征摘要】
1.一种GPS拒止环境下无人机集群实时定位方法，其特征在于，所述GPS拒止环境下无人机集群实时定位方法包括：第一步，图像采集模块实时采集无人机的视觉传感器捕获的图像信息并对所获的图像信息进行预处理；第二步，长机通过通信模块实时接收僚机的图像特征信息及位姿信息，进行特征检测、匹配以及3D重建构建周围环境的全局地图，并将得到的全局地图通过通信模块传送给僚机；第三步，各僚机及长机通过内部定位模块跟踪全局地图的特征点，若跟踪到的特征点数量低于某一阈值，则返回上一步重新构建全局地图，否则根据追踪到的特征点并结合IMU模块的测量值估计自身的位姿，即可得到初步的定位结果；第四步，僚机还将通过相对定位模块计算其与长机的相对位姿修正上一步的定位结果；第五步，输出模块实时输出修正后的定位结果。2.如权利要求1所述的GPS拒止环境下无人机集群实时定位方法，其特征在于，所述第一步无人机集群首先检测并匹配其所捕捉到的图像之间的显著特征，图像特征点是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点；采用了AKAZE算法提取图像特征点；接着采用暴力匹配算法匹配图像特征点，得到匹配的特征点对。3.如权利要求1所述的GPS拒止环境下无人机集群实时定位方法，其特征在于，所述第二步对匹配到的共性特征进行三角化，形成稀疏重构，生成所有无人机共享的全局地图，全局地图的构建过程如下：对所有无人机相机采集的图像进行两两的特征点匹配，选取共性特征点最多的两张图像开始初始的3D重建，生成了初始的地图，其它无人机将根据它们对初始地图特征点的跟踪逐步地被包含在这个3D重建地图中，最终得到关于周围环境的全局地图。4.如权利要求3所述的GPS拒止环境下无人机集群实时定位方法，其特征在于，3D重建的过程是：根据特征匹配点对利用五点算法估计本质矩阵E，两个视图之间的相对旋转R和平移t在与本质矩阵有如下关系：E＝[t]×R；由上式，通过SVD分解本质矩阵得到相对位姿；再根据相对位姿，从而恢复两相机的投影矩阵，即可利用三角法及特征点重建出三维点。5.如权利要求1所述的GPS拒止环境下无人机集群实时定位方法，其特征在于，所述第三步随着无人机的移动，每架无人机通过跟踪全局地图中的特征点，并结合IMU的观测值估计各自的位姿；通过基于优化的紧耦合方法融合视觉数据和IMU数据，即通过最小化...
【专利技术属性】
技术研发人员：王维平，汪冬惠，王涛，李小波，朱一凡，周鑫，王彦锋，井田，陈伟，常强，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南,43
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。