基于三维地图生成的航拍图像目标地理定位方法技术

本发明专利技术涉及一种基于三维地图生成的航拍图像目标地理定位方法，属于图像处理技术领域。其尽可能减少传感器误差源引入，仅利用在线采集的航拍图像序列与GPS信息来实时生成并优化机载相机位姿和稀疏地理地图，同时将可视范围内地图点在图像上投影与三角剖分以快速获得该图像带地理信息的三角网格，进而基于这些网格顶点，采用三角形内部线性插值方法准确估计目标像素点GPS值。本方法在各种复杂环境中、不同飞行高度以及不同姿态角下都能获得良好的地面目标地理定位结果。好的地面目标地理定位结果。好的地面目标地理定位结果。

【技术实现步骤摘要】
基于三维地图生成的航拍图像目标地理定位方法


[0001]本专利技术属于图像处理
，具体涉及一种基于三维地图生成的航拍图像目标地理定位方法，其利用无人机机载视频通过快速构建场景三维地图实现图像目标地理位置精确估计。

技术介绍

[0002]从空中平台对感兴趣的地面目标进行地理定位是视觉监视等许多应用中的一项重要活动。然而，由于机载传感器如陀螺仪的测量精度有限，目前基于无人机的地面目标定位算法大多难以立即地获得精确的地理位置，尤其在中高空的精度很难保证。常用的解决方案包括：1)基于图像配准的地面目标定位。这种方案需要预先得到基础图像的先验信息，通过与先验图像信息进行匹配来得到地面目标的精确位置。这种方法一般可以同时对多点定位，但是其依赖先验知识如卫星图像，而且目标定位的精度受先验知识提供的空间位置精度的影响较大。2)基于坐标变换的地面目标定位。这种方法利用无人机GPS位置，根据图像坐标系，机体坐标系和大地坐标系之间的转换关系计算目标的实际地理坐标，常常会引入无人机姿态角。这种直接计算方案虽然简单易懂且计算成本低，但目标地理定位的精度仍不够且测量出的低精度姿态角是误差的主要来源，尤其在无人机的飞行高度较高时。为了解决这个问题，文献“Vision
‑
Based Target Three
‑
Dimensional Geolocation Using Unmanned Aerial Vehicles，IEEE Transactions on Industrial Electronics,65(10):8052
–
8061,2018”设计了一种基于视觉的地理定位方法来确定目标的3
‑
D位置，其利用从不同视点拍摄的两个或多个包含目标的图像来准确估计目标高度和偏航角测量偏差并进行地面目标的三维定位。这种基于多点观测的解决方案是目前的一个重要研究方向，但仍面临地理定位精度不够，飞行高度受限，且难以同时兼顾静止与运动目标精确定位的困难。

技术实现思路

[0003]要解决的技术问题
[0004]为改善无人机图像中多目标地理定位效果，本专利技术提出了一种基于三维地图生成的航拍图像目标地理定位方法。
[0005]技术方案
[0006]一种基于三维地图生成的航拍图像目标地理定位方法，其特征在于步骤如下：
[0007]步骤1：位姿估计与三维地图生成：针对在线采集的航拍图像，首先提取图像特征点并与相邻关键帧进行特征匹配；然后利用位姿估计方法确定并优化当前摄像机的位姿，同时生成三维地图点并判断是否插入关键帧；最后，将当前图像以及获得的对应摄像机位姿暂存进缓存区B中；此缓存区能够支持存储b个图像及其对应摄像机的位姿与GPS；
[0008]步骤2：位姿与地图联合优化：将步骤1确定的新关键帧K插入关键帧列表中，同时将新增加的三维点更新到三维地图中；之后，基于新的关键帧及其具有共视关系的关联关键帧，以及他们对应的三维点，通过最小化重投影误差进行地图点坐标和关键帧位姿的联
合优化；
[0009]步骤3：三维地图地理信息恢复：当关键帧列表中帧数N大于3时，根据地图中关键帧位姿与其一一对应的GPS来确定参考地理坐标系与三维地图坐标系的地理转换矩阵，包括缩放系数s、旋转矩阵R以及平移矩阵T；这里选择地心地固ECEF直角坐标系作为参考地理坐标系，因此在估计转换矩阵时需将GPS坐标转化为ECEF坐标；
[0010]步骤4：有效关键帧快速筛选：当步骤1缓存图像数目等于m且步骤3存在有效的地理转换矩阵时，从缓冲区B的起始位置获取待处理图像及其对应摄像机的位姿与GPS值，进而对此图像进行目标地理位置估计；本步骤先利用图像对应的GPS值，无人机大致飞行高度以及机载相机的视场角计算监控视场范围；再以为原点，视场范围对角线长度的2倍为半径来划定区域，进而在三维地图中确定处于该区域内的有效关键帧；这些关键帧对应的摄像机很有可能与图像对应的摄像机存在共视关系；
[0011]步骤5：图像三角网格生成：基于选择的有效关键帧，首先获取三维地图中这些关键帧的可视三维点集合，避免引入所有地图点以导致后续较大的工作量；然后，利用图像的位姿将这些三维点进行重投影，保留投影在图像中的二维像素点集合；最后采用Delaunay三角剖分将图像中这个离散二维像素点集划分为多个三角形网格，并保证以最近的三点形成三角形，形成均匀而平滑三角网格；
[0012]步骤6：图像目标经纬度估计：基于图像生成的三角形网格，先确认目标像素点所归属的三角形，并获得三个顶点的像素坐标；之后，根据目标点与三个顶点的在图像像素位置分布，利用三个顶点的三维地图坐标采用三角形内部线性插值方法估计目标像素点在地图中的三维坐标；最后利用步骤3得到的地理转换矩阵计算此目标在参考地理坐标系的ECEF坐标，进而得到其GPS位置。
[0013]优选地：步骤1中位姿估计方法具体为：初始化过程为2D
‑
2D、帧跟踪过程为3D
‑
2D。
[0014]优选地：步骤1中同时生成三维地图点并判断是否插入关键帧具体为：根据当前图像与最新关键帧重叠区域的占据比例是否大于设定阈值判断是否插入关键帧。
[0015]有益效果
[0016]本专利技术提出的一种基于三维地图生成的航拍图像目标地理定位方法，该方法尽可能减少传感器误差源引入，避免了姿态角、地形平坦假设以及任何先验信息如数字高程模型(DEM)的使用，仅利用在线采集的机载图像序列与GPS信息实时生成与优化场景的三维稀疏地理地图，并通过地图点投影与三角剖分实现图像中目标像素点地理位置的快速估计，有效提高了地面目标定位的精度与速度，适用于无人机实时监控或应急救援系统中。
[0017]与现有技术相比，该专利技术仅利用单目航拍图像序列与GPS信息，通过避免引入多种传感器误差源如姿态角，以及一些约束条件如地形数据的先验，利用在线生成三维地理地图，有效提高了目标地理定位的精度与速度，实现了航拍图像中多目标经纬度的快速精确估计，且其定位效果兼顾运动与静止目标。
附图说明
[0018]附图仅用于示出具体实施例的目的，而并不认为是对本专利技术的限制，在整个附图中，相同的参考符号表示相同的部件。
[0019]图1是基于三维地图生成的航拍图像目标地理定位方法的流程图。
具体实施方式
[0020]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。此外，下面描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0021]本专利技术提出的一种基于三维地图生成的航拍图像目标地理定位方法，包括下述步骤：位姿估计与三维地图生成，位姿与地图联合优化，三维地图地理信息恢复，有效关键帧快速筛选，图像三角网格生成以及图像目标经纬度估计。
[0022](a)位姿估计与三维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维地图生成的航拍图像目标地理定位方法，其特征在于步骤如下：步骤1：位姿估计与三维地图生成：针对在线采集的航拍图像，首先提取图像特征点并与相邻关键帧进行特征匹配；然后利用位姿估计方法确定并优化当前摄像机的位姿，同时生成三维地图点并判断是否插入关键帧；最后，将当前图像以及获得的对应摄像机位姿暂存进缓存区B中；此缓存区能够支持存储b个图像及其对应摄像机的位姿与GPS；步骤2：位姿与地图联合优化：将步骤1确定的新关键帧K插入关键帧列表中，同时将新增加的三维点更新到三维地图中；之后，基于新的关键帧及其具有共视关系的关联关键帧，以及他们对应的三维点，通过最小化重投影误差进行地图点坐标和关键帧位姿的联合优化；步骤3：三维地图地理信息恢复：当关键帧列表中帧数N大于3时，根据地图中关键帧位姿与其一一对应的GPS来确定参考地理坐标系与三维地图坐标系的地理转换矩阵，包括缩放系数s、旋转矩阵R以及平移矩阵T；这里选择地心地固ECEF直角坐标系作为参考地理坐标系，因此在估计转换矩阵时需将GPS坐标转化为ECEF坐标；步骤4：有效关键帧快速筛选：当步骤1缓存图像数目等于m且步骤3存在有效的地理转换矩阵时，从缓冲区B的起始位置获取待处理图像及其对应摄像机的位姿与GPS值，进而对此图像进行目标地理位置估计；本步骤先利用图像对应的GPS值，无人机大致飞行高度以及机载相机的视场角计算监控视场范围；再以为原点，视场范围对角线长度的2倍为半径来划定区...

【专利技术属性】
技术研发人员：杨涛，张芳冰，李东东，王志军，范婧慧，李烨，宁雅佳，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：