一种无人机航拍图像实时增量拼接方法技术

本发明专利技术公开了一种无人机航拍图像实时增量拼接方法，包括：创建新地图模板；监听无人机航拍图像存放文件夹，实时更新图像拼接序列；设置拼接路线参数；图像拼接；新地图生成；中心偏移矫正。本发明专利技术可实现在未知区域环境下快速、实时、增量、健壮、高效的长距离、多条带无人机航拍图像拼接。机航拍图像拼接。机航拍图像拼接。

【技术实现步骤摘要】
一种无人机航拍图像实时增量拼接方法


[0001]本专利技术涉及无人机技术，具体涉及一种无人机航拍图像实时增量拼接方法。

技术介绍

[0002]基于无人机拍摄得到的航拍图像序列快速拼接构建全景图像具有十分重要的应用价值与研究意义，既可用于军事领域（例如空中敌情侦查、边境巡逻等），也可用于民用领域（例如空中测绘、空中交通侦查、灾情空中侦查等）。在许多具体任务中，为了扩大视场范围、获取更全面的信息，通过快速图像拼接技术构建全景图像至关重要，基于无人机航拍图像序列的图像拼接技术已经成为了一大研究热点。
[0003]无人机航拍图像拼接主要有四个步骤：图像几何矫正、图像预处理、图像配准和图像融合。
[0004]图像几何矫正。由于无人机体积较小、自稳定性较差，在拍摄过程中难免会出现倾斜和抖动，所以首先要对无人机拍摄得到的航拍图像进行几何矫正，矫正在成像过程中产生的边缘畸变、中心偏移等各种畸变，生成一幅符合拼接要求的新图像。
[0005]图像预处理。图像预处理是指将待拼接的图像统一到所建立的坐标系中。
[0006]图像配准。图像配准是指对图像之间的匹配信息进行提取，在所提取的信息中根据相应的匹配策略寻找最佳的匹配对，以此作为图像之间相互对齐统一的依据，完成图像之间的对齐统一。
[0007]图像融合。图像融合是指在图像配准之后镶嵌图像并平滑边界使图像拼接过渡自然。
[0008]其中图像几何矫正较为困难，若图像畸变较为严重，会影响图像拼接效果，而图像拼接成功的关键则是图像配准。
[0009]目前主流的图像拼接算法主要是基于特征提取与匹配的方法，采用深度学习算法或特征描述算子检测并提取图像的特征关键点，然后根据特定的匹配策略匹配图像之间的特征关键点，计算对应的单应矩阵，从而把多幅图像变换到同一视场下，实现图像拼接。
[0010]国内外对于无人机航拍图像拼接技术展开了诸多研究，有一种基于Fourier
‑
Mellin变换和特征点匹配的图像配准算法，采用Fourier
‑
Mellin变换计算初始配准参数，然后根据初始配准参数对图像间所提取的特征点进行映射，完成点匹配和优化过程，得到一对一匹配点对，再使用最小二乘法计算最终配准参数。
[0011]有采取ORB特征描述算子进行特征提取，提出一种基于描述符相似度的快速鲁棒特征匹配策略，对无人机拍摄得到的图像序列之间的空间仿射变换进行建模，引入一个鲁棒贝叶斯框架来估计这个变换，同时提出一种渐变衰落方法来进行图像融合。
[0012]有提出一种VGG风格的回归Homography网络，学习两个图像之间的单应性，使用神经网络得到一个中间变量Homography，再使用Homography进行配准，而不必再将特征点检测和变换估计分开。
[0013]有提出一种小型无人机航拍图像序列快速拼接方法，该方法利用少量地面控制点
的束平差来估计图像与地面之间的单应变换，计算正射校正参数，然后根据计算得到的正射校正参数对图像进行校正和合并，生成整个场景的拼接全景图像。
[0014]无人机航拍图像序列具有数量大、多条带、相邻帧之间相位幅值小、重叠度高等特点，并且由于无人机在航拍过程中难免会出现倾斜和抖动，导致拍摄得到的图像与真实场景存在一定的仿射畸变。现有的拼接技术大多无法适应无人机航拍图像序列拼接任务的需求，当飞行距离较远、所拼接的图像数量增加时，所耗费的拼接时间将会暴增，并且随着误差的不断累积，后续的拼接效果将会十分不理想，存在严重的畸变现象，无法同时满足实时性、增量式、鲁棒性和精度要求。

技术实现思路

[0015]本专利技术的主要目的在于提供一种无人机航拍图像实时增量拼接方法，解决现有无人机航拍图像序列拼接技术存在的问题。
[0016]本专利技术采用的技术方案是：一种无人机航拍图像实时增量拼接方法，包括：创建新地图模板；监听无人机航拍图像存放文件夹，实时更新图像拼接序列；设置拼接路线参数；图像拼接；新地图生成；中心偏移矫正。
[0017]进一步地，所述创建新地图模板包括：采取WGS 84地理坐标系，根据原始地图信息或给定扫图区域信息，得到新地图的仿射变换参数信息：新地图左上角顶点的经纬度坐标和新地图的经纬度跨度参数（可以根据需要调整地图的经纬度跨度参数设置不同的地图精度等级），通过仿射变换参数可以实现图像上像素坐标与经纬度坐标之间的相互转换，同时以全黑（0初始化地图的R、G、B三波段矩阵；将经纬度坐标转化为像素坐标如下式所示：col = (longitude
ꢀ‑ꢀ
transform[0]) / trans[1]row = (latitude
ꢀ‑ꢀ
transform[3]) / trans[5]其中，col为像素点的列坐标，row为像素点的行坐标，longitude为像素点的经度值，latitude为像素点的纬度值，transform为仿射变换参数（transform[0]表示左上角经度值，transform[1]表示图像水平分辨率，即像素经度跨度，transform[2]表示旋转角度，正北朝上则为0，transform[3]表示左上角纬度值，transform[4]表示旋转角度，正北朝上则为0，transform[5]表示图像垂直分辨率，即像素纬度跨度）在上式中，图像正北朝上，即transform[2]、transform[4]的值均为0。
[0018]更进一步地，所述设置拼接路线参数包括：设置飞行线路角度参数、相邻帧移动距离参数和拼接图像跨度参数，对于当前待拼接图像，结合其与前两帧图像的飞控数据，判断当前是否在按预定路线做匀速直线飞行，若是，则进行拼接，否则直接跳过，剔除无人机在拼图前和转弯过程中的无效干扰图像。
[0019]更进一步地，所述图像拼接包括：
图像旋转矫正：待拼接图像的朝向并非都是正北朝上的，而是沿当前飞行线路方向，可由飞控数据中的uav_yaw参数得到，根据uav_yaw角度以图像中心点为旋转中心，构造旋转矩阵，将待拼接图像无损矫正为正北朝上，缺失背景以黑色（0,0,0）填充；旋转矩阵构造如下式所示：其中，为旋转角度（顺时针为正），为旋转中心；地理信息测定：将当前待拼接图像与前面图像做SURF特征点计算与匹配，采取KnnMatch匹配策略，根据无人机航拍图像序列特点，正确匹配的特征点之间的连线应近似平行，采取RANSAC算法剔除其中错误的匹配点，计算单应矩阵，将前面图像的中心点坐标变换到当前待拼接图像中，根据变换后的点和待拼接图像的中心点两点的像素坐标和经纬度坐标，计算待拼接图像的经纬度跨度参数；计算经纬度跨度参数如下式所示：其中，为待拼接图像中心点，为待拼接图像中心点的经纬度值，为特征匹配图像中心点，为特征匹配图像中心点的经纬度值；图像镶嵌：根据待拼接图像的经纬度跨度参数和图像中心点像素坐标和经纬度坐标，计算待拼接图像在新地图上的具体位置，并更新该区域的R、G、B三波段矩阵信息，同时去除拼缝；去除拼缝如下式所示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机航拍图像实时增量拼接方法，其特征在于，包括： 创建新地图模板；监听无人机航拍图像存放文件夹，实时更新图像拼接序列；设置拼接路线参数；图像拼接；新地图生成；中心偏移矫正。2.根据权利要求1所述的无人机航拍图像实时增量拼接方法，其特征在于，所述创建新地图模板包括：采取WGS 84地理坐标系，根据原始地图信息或给定扫图区域信息，得到新地图的仿射变换参数信息：新地图左上角顶点的经纬度坐标和新地图的经纬度跨度参数（可以根据需要调整地图的经纬度跨度参数设置不同的地图精度等级），通过仿射变换参数可以实现图像上像素坐标与经纬度坐标之间的相互转换，同时以全黑（0初始化地图的R、G、B三波段矩阵；将经纬度坐标转化为像素坐标如下式所示：col = (longitude
ꢀ‑ꢀ
transform[0]) / trans[1]row = (latitude
ꢀ‑ꢀ
transform[3]) / trans[5]其中，col为像素点的列坐标，row为像素点的行坐标，longitude为像素点的经度值，latitude为像素点的纬度值，transform为仿射变换参数（transform[0]表示左上角经度值，transform[1]表示图像水平分辨率，即像素经度跨度，transform[2]表示旋转角度，正北朝上则为0，transform[3]表示左上角纬度值，transform[4]表示旋转角度，正北朝上则为0，transform[5]表示图像垂直分辨率，即像素纬度跨度）在上式中，图像正北朝上，即transform[2]、transform[4]的值均为0。3.根据权利要求1所述的无人机航拍图像实时增量拼接方法，其特征在于，所述设置拼接路线参数包括：设置飞行线路角度参数、相邻帧移动距离参数和拼接图像跨度参数，对于当前待拼接图像，结合其与前两帧图像的飞控数据，判断当前是否在按预定路线做匀速直线飞行，若是，则进行拼接，否则直接...

【专利技术属性】
技术研发人员：魏倩茹，牛犇，侯晓松，马浩铭，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：