一种基于SURF的快速无人机航拍图像拼接算法制造技术

本发明专利技术公开了一种基于SURF的快速无人机航拍图像拼接算法，首先对图像进行预处理，由于无人机拍摄图像尺寸过大，将所有图像降采样到一定尺寸。再利用SURF算法生成64维特征向量，然后利用最近邻和次近邻距离比值得到粗匹配对。之后利用RANSAC去除误匹配对并求解图像间的透视变换矩阵，由于无人机视角的变化，对透视变换矩阵进行调整并转换匹配图像，最后使用多频段融合算法融合图像以实现图像的无缝拼接。本发明专利技术能够对无人机拍摄的高精度高分辨率图像进行快速的图像拼接，拼接边缘过渡平滑且保留更多细节。

A fast aerial image mosaic algorithm for Unmanned Aerial Vehicle Based on SURF

The invention discloses a fast unmanned aerial vehicle image mosaic algorithm based on SURF. Firstly, the image is pre processed, and all the images are sampled to a certain size when the size of the image taken by the UAV is too large. Then the SURF algorithm is used to generate 64 dimensional feature vectors, and then the nearest neighbor and the nearest neighbor distance ratio are used to get the coarse matching. After using RANSAC to remove false matching and perspective transform matrix between images, due to changes in the UAV perspective, to adjust the perspective transformation matrix and transform image matching, seamless final fusion image fusion algorithm to realize image using multi band. The invention can carry out rapid image stitching for the high-precision and high resolution images taken by the unmanned aerial vehicle, and the splicing edge is smoothly smooth and retains more details.

【技术实现步骤摘要】
一种基于SURF的快速无人机航拍图像拼接算法
本专利技术涉及图像处理
，尤其是一种基于SURF的快速无人机航拍图像拼接算法，主要针对于无人机拍摄的高分辨率高精度图像序列，将其快速拼接形成一幅大场景的直观易理解的图像。
技术介绍
图像拼接是指将一组有部分重合区域的图像序列拼接成一幅更全面细节更丰富的全景图像的过程，它能够弥补单幅图像分辨率低、视野范围小的缺陷，有助于掌握更全面直观的信息。图像拼接在各个领域有广泛的应用，对于无人机拍摄的航拍序列，图像尺度大、细节丰富以及角度变化大，将其进行拼接形成一幅大场景的直观易理解的图像是一项极其复杂的任务。图像拼接主要包括图像配准和图像融合两部分。目前，图像配准主要分为基于特征的配准，基于矩的配准及基于灰度的配准。基于灰度信息的算法包括互相关匹配、模板匹配等，该算法实现简单，但计算量大，但是当图像存在平移、旋转、缩放等变化时，算法性能急剧下降。基于特征的匹配算法主要有直线，角点，轮廓等，由于点特征对图像的平移、旋转、分辨率、光照等具有不变性，因此广泛应用于图像配准。常用的特征提取方法主要有Harris角点检测、FAST角点检测、LBP(LocalBinaryPatterns)算法、SIFT(ScaleInvariantFeatureTransform)算法及SURF(SpeedUpRobustFeature)算法等。图像融合主要实现图像重合区域的平滑过渡，并且减少光照的影响。常用的方法有直接平均法，加权平均法，多频段融合算法等。传统的图像拼接算法如基于SIFT特征点的无人机影像拼接方法在高精度、高分辨图像拼接过程中精度和速度有待提高，且容易丢失细节。
技术实现思路
本专利技术的目的是针对现有技术的不足而提供的一种基于SURF的快速无人机航拍图像拼接算法，其具有较好的拼接效果。本专利技术的目的是这样实现的：一种基于SURF的快速无人机航拍图像拼接算法，包括以下步骤：步骤1：对输入图像进行预处理，缩小图像尺寸；步骤2：对输入图像用SURF算法检测特征点，并进行特征描述；步骤3：对提取到的特征采用基于最近邻和次近邻距离比值的方法进行匹配；步骤4：对匹配得到的特征点采用RANSAC算法剔除误匹配，得到优化后的特征点对；步骤5：计算图像间的变换矩阵并转换原始输入图像；步骤6：对多幅图像进行多频段图像融合。所述步骤1中，对输入图像进行尺寸缩小。设输入图像长度为Height，宽度为Width，当输入图像面积大于106时，图像缩小比例为否则，不对图像进行缩放。所述步骤2中采用SURF算法检测特征点并进行特征描述，包括如下步骤：步骤a1:对输入图像进行特征点检测。首先构建多尺度空间，尺度空间划分为4层，层与层之间的缩放比率为2，每一层包含不同尺度的滤波响应图。其次，在每一个3×3×3的局部区域中，进行非最大值抑制，只有比周围的26个领域值都大或者都小的极值点才能作为特征点，记录特征点位置及尺度。所述不同尺度滤波响应图是指用盒子滤波器与图像卷积得到结果Dxx,Dxy,Dyy，可得到近似的Hessian矩阵Happrox，行列式为:det(Happrox)＝DxxDyy-(0.9Dxy)2，将近似Hessian矩阵与图像中每一点卷积可得到在图像I尺度σ上的滤波响应图。步骤a2:特征点主方向的确定。将所述特征点位置检测之后，以特征点为圆心，以6s(s为特征点所在的尺度值)为半径的圆形邻域内，用尺寸为4s的Haar小波模板对图像进行处理，求得邻域内每个点在x，y方向的小波响应，对这些响应赋予σ＝2s的高斯权重系数。在特征点周围60°的扇形内，累加所有的响应形成新的矢量，遍历整个圆形区域，选择最大的矢量方向为特征点的主方向。步骤a3:在所述特征点主方向确定之后，以特征点为中心，将坐标轴旋转至主方向，构建边长为20s×20s的正方形窗口，将正方形窗口划分为4×4个子窗口，每个子窗口大小为5s×5s。对每个子窗口中的点分别计算水平和垂直方向的小波响应，分别为dx,dy。同样，对每个点赋予以特征点为中心的高斯权重系数，以增加对几何变换的鲁棒性。然后对响应系数及响应系数的绝对值求和得到∑dx,∑dy,∑|dx|,∑|dy|，从而在每一个子区域可以得到一个四维向量V＝(∑dx,∑dy,∑|dx|,∑|dy|)。对于每一个特征点，可以形成4×4×4＝64维向量的特征描述子，再对向量进行归一化。所述步骤3中，对所述步骤2中提取的特征描述采用最近邻和次近邻距离比值的方法进行特征匹配，建立特征点之间的关系，包括如下步骤：设I1,I2为两幅输入图像，t1i为图像I1上第i个特征点，在图像I2上寻找与该特征点之间距离最近的特征点t2j和次近距离的特征点t2j′即第j个特征点和第j′个特征点，距离分别为d1,d2，计算最近距离和次近距离的比值，小于某一个阈值的特征点可以认为是正确匹配的特征点，即d1≤αd2，一般α＝0.8，否则认为是是错误匹配的特征点。遍历图像I1中所有特征点，找出I2中所有匹配的特征点。所述步骤4中，对步骤3中所述的匹配后的特征点采用RANSAC算法剔除错误匹配点对，包括以下步骤：步骤a1：设置迭代次数N，其中1-p表示选出的n个点至少有一个是外点的概率，p＝0.05。w表示内点在全部数据中所占的比例，wn指n个点都是内点的概率。步骤a2：随机选取4对匹配的特征点，计算变换矩阵H。两幅输入图像特征点对满足如下关系其中，(x1,y1),(x2,y2)分别是两幅输入图像I1,I2中一对匹配的特征点，利用如上公式计算转换矩阵H中的8个参数：h1,h2,h4,h5表示图像旋转量和尺度，h3表示水平位移，h6表示垂直位移，h7,h8分别表示水平和垂直方向的变形量。步骤a3：计算每对匹配的特征点之间的距离。第一幅图像上的特征点X＝(x,y)经过参数矩阵变换之后得到关联点为HX，它们之间的欧氏距离为d2＝∑d(X,HX)2＝∑[(x-Hx)2+(y-Hy)2]，其中H为步骤b2中计算的转换矩阵。步骤a4：指定阈值，当距离小于阈值时，将该点视为内点，并记录内点的个数，若距离大于阈值则此特征点视为外点。步骤a5：重复步骤a2到步骤a4共N次，选出内点数最多的变换模型，把该模型认为的外点剔除，利用所有的内点计算变换矩阵H即为最优的变换矩阵。所述步骤5中，在完成变换模型的估计之后，利用得到的变换矩阵H把图像I1中的每一点映射到I2的坐标系中去，利用双线性插值对映射后的坐标进行处理。所述步骤6中，对步骤5中映射后的图像采用多频段融合算法进行图像融合，把两幅待拼接图像的重叠部分分解成不同频段的图像，并构建拉普拉斯金字塔，在金字塔不同层上进行融合，然后再重构出图像。本专利技术提出一种基于SURF的快速无人机拍摄图像拼接算法，首先对图像进行尺寸缩放并采用SURF算法提取特征点，SURF算法具有较好的鲁棒性同时检测速度快，然后采用基于最近邻和次近邻距离比值的方法进行特征点匹配，之后采用RANSAC剔除误匹配的特征点对，计算变换矩阵并变换原始输入图像，最后采用多频段融合算法对图像进行图像融合，实验证明本专利技术具有较好的拼接效果。附图说明图1为本专利技术的流程图；图2为实施例中对两幅输入图像提取的SURF特征图；图3为实施例中对两幅输入图本文档来自技高网...

【技术保护点】
一种基于SURF的快速无人机航拍图像拼接算法，其特征在于，该方法包括以下具体步骤：步骤1：对输入图像进行预处理，缩小图像尺寸；步骤2：对输入图像用SURF算法检测特征点，并进行特征描述；步骤3：对提取到的特征采用基于最近邻和次近邻距离比值的方法进行匹配；步骤4：对匹配得到的特征点采用RANSAC算法剔除误匹配，得到优化后的特征点对；步骤5：计算图像间的变换矩阵并转换原始输入图像；步骤6：对多幅图像进行多频段图像融合。

【技术特征摘要】
1.一种基于SURF的快速无人机航拍图像拼接算法，其特征在于，该方法包括以下具体步骤：步骤1：对输入图像进行预处理，缩小图像尺寸；步骤2：对输入图像用SURF算法检测特征点，并进行特征描述；步骤3：对提取到的特征采用基于最近邻和次近邻距离比值的方法进行匹配；步骤4：对匹配得到的特征点采用RANSAC算法剔除误匹配，得到优化后的特征点对；步骤5：计算图像间的变换矩阵并转换原始输入图像；步骤6：对多幅图像进行多频段图像融合。2.根据权利要求1所述的快速无人机航拍图像拼接算法，其特征在于，所述步骤1具体为：设输入图像长度为Height，宽度为Width，当输入图像面积大于106时，图像缩小比例为否则，不对图像进行缩放。3.根据权利要求1所述的快速无人机航拍图像拼接算法，其特征在于，所述步骤2具体包括：步骤a1：构建4层尺度空间；步骤a2：利用不同尺寸的盒子滤波器去近似不同尺度的二阶高斯滤波器，并用盒子滤波器和图像卷积,构建不同尺度的滤波响应图；步骤a3：在所构建的尺度空间中，对每一个3×3×3的局部区域进行非最大值抑制得到特征点的位置；步骤a4：在以特征点为中心6s为半径的圆形邻域内，累加扇形区域内小波响应，选取最大矢量为主方向；其中，s为特征点所在的尺度值；步骤a5：以特征点为中心，构建边长为20s的正方形窗口并划分为4×4个子窗口，每个子窗口计算小波响应得到四维向量，V＝(∑dx,∑dy,∑|dx|,∑|dy|)，整个窗口构建64维特征向量。4.根据权利要求1所述的快速无人机航拍图像拼接算法，其特征在于，在步骤3中，采用基于最近邻和次近邻距离比值的方法进行特征匹配，具体包括：在匹配的过程中，设I1,I2为两幅输入图像，t1i为图像I1上第i个特征点，在图像I2上寻找与该特征点之间距离最近的特征点t2％和次近距离的特征点t2％′即第j个特征点和第％′个特征点，距离分别为d1,d2，距离由特征向量的...

【专利技术属性】
技术研发人员：文颖，张乐，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：上海,31