基于机器学习和特征点识别的无人机图像快速拼接方法技术

本发明专利技术公开了一种基于机器学习和特征点识别的无人机图像快速拼接方法，首先选定一张基准影像，使其与其周围9张临近影像使用基于GPU并行加速优化的改进SURF算法进行特征点的提取，减少了基准影像多次提取特征点所耗费的时间，并减少了影像连乘累积误差，再使用机器学习计算的描述特征向量改进SURF算法的描述特征向量，大幅度提高特征点匹配的精度，实现影像配准。本发明专利技术基于SURF算法+机器学习+GPU+PROSAC算法+图像分块拼接技术，构建了一种无人机遥感影像快速高效的处理方法，速度比传统SURF算法运行更快，精度得到了大幅度提高，在实时性方面的发挥更突出。

【技术实现步骤摘要】
基于机器学习和特征点识别的无人机图像快速拼接方法
本专利技术属于全景图像拼接
，具体涉及一种基于机器学习和特征点识别的无人机图像快速拼接方法的设计。
技术介绍
全景图像拼接在摄影测量、计算机视觉、图像处理和计算机图形学等领域有着广泛的研究文献和若干商业应用。随着无人机在军事侦察、抗灾救灾、森林火灾监测、遥感遥测等领域的应用越来越广泛,它的独有特点吸引了越来越多的国内外专家学者投入到无人机关键技术的研究中。无人机图像拼接技术是运用图像拼接技术,将无人机航拍图像进行拼接,形成一幅大场景的直观易理解的图像。由于航拍图像的数据量大、数据处理时间长及作业强度高等问题的存在，如何高效的实现无人机航拍序列图像的拼接已经成为了一个热点研究问题。为了得到大视场、高分辨率、高清晰度的无人机影像，需要将多幅小视场的序列图像进行拼接融合。目前应用最广泛的图像拼接方法为基于尺度不变换特征(sift)的图像拼接方法，该方法对图像旋转、缩放、尺度变换及光照差异等都具有很强的鲁棒性，但也存在原理复杂、计算量大、耗时长等缺点。现有的无人机影像拼接方法通过两幅影像配准结束在与下一幅影像进行拼接，直至所有影像拼接完成，虽然部分方法通过在重叠区范围内提取特征点，进行影像拼接，虽在一定程度提高了运算效率，但运算效率提高较低，这类拼接方式需对每一幅影像进行多次特征点提取、匹配等操作，耗费大量时间，无法满足实时性的要求，并且部分方法通过降低影像分辨率的方式进行快速拼接，虽然提高了算法运行时间，但丢失了大量影像细节信息，不利于后续的实际应用。现有技术中的拼接方法都或多或少的存在拼接效果不理想、冗余消息多、拼接效率低且拼接时间长的缺点，鉴于此，如何提供一种稳定性和拼接效果好、拼接时间短、拼接效率高的无人机航拍序列图像快速拼接方法是本领域技术人员需要解决的技术问题。
技术实现思路
本专利技术的目的是为了解决现有的无人机图像快速拼接方法存在拼接效果不理想、冗余消息多、拼接效率低且拼接时间长的问题，提出了一种基于机器学习和特征点识别的无人机图像快速拼接方法。本专利技术的技术方案为：一种基于机器学习和特征点识别的无人机图像快速拼接方法，包括以下步骤：S1、实时获取无人机航拍采集的影像数据，从影像数据中随机指定基准影像，并通过无人机航拍过程中的经纬度信息确定基准影像的9张临近影像。S2、采用基于GPU并行加速优化的改进SURF算法对基准影像以及9张临近影像同时进行特征关键点提取，并根据提取的特征关键点得到第一特征向量。S3、对步骤S2提取的特征关键点在周围64×64的像素区域进行特征点裁剪，得到深度学习模型的输入影像。S4、对训练好的VGG16深度学习模型进行剪枝，得到改进的深度学习模型。S5、将深度学习模型的输入影像输入至改进的深度学习模型中，提取改进的深度学习模型中第一层全连接层的4096维特征向量。S6、对步骤S5中提取得到的4096维特征向量进行PCA降维，得到第二特征向量。S7、将第一特征向量和第二特征向量进行结合，得到新的特征向量描述子。S8、根据新的特征向量描述子，采用基于最近邻和次近邻距离比值的方法对两幅影像中的特征点进行匹配，得到正确匹配的特征点对与错误匹配的特征点对。S9、采用PROSAC算法剔除错误匹配的特征点对，得到两幅影像的变换矩阵。S10、采用步骤S8～S9相同的方法同时计算9张临近影像到基准影像的变换矩阵，实现基准影像与9张临近影像的拼接。S11、将9张临近影像分别作为基准影像，重复步骤S1～S10，实现所有影像的拼接。进一步地，步骤S2包括以下分步骤：S21、将基准影像以及9张临近影像从主机存储器传输到GPU显示存储器。S22、在GPU中对图像进行集成，生成完整的影像。S23、固定影像不变，通过改变盒式滤波器来获取不同尺度的影像，构建SURF算法的尺度空间。S24、由积分影像经过高斯滤波构造Hessian矩阵，经过盒式滤波器与影像卷积得到Hessian矩阵的判别式，当Hessian矩阵的判别式取得局部极大值时，判定该点为Surf算法的特征关键点。S25、根据特征关键点，通过GPU并行计算的方式计算特征主方向。S26、以特征关键点以及特征主方向为基准，通过GPU中的16个线程进行特征描述符计算，得到第一特征向量。S27、将第一特征向量从GPU下载到CPU主机内存。进一步地，步骤S25中计算特征主方向的具体方法为：A1、在特征点的圆形邻域内，统计60度扇形区域内所有点的水平、垂直Haar小波特征值总和。A2、将扇形区域以设定间隔进行旋转，再次统计扇形区域内所有点的水平、垂直Haar小波特征值总和。A3、重复步骤A1～A2，直到统计完成圆形邻域中每个扇形区域内所有点的水平、垂直Haar小波特征值总和。A4、将特征值总和最大的扇形方向作为该特征点的特征主方向。进一步地，步骤S26中计算得到第一特征向量的具体方法为：B1、以特征关键点以及特征主方向为基准，选取一个边长为20σ的正方形框，σ表示影像尺度。B2、将正方形框分成16个子区域。B3、分别计算每个子区域内所有像素的水平方向和水平方向绝对值之和的Haar小波特征，垂直方向和垂直方向绝对值之和的Haar小波特征，生成一个64维的第一特征向量。进一步地，步骤S4中的VGG16深度学习模型要求输入的图片数据大小为224×224×3，初始卷积核的大小为3×3×3，步幅stride的大小为1，有效填充padding的大小为1，池化层pooling采用2×2的最大池化函数maxpooling的方式。进一步地，步骤S4中的VGG16深度学习模型中卷积过程为：C1、使用两次64个卷积核的卷积处理，并进行一次池化层pooling处理。C2、使用两次128个卷积核的卷积处理，并进行一次池化层pooling处理。C3、使用三次256个卷积核的卷积处理，并进行一次池化层pooling处理。C4、使用三次512个卷积核的卷积处理，并进行一次池化层pooling处理。C5、使用三次512个卷积核的卷积处理，并进行一次池化层pooling处理。C6、使用三次全连接层Fc_layer，并经过softmax分类器处理。进一步地，步骤S4中对训练好的VGG16深度学习模型进行剪枝的具体方法为：D1、通过LASSO回归算法进行通道选择，在损失函数中添加L1范数对权重进行约束。D2、通过建立基于最小二乘的目标对通道剪枝力度进行控制，使得剪枝后输出的特征图和剪枝前输出的特征图差异最小。进一步地，步骤S6包括以下分步骤：S61、通过计算4096维特征向量的协方差矩阵，求出协方差矩阵的特征值与正交单位特征向量。S62、对特征值按从大到小进行排序，选择其中最大的k个特征值。S63、将最大的k个特征值对应的k个正交单位特本文档来自技高网...

【技术保护点】
1.一种基于机器学习和特征点识别的无人机图像快速拼接方法，其特征在于，包括以下步骤：/nS1、实时获取无人机航拍采集的影像数据，从影像数据中随机指定基准影像，并通过无人机航拍过程中的经纬度信息确定基准影像的9张临近影像；/nS2、采用基于GPU并行加速优化的改进SURF算法对基准影像以及9张临近影像同时进行特征关键点提取，并根据提取的特征关键点得到第一特征向量；/nS3、对步骤S2提取的特征关键点在周围64×64的像素区域进行特征点裁剪，得到深度学习模型的输入影像；/nS4、对训练好的VGG16深度学习模型进行剪枝，得到改进的深度学习模型；/nS5、将深度学习模型的输入影像输入至改进的深度学习模型中，提取改进的深度学习模型中第一层全连接层的4096维特征向量；/nS6、对步骤S5中提取得到的4096维特征向量进行PCA降维，得到第二特征向量；/nS7、将第一特征向量和第二特征向量进行结合，得到新的特征向量描述子；/nS8、根据新的特征向量描述子，采用基于最近邻和次近邻距离比值的方法对两幅影像中的特征点进行匹配，得到正确匹配的特征点对与错误匹配的特征点对；/nS9、采用PROSAC算法剔除错误匹配的特征点对，得到两幅影像的变换矩阵；/nS10、采用步骤S8～S9相同的方法同时计算9张临近影像到基准影像的变换矩阵，实现基准影像与9张临近影像的拼接；/nS11、将9张临近影像分别作为基准影像，重复步骤S1～S10，实现所有影像的拼接。/n...

【技术特征摘要】
1.一种基于机器学习和特征点识别的无人机图像快速拼接方法，其特征在于，包括以下步骤：
S1、实时获取无人机航拍采集的影像数据，从影像数据中随机指定基准影像，并通过无人机航拍过程中的经纬度信息确定基准影像的9张临近影像；
S2、采用基于GPU并行加速优化的改进SURF算法对基准影像以及9张临近影像同时进行特征关键点提取，并根据提取的特征关键点得到第一特征向量；
S3、对步骤S2提取的特征关键点在周围64×64的像素区域进行特征点裁剪，得到深度学习模型的输入影像；
S4、对训练好的VGG16深度学习模型进行剪枝，得到改进的深度学习模型；
S5、将深度学习模型的输入影像输入至改进的深度学习模型中，提取改进的深度学习模型中第一层全连接层的4096维特征向量；
S6、对步骤S5中提取得到的4096维特征向量进行PCA降维，得到第二特征向量；
S7、将第一特征向量和第二特征向量进行结合，得到新的特征向量描述子；
S8、根据新的特征向量描述子，采用基于最近邻和次近邻距离比值的方法对两幅影像中的特征点进行匹配，得到正确匹配的特征点对与错误匹配的特征点对；
S9、采用PROSAC算法剔除错误匹配的特征点对，得到两幅影像的变换矩阵；
S10、采用步骤S8～S9相同的方法同时计算9张临近影像到基准影像的变换矩阵，实现基准影像与9张临近影像的拼接；
S11、将9张临近影像分别作为基准影像，重复步骤S1～S10，实现所有影像的拼接。


2.根据权利要求1所述的无人机图像快速拼接方法，其特征在于，所述步骤S2包括以下分步骤：
S21、将基准影像以及9张临近影像从主机存储器传输到GPU显示存储器；
S22、在GPU中对图像进行集成，生成完整的影像；
S23、固定影像不变，通过改变盒式滤波器来获取不同尺度的影像，构建SURF算法的尺度空间；
S24、由积分影像经过高斯滤波构造Hessian矩阵，经过盒式滤波器与影像卷积得到Hessian矩阵的判别式，当Hessian矩阵的判别式取得局部极大值时，判定该点为Surf算法的特征关键点；
S25、根据特征关键点，通过GPU并行计算的方式计算特征主方向；
S26、以特征关键点以及特征主方向为基准，通过GPU中的16个线程进行特征描述符计算，得到第一特征向量；
S27、将第一特征向量从GPU下载到CPU主机内存。


3.根据权利要求2所述的无人机图像快速拼接方法，其特征在于，所述步骤S25中计算特征主方向的具体方法为：
A1、在特征点的圆形邻域内，统计60度扇形区域内所有点的水平、垂直Haar小波特征值总和；
A2、将扇形区域以设定间隔进行旋转，再次统计扇形区域内所有点的水平、垂直Haar小波特征值总和；
A3、重复步骤A1～A2，直到统计完成圆形邻域中每个扇形区域内所有点的水平、垂直Haar小波特征值总和；
A4、将特征值总和最大的扇形方向作为该特征点的特征主方向。


4.根据权利要求2所述的无人机图像快速拼接方法，其特征在于，所述步骤S26中计算得到第一特征向量的具体方法为：
B1、以特征关键点以及特征主方向为基准，选取一个边长为20σ的正方形框，σ表示影像尺度；
B2、将正方形框分成16个子区域；
B3、分别计算每个子区域内所有像素的水平方向和水平方向绝对值之和的Haar小波特征，垂直方向和垂直方向绝对值之和的Haar小波特征，生成一个64维的第一特征向量。

【专利技术属性】
技术研发人员：雷添杰，邓安军，张春再，李爱丽，胡海华，徐瑞瑞，王党伟，王嘉宝，宫阿都，
申请(专利权)人：中国水利水电科学研究院，北京航遥天地科技有限公司，
类型：发明
国别省市：北京;11