一种基于图像卷积的无人机图像拼接方法技术

一种基于图像卷积的无人机图像拼接方法，包括：采用图像卷积算法将无人机采集到的每张原始图像的像素值进行调整，获得对应的特征增强图像；将所有特征增强图像按照采集时间戳排序，构建图像拼接网络，并选取每2张时间相邻的特征增强图像输入图像拼接网络，处理流程如下：检测输入2张图像的重叠区域，从重叠区域中提取特征点，并确定匹配点，然后根据匹配点的图像坐标，计算获得2张图像之间的投影矩阵，并据此拼接成1张图；从图像拼接网络输出的所有拼接图中按顺序逐一选取每2张拼接图，并继续输入网络中，直至所有图像最终合成1张图。本发明专利技术属于信息技术领域，能有效解决无人机采集图像拼接过程中由于图像特征稀少而无法拼接的技术问题。技术问题。技术问题。

【技术实现步骤摘要】
一种基于图像卷积的无人机图像拼接方法


[0001]本专利技术涉及一种基于图像卷积的无人机图像拼接方法，属于信息


技术介绍

[0002]近年来，随着自动控制、无线传输等技术的发展，无人机在军事、民用上都发展迅速。由无人机搭载摄像机进行视频拍摄在军事侦察、广告摄影、灾情判断等方面发挥了巨大作用。但是，由于摄像机的拍摄范围和分辨率之间总是存在着分歧，往往整个飞行过程的视频中包含整个场景的全部信息，而单帧图像的信息却非常有限，从而诞生了视频图像拼接技术。视频图像拼接技术是将视频序列图像转化为一幅包含该序列所有信息的大视场宽视角的全景图像，解决了因摄像设备限制而存在的拍摄角度小、无法全景观测的问题。
[0003]专利CN 201510145429.4(申请名称：一种基于控制点的多分辨率图像拼接方法，申请日：2015.03.30，申请人：中国人民解放军63655部队)提出了一种基于控制点的多分辨率图像拼接方法，包括：1)无人机航拍序列图像的获取；利用相邻两帧低分辨率图像的重叠区域中的两组地面控制点对，得到图像的旋转平移变换关系，最后完成低分辨率图像序列的拼接融合；2)将低分辨率图像序列的拼接结果作为高精度匹配的模板，由粗到精完成最终的全景图像匹配；3)以配准到模板的高分辨率图像序列为生长点，通过区域生长完成生长点四邻域高分辨率图像序列的拼接融合，替换掉相应的低分辨率图像；再将四邻域高分辨率图像作为新的区域生长点继续生长，直到完成所有图像序列到模板的配准。但由于将无人机采集图像进行拼接的过程中，经常会出现图像特征稀少而无法进行拼接的情况，该方案没有解决该技术问题。
[0004]因此，如何有效解决无人机采集图像的拼接过程中由于图像特征稀少而无法拼接的技术问题，已成为现有技术中亟待解决的技术问题之一。

技术实现思路

[0005]有鉴于此，本专利技术的目的是提供一种基于图像卷积的无人机图像拼接方法，能有效解决无人机采集图像的拼接过程中由于图像特征稀少而无法拼接的技术问题。
[0006]为了达到上述目的，本专利技术提供了一种基于图像卷积的无人机图像拼接方法，包括：
[0007]步骤一、采用图像卷积算法，使用卷积核将无人机采集到的每张原始图像的像素值进行调整以增强图像特征，从而获得每张原始图像对应的特征增强图像；
[0008]步骤二、将所有特征增强图像按照无人机采集的时间戳进行排序，然后构建图像拼接网络，并逐一选取每2张时间相邻的特征增强图像输入图像拼接网络，所述图像拼接网络用于将输入的2张图像合成1张拼接图输出，其处理流程如下：检测输入的2张图像之间的重叠区域，分别从2张图像的重叠区域中提取若干特征点，并从特征点中确定2张图像的匹配点，然后根据匹配点的图像坐标，计算获得2张图像之间的投影矩阵，并据此将2张图像拼接合成1张图，即拼接图，最后输出拼接图；
[0009]步骤三、从图像拼接网络输出的所有拼接图中按顺序逐一选取每2张拼接图，并继续输入图像拼接网络中，以将选取的2张拼接图再继续拼接成1张图，这样直至将无人机采集到的所有图像最终合成1张图。
[0010]与现有技术相比，本专利技术的有益效果是：本专利技术采用图像卷积算法来对无人机采集到的原始图像进行预处理，从而可以达到增强图像特征的目的，有效解决因图像特征稀少而无法拼接的问题；本专利技术还使用相位算法来获取图像的重叠区域，相较于现有技术中一般利用无人机的飞行状态等参数来估算图像之间的重叠区域，本专利技术可以更精确的基于坐标点来计算得到图像之间的重叠区域，并针对重叠区域进行特征检测和匹配，从而有效降低计算工作量和提高准确率。
附图说明
[0011]图1是本专利技术一种基于图像卷积的无人机图像拼接方法的流程图。
[0012]图2是图像拼接网络的处理流程中，检测输入的2张图像之间的重叠区域的具体操作流程图。
[0013]图3是图像拼接网络的处理流程中，根据匹配点的图像坐标，计算获得2张图像之间的投影矩阵，并据此将2张图像拼接合成1张图的具体操作流程图。
具体实施方式
[0014]为使本专利技术的目的、技术方案和优点更加清楚，下面结合附图对本专利技术作进一步的详细描述。
[0015]如图1所示，本专利技术一种基于图像卷积的无人机图像拼接方法，包括：
[0016]步骤一、采用图像卷积算法，使用卷积核将无人机采集到的每张原始图像的像素值进行调整以增强图像特征，从而获得每张原始图像对应的特征增强图像；
[0017]步骤二、将所有特征增强图像按照无人机采集的时间戳进行排序，然后构建图像拼接网络，并逐一选取每2张时间相邻的特征增强图像输入图像拼接网络，所述图像拼接网络用于将输入的2张图像合成1张拼接图输出，其处理流程如下：检测输入的2张图像之间的重叠区域，分别从2张图像的重叠区域中提取若干特征点，并从特征点中确定2张图像的匹配点，然后根据匹配点的图像坐标，计算获得2张图像之间的投影矩阵，并据此将2张图像拼接合成1张图，即拼接图，最后输出拼接图；
[0018]步骤三、从图像拼接网络输出的所有拼接图中按顺序逐一选取每2张拼接图，并继续输入图像拼接网络中，以将选取的2张拼接图再继续拼接成1张图，这样直至将无人机采集到的所有图像最终合成1张图。
[0019]步骤一可以进一步包括有：
[0020]设置1个四方形的网格结构(即n*n的矩阵)作为卷积核，卷积核上每个方格都设定一个权重值，权重值可以根据实际业务需要而设定，然后将卷积核围绕中心旋转180度，滑动卷积核，使得卷积核的中心按顺序逐一放置于原始图像的每个像素点上，并将原始图像上被卷积核的中心所覆盖的像素值调整为卷积核上的每个权重值和被其覆盖的原始图像的像素值的乘积总和，调整后的原始图像即是特征增强图像。
[0021]卷积核(算子)是用来做图像处理时的矩阵，图像处理时也称为掩膜，是与原图像
做运算的参数。通过本专利技术中的卷积运算，可以增大原始图像中的每一个像素值与周边像素值的方差，轻则起到锐化作用，重则成了边缘提取，从而达到增强图像特征的目的。在无人机拍摄图像的过程中，会存在很多图像特征不明显的情况，因此本专利技术采用图像卷积算法可以很好的增强图像特征。每个像素值的调整计算公式可以如下：其中，g(i，j)是调整后的第i行第j列的像素值，h(k，l)是卷积核上第k行第l列的权重值，f(i
‑
k，j
‑
l)是原始图像上第i
‑
k行第j
‑
l列的像素值，卷积核是n*n的矩阵，n的值可以根据实际业务需要而设定。
[0022]传统的基于SIFT特征图像拼接算法是首先在整副图像上进行特征检测，然后根据这些检测到的特征点进行匹配，而不是基于图像之间的重叠区域进行检测，因此会造成检测和匹配过程相当耗时而且很容易出错。为了解决这个问题，本专利技术进一步采用基于相位相关算法来确定图像之间的重叠区域，然后在重叠区域进程特征检测和匹配。如图2所示，在图像拼接网络的处理流程中，检测输入的2张图像之间的重叠本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像卷积的无人机图像拼接方法，其特征在于，包括：步骤一、采用图像卷积算法，使用卷积核将无人机采集到的每张原始图像的像素值进行调整以增强图像特征，从而获得每张原始图像对应的特征增强图像；步骤二、将所有特征增强图像按照无人机采集的时间戳进行排序，然后构建图像拼接网络，并逐一选取每2张时间相邻的特征增强图像输入图像拼接网络，所述图像拼接网络用于将输入的2张图像合成1张拼接图输出，其处理流程如下：检测输入的2张图像之间的重叠区域，分别从2张图像的重叠区域中提取若干特征点，并从特征点中确定2张图像的匹配点，然后根据匹配点的图像坐标，计算获得2张图像之间的投影矩阵，并据此将2张图像拼接合成1张图，即拼接图，最后输出拼接图；步骤三、从图像拼接网络输出的所有拼接图中按顺序逐一选取每2张拼接图，并继续输入图像拼接网络中，以将选取的2张拼接图再继续拼接成1张图，这样直至将无人机采集到的所有图像最终合成1张图。2.根据权利要求1所述的方法，其特征在于，步骤一进一步包括有：设置1个四方形的网格结构n*n的矩阵作为卷积核，卷积核上每个方格都设定一个权重值，然后将卷积核围绕中心旋转180度，滑动卷积核，使得卷积核的中心按顺序逐一放置于原始图像的每个像素点上，并将原始图像上被卷积核的中心所覆盖的像素值调整为卷积核上的每个权重值和被其覆盖的原始图像的像素值的乘积总和，调整后的原始图像即是特征增强图像，每个像素值的调整计算公式如下：其中，g(i，j)是调整后的第i行第j列的像素值，h(k，l是卷积核上第k行第l列的权重值，f(i
‑
k，j
‑
l)是原始图像上第i
‑
k行第j
‑
l列的像素值。3.根据权利要求1所述的方法，其特征在于，在图像拼接网络的处理流程中，检测输入的2张图像之间的重叠区域，进一步包括有：步骤A1、使用傅里叶变换将输入的每张图像变换到频域，再使用归一化的互功率谱计算2张图像之间的偏移系数p：其中，分别是输入的2张图像I1(x，y)、I2(x，y)傅里叶变换后得到的频域图，(x，y)表示图像I1(x，y)或I2(x，y)中的一个坐标点，(u，v)是(x，y)对应的频域坐标，是的复共轭，表示交叉功率谱；步骤A2、将偏移系数p进行傅里叶逆变换，获得二维冲击函数C(x，y)；步骤A3、提取图像I1(x，y)中每个点的坐标，并根据坐标所对应的二维冲击函数的峰值，判断所提取坐标点是否处于重叠区域内：如果坐标对应的冲击函数的峰值是1，则该坐标点处于重叠区域内；如果坐标对应的冲击函数的峰值是0，则该坐标点不处于重叠区域内。4.根据权利要求1所述的方法，其特征在于，图像拼接网络使用基于SIFT特征点提取算法，分别对2张图像在重叠区域进行特征点提取，具体实现过程为：构建高斯差分金字塔；进行空间极值点检测，将每一个像素点和它所有的相邻点进行比较，从而检测获得极值点；去除不稳定和错误检测出的极值点，所剩下的极值点即是特征点，在构建高斯差分金字塔中采用下采样图像，在下采样图像中提取的极值点对应在原始图像中的确切位置。5.根据权利要求1所述的方法，其特征在于，在图像拼接网络的处理流程中，确定2张图
像的匹配...

【专利技术属性】
技术研发人员：黄会明，曹予飞，许理，尹茂，曾敬勇，陈伟，车建强，
申请(专利权)人：杭州东信北邮信息技术有限公司，
类型：发明
国别省市：