基于缝合线和半投影保形的无人机图像拼接方法及装置制造方法及图纸

本发明专利技术提供一种基于缝合线和半投影保形的无人机图像拼接方法及装置，该方法包括：获取两张无人机采集的源图像并配准得到两张配准图像，包括基准图像和待拼接图像；定义能量函数；在能搜寻到缝合线的条件下，计算得到能量函数的阈值；根据阈值确定缝合线的搜寻范围；在搜寻范围内，获取起点至终点的最小能量总和，将能量总和最小的路径作为最佳缝合线；根据最佳缝合线对待拼接图像进行切割，得到部分源图像；将部分源图像作为新的源图像，与基准图像做一次半投影变换，得到变换后的图像；根据最佳缝合线将变换后的图像再进行切割重组，得到拼接后的图像。本发明专利技术方法可以产生无重影、视差小的拼接结果，且非重叠区域能够保持源图像更多的图像细节。持源图像更多的图像细节。持源图像更多的图像细节。

【技术实现步骤摘要】
基于缝合线和半投影保形的无人机图像拼接方法及装置


[0001]本专利技术涉及图像处理
，具体涉及一种基于缝合线和半投影保形的无人机图像拼接方法及装置。

技术介绍

[0002]无人机图像作为一种新型的图像采集方法，填补了航空摄影测量的空白。与载人航空测量相比，无人机具有更低的飞行高度、更低的成本和更高的灵活性。因此，无人机在遥感应用中得到了广泛的应用，如摄影测量、城市建筑规划、无人值守巡逻等。由于无人机飞行高度低，覆盖范围小，很难捕捉到待探测区域的全貌。因此无人机图像拼接的应用需求具有十分重要的意义。
[0003]现有的图像拼接方法主要分为三种：基于全局单应性配准、基于局部单应性配准和基于缝合线拼接。前两类一直是处于主流算法，它们都是通过根据两张图像的几何关系进行配准，从而达到拼接的目的。但由于无人机采集环境和相机镜头旋转运动的影响，相邻的无人机图像会出现视差或拍摄角度相差过大的问题。前两类算法的对应的拼接全景图上会出现重影错位、扭曲等现象。
[0004]缝合线拼接算法是一种用于解决视差大或存在移动物体的图像拼接方法，它要在两张图像的重叠区域中找到一条接缝，将两张图像进行切割重组。与前两类算法相比，缝合线拼接算法有两个优点：(1)这种方法不依赖于精确的配准对齐，大大地减少了图像配准时间。(2)拼接图像全部直接来自于源图像，不会产生重影问题，也能够解决有移动物体带来的影响。
[0005]现有的缝合线拼接算法已经取得了一些进展，但也存在一些可改进的地方。首先，缝合线的路线很大程度上取决于对应的约束条件，现有的缝合线算法并没有针对缝合线是否会穿过一些结构性物体这类问题，导致最终拼接图像某些物体的两部分来自于不同的源图像，大大增加了产生视差的可能性。其次，现有的缝合线寻找算法过于复杂，没有很好地结合约束条件进行缝合线寻找。第三，缝合线算法只是把两张配准好的图像进行分割重组，配准图像所存在的形状失真问题依然存在于拼接图像上，无法很好地得出视觉效果良好的拼接图像。

技术实现思路

[0006]为了解决现有缝合线拼接算法存在的上述技术问题，本专利技术采取的技术方案是，提供了一种新的缝合线拼接算法，并结合半投影保形算法对拼接图像进行形状矫正，得到一种基于缝合线和半投影保形的无人机图像拼接方法及装置。
[0007]根据本专利技术的一个方面，提供了一种基于缝合线和半投影保形的无人机图像拼接方法，包括以下步骤：
[0008]获取两张无人机采集的源图像，并配准得到两张配准图像，所述配准图像包括基准图像和待拼接图像；
[0009]定义能量函数；
[0010]在能搜寻到缝合线的条件下，计算得到所述能量函数的阈值；
[0011]根据所述阈值确定缝合线的搜寻范围；
[0012]在所述搜寻范围内，获取起点至终点的最小能量总和，将能量总和最小的路径作为最佳缝合线；
[0013]根据所述最佳缝合线对所述待拼接图像进行切割，得到部分源图像；
[0014]将所述部分源图像作为新的源图像，与所述基准图像做一次半投影变换，得到变换后的图像；
[0015]根据所述最佳缝合线将所述变换后的图像再进行切割重组，得到拼接后的图像。
[0016]优选地，所述能量函数包括：颜色差异、结构差异和线段差异。
[0017]优选地，所述颜色差异的计算公式为：
[0018][0019][0020]R＝C
1,R
‑
C
2,R
[0021]G＝C
1,G
‑
C
2,G
[0022]B＝C
1,B
‑
C
2,B
[0023]其中，C
1,R
、C
2,R
表示两幅图像在R通道的值，C
1,G
、C
2,G
表示两幅图像在G通道的值，C
1,B
、C
2,B
表示两幅图像在B通道的值，r表示两幅图像在R通道的平均值，R、G、B分别表示两幅图像在R、G、B三个通道的差值。
[0024]优选地，所述在搜寻范围内，获取起点至终点的最小能量总和，将能量总和最小的路径作为最佳缝合线的步骤，包括：
[0025]在所述搜寻范围内，从起点开始，将和起点相邻的像素能量值进行更新，更新后的能量值为该像素点离起点经过路径的最小能量总和，以此类推，不断更新到终点，得到终点离起点的最小能量总和；
[0026]然后从终点开始，沿着相邻八个方向中能量值最小的点的方向往后推进，直到推进到起点，推进的路径就是最佳缝合线的路线。
[0027]优选地，所述将部分源图像作为新的源图像，与所述基准图像做一次半投影变换，得到变换后的图像的步骤，包括：
[0028]对所述新的源图像和所述基准图像，在重叠区域做投影变换，在非重叠区域做相似变换，在两个变换之间，存在一个过渡区域，用于引导图像从投影变换过渡到相似变换。
[0029]优选地，在所述根据最佳缝合线将所述变换后的图像再进行切割重组，得到拼接后的图像的步骤之后，还包括：
[0030]选取定量指标，对所述拼接后的图像进行质量评价。
[0031]优选地，所述定量指标的计算公式为：
[0032][0033]其中，N是缝合线上像素点数量，p
i
为缝合线上的像素点，SSIM指标是衡量当前像素点在两幅图像上的差异值，定量指标Q
seam
的数值越低，表明缝合线上像素差异越小，质量越高。
[0034]根据本专利技术的另一方面，提供了一种基于缝合线和半投影保形的无人机图像拼接装置，包括以下模块：
[0035]图像获取及配准模块，用于获取两张无人机采集的源图像，并配准得到两张配准图像，所述配准图像包括基准图像和待拼接图像；
[0036]能量函数定义模块，用于定义能量函数；
[0037]能量阈值计算模块，用于在能搜寻到缝合线的条件下，计算得到所述能量函数的阈值；
[0038]搜寻范围确定模块，用于根据所述阈值确定缝合线的搜寻范围；
[0039]最佳缝合线获取模块，用于在所述搜寻范围内，获取起点至终点的最小能量总和，将能量总和最小的路径作为最佳缝合线；
[0040]切割模块，用于根据所述最佳缝合线对所述待拼接图像进行切割，得到部分源图像；
[0041]半投影变换模块，用于将所述部分源图像作为新的源图像，与所述基准图像做一次半投影变换，得到变换后的图像；
[0042]拼接模块，用于根据所述最佳缝合线将所述变换后的图像再进行切割重组，得到拼接后的图像。
[0043]本专利技术提供的技术方案具有以下有益效果：
[0044]本专利技术提出一种新的缝合线拼接算法流程，并结合半投影保形算法对拼接图像进行形状矫正。为了获取两张图像的重叠区域上的差异，构造出一个新的能量函数，由颜色差异、结构差异和线段差异组成。为了增加能量函数上的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于缝合线和半投影保形的无人机图像拼接方法，其特征在于，包括以下步骤：获取两张无人机采集的源图像，并配准得到两张配准图像，所述配准图像包括基准图像和待拼接图像；定义能量函数；在能搜寻到缝合线的条件下，计算得到所述能量函数的阈值；根据所述阈值确定缝合线的搜寻范围；在所述搜寻范围内，获取起点至终点的最小能量总和，将能量总和最小的路径作为最佳缝合线；根据所述最佳缝合线对所述待拼接图像进行切割，得到部分源图像；将所述部分源图像作为新的源图像，与所述基准图像做一次半投影变换，得到变换后的图像；根据所述最佳缝合线将所述变换后的图像再进行切割重组，得到拼接后的图像。2.如权利要求1所述的基于缝合线和半投影保形的无人机图像拼接方法，其特征在于，所述能量函数包括：颜色差异、结构差异和线段差异。3.如权利要求2所述的基于缝合线和半投影保形的无人机图像拼接方法，其特征在于，所述颜色差异的计算公式为：所述颜色差异的计算公式为：R＝C
1，R
‑
C
2，R
G＝C
1，G
‑
C
2，G
B＝C
1，B
‑
C
2，B
其中，C
1，R
、C
2，R
表示两幅图像在R通道的值，C
1，G
、C
2，G
表示两幅图像在G通道的值，C
1，B
、C
2，B
表示两幅图像在B通道的值，r表示两幅图像在R通道的平均值，R、G、B分别表示两幅图像在R、G、B三个通道的差值。4.如权利要求1所述的基于缝合线和半投影保形的无人机图像拼接方法，其特征在于，所述在搜寻范围内，获取起点至终点的最小能量总和，将能量总和最小的路径作为最佳缝合线的步骤，包括：在所述搜寻范围内，从起点开始，将和起点相邻的像素能量值进行更新，更新后的能量值为该像素点离起点经过路径的最小能量总和，以此...

【专利技术属性】
技术研发人员：李梓贤，陈珺，马佳义，罗林波，熊永华，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：