一种基于弹性配准和网格优化的邻接图像拼接方法技术

本发明专利技术公开了一种基于弹性配准和网格优化的邻接图像拼接方法，首先使用SIFT算法进行特征提取与匹配，通过序列RANSAC算法获取特征匹配内点，计算多平面单应性；接着对无人机图像划分网格，使用基于弹性模型的方法对相邻的无人机图像进行配准；然后针对网格顶点坐标集构造四个约束项来建立能量函数，通过最小化能量函数进行网格优化，得到变形网格顶点；最后通过三角形纹理映射、最佳缝合线和多通道融合算法的处理步骤后得到高分辨率的无人机图像拼接结果。本发明专利技术实验结果表明，相比于传统方法，能有效消除拼接重影、不对齐现象，具有一定的视差容忍度，并且能够减少多图拼接产生的失真，保持图像形状，具有自然观感。

【技术实现步骤摘要】
一种基于弹性配准和网格优化的邻接图像拼接方法
本专利技术涉及一种基于弹性配准和网格优化的邻接图像拼接方法，属于图像智能化处理

技术介绍
目前，随着无人机技术的发展，无人机在各类场合下的应用越来越广泛。无人机遥感是一种低空遥感，具有图像获取快速、定位准确、操作简单等优点，与航天航空遥感相比，空间分辨率更高，成本更低。由于无人机航高、焦距和视角的限制，单张无人机图像很难反映整个待测区域的情况，为了扩大视场，需要依靠图像拼接技术将多幅航拍图像融合成具有宽视角的、同时保持地面分辨率的全景图像。图像拼接是将多幅图像拼接成具有更宽视场的全景图的过程。图像拼接包括三个阶段:特征提取与匹配、图像配准和图像合成。传统的图像拼接方法是利用全局单应性对两幅图像进行对齐，如仿射或投影变换，代表方法是AutoStitch。该方法假设拍摄场景处于同一平面，或者图像是围绕摄像机投影中心旋转拍摄，即输入图像之间是包含很少或没有视差的。在此假设下，全局单应性取得了很好的效果，但当违反上述成像假设时，很可能会出现误对准伪影。当这种情况发生时，这些方法尝试使用后处本文档来自技高网...

【技术保护点】
1.一种基于弹性配准和网格优化的邻接图像拼接方法，其特征在于：包括如下步骤：/n将原始邻接图像降采样至seam_scale尺度，得到seam_scale尺度图像，将seam_scale尺度和work_scale尺度求比值，得到seam_work_aspect，seam_scale尺度小于work_scale尺度；/n将变形网格顶点乘以seam_work_aspect得到seam_scale尺度图像新的网格顶点坐标，根据seam_scale尺度图像新的网络顶点坐标利用三角形仿射变换方法对seam_scale尺度图像进行纹理映射得到变换图像；/n对变换图像执行基于图割法的最佳缝合线算法，得到缝合线...

【技术特征摘要】
1.一种基于弹性配准和网格优化的邻接图像拼接方法，其特征在于：包括如下步骤：
将原始邻接图像降采样至seam_scale尺度，得到seam_scale尺度图像，将seam_scale尺度和work_scale尺度求比值，得到seam_work_aspect，seam_scale尺度小于work_scale尺度；
将变形网格顶点乘以seam_work_aspect得到seam_scale尺度图像新的网格顶点坐标，根据seam_scale尺度图像新的网络顶点坐标利用三角形仿射变换方法对seam_scale尺度图像进行纹理映射得到变换图像；
对变换图像执行基于图割法的最佳缝合线算法，得到缝合线两侧图像的缝合线掩码；
将原始邻接图像采样至compose_scale尺度，得到compose_scale尺度图像，将compose_scale尺度和work_scale尺度求比值，得到composework_aspect，compose_scale尺度大于work_scale尺度；
将变形网格顶点乘以compose_work_aspect，得到compose_scale尺度图像新的网格顶点坐标，根据compose_scale尺度图像新的网格顶点坐标利用三角形仿射变换方法对compose_scale尺度图像进行纹理映射得到高分辨率的变换图像；
将缝合线掩码膨胀放大至compose_scale尺度，在compose_scale尺度上针对高分辨率的变换图像和膨胀放大后的缝合线掩码执行多通道融合算法，得到拼接结果图。


2.根据权利要求1所述的一种基于弹性配准和网格优化的邻接图像拼接方法，其特征在于：所述变形网格顶点获取步骤如下：
对构造的网格优化能量函数E(V)，使用稀疏线性求解器进行优化求解，得到每幅图像相对于参考图像的变形网格顶点坐标，再通过归一化得到每幅图像的变形网格顶点；
所述网格优化能量函数E(V)计算公式如下：
E(V)＝Ea(V)+λlsEls(V)+Egs(V)+λlEl(V)












其中，Ea为对齐项、Els为局部相似项、Egs为全局相似项、El为直线保持项，λls和λl为对应的权重系数，V为所有图像的网格顶点坐标集，N为所有图像的数量；J为邻接图像之间的邻接关系；Mij为网格匹配点集合；
对齐项Ea(V)中，为网格顶点或网格对应点所在网格的四个顶点的双线性插值；
局部相似项Els(V)和全局相似项Egs(V)中，Ei为Ii的所有边的集合，和表示原始图像的某条边及其变形后的边；为边经历的相似变换，和为相似变换中的对应元素，表示为顶点变量的线性组合，si、θi为最佳尺度和最佳旋转角度，为边的权重函数；
直线保持项El(V)中，Li表示图像Ii中的直线集合，lu、lv、lk分别为直线上的起点、终点和中间采样点，u为直线局部坐标系下的1维坐标，为直线起点、终点和中间采样点所在网格的四个顶点的双线性插值。


3.根据权利要求2所述的一种基于弹性配准和网格优化的邻接图像拼接方法，其特征在于：所述si、θi最佳尺度和最佳旋转角度获取的步骤如下：
从多平面单应性矩阵H中估算焦距的初值并分别形成Ii、Ij的内参矩阵Ki、Kj，通过以下公式获得Ii和Ij之间的3D旋转Rij的初始估计：



其中，Ii、Ij为相邻接的两张图像，R代表3D旋转矩阵的参数；
初始化之后，对所有的Ki和3D旋转Rij初始值执行光束平差法得到得每幅邻接图像Ii精细化的焦距fi和3D旋转Ri；
每幅邻接图像的最佳尺度计算公式如下：
si＝f1/fi
其中，f1为参考图像的焦距；
使用LSD检测图像的直线，通过弹性配准可得到两幅邻接图像Ii和Ij之间线的对应关系，每对线段对唯一地确定相对旋转角度，再按照RANSAC算法投票筛选得到每幅邻接图像的最佳旋转角度θi。


4.根据权利要求2所述的一种基于弹性配准和网格优化的邻接图像拼接方法，其特征在于：所述Mij网格匹配点集合获取步骤如下：
根据特征匹配内点集和多平面单应性变换矩阵H，通过下述两式计算Ij上的特征目标点qi在Ii上的对...

【专利技术属性】
技术研发人员：孙长银，耿凡，董璐，葛泉波，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31