一种基于扩展点线特征的自然图像拼接方法技术

本发明专利技术是一种基于扩展点线特征的自然图像拼接方法。本发明专利技术涉及图像拼接技术领域，本发明专利技术通过区域线段连接的方法对图像中的直线进行几何运算，从而尽可能保存图像重叠区域的线特征。然后利用匹配的线特征生成点特征，对匹配点进行补充，优化图像预对齐，并尽可能保留图像的几何形状特征。最后通过匹配的点线特征进行图像预对齐、单应性矩阵估计和网格化变形等一系列操作，实现图像拼接。实验表明本发明专利技术的方法对具有明显几何形状的复杂图像拼接具有明显优势，相较现有的方法D

【技术实现步骤摘要】
一种基于扩展点线特征的自然图像拼接方法


[0001]本专利技术涉及图像拼接
，是一种基于扩展点线特征的自然图像拼接方法。

技术介绍

[0002]图像拼接是将多幅具有重叠视野且相对狭窄的图像合成为具有更宽视野的图像的过程。经过多年的发展，图像拼接已经取得了巨大的发展，但是随着智能手机、数码相机以及视频监测技术的发展，对获取全景图像的要求也越来越高。将复杂场景下的具有宽基线、弱纹理、大视场等特征的图像合成为高质量拼接图像仍然是一项非常困难的任务。
[0003]拼接图像的整体自然度是影响图像拼接质量的重要因素，直观的表现为拼接后的图像中是否存在鬼影、关键特征对齐以及非自然扭曲等情况。图像特征匹配是对齐多幅图像并消除鬼影等影响因素的关键。点特征是传统图像拼接过程中使用最为广泛的图像特征匹配方法，其中SIFT点特征提取方法和SURF点特征提取方法因其具有较好的局部旋转、尺度变换和仿射变换的不变性被广泛应用于图像对齐中。随着对图像拼接方法的深入研究，线特征因其对图像特征的优秀表示也逐渐被广泛应用于图像拼接中，并且极大的提升了图像拼接过程中图像对齐的质量。
[0004]在图像拼接早期的研究中，通常仅通过单一特征估计图像的单应性变换。AutoStitch方法通过点特征估计全局单应性变换，并且使用多波段混合的方式实现全景图像拼接，然而该方法无法解决具有多个平面场景的图像拼接问题。基于双单应性特征扭曲的图像拼接方法(DHW)将图像场景抽象为一个远距离的背景平面和一个地平面，是一种基于理想场景的拼接方法。尽可能扭曲(APAP)将图像划分为网格区域，并提出移动直接线性变换(Moving DLT)的模型实现投影模型不一致的图像区域的拼接，极大的消除了拼接过程中出现的鬼影。基于鲁棒性弹性变形(ELA)的图像拼接方法通过构造函数消除图像特征点匹配中产生的视差误差，并基于网格平面对输入图像进行扭曲和变形。这些方法力求对图像通过一个全局变换最小化匹配区域的对齐误差，但是往往不够灵活，难以满足处于不同平面的特征对齐。此外，保形版投影(SPHP)，自适应尽可能自然扭曲(AANAP)以及全局相似性先验(GSP)模型则尝试对重叠区域和非重叠区域采用不同的扭曲来解决拼接过程中产生的失真的问题。
[0005]随着对图像拼接的深入研究，Li等人首先提出基于点、线双特征的图像拼接方法(DFW)用于解决图像对齐中特征较少的问题，并且提高图像扭曲过程中的自然度。由于多特征更容易对图像对齐进行约束，因此也得到了较为快速的发展。Tianli Liao等人基于点线特征预匹配和网格化扭曲提出的单视角扭曲(SPW)在一定程度上解决了投影畸变的问题。Qi Jia等人提出点线一致性方法(LPC)，通过图像特征的全局共线特性保留图像拼接过程中的全局特征变化。Peng Du等人在几何结构保持全局相似性变换(GES
‑
GSP)中引入曲线特征进一步约束图像中几何形状，提升了拼接图像的自然性。
[0006]图像拼接过程中通常依靠局部或全局单应性变换约束图像特征，从而提高图像拼接的质量，因此预对齐中生成的匹配特征点和特征线极为重要。现有的拼接方法在图像中
点、线特征充足的情况下可以较好的实现图像拼接，对于存在弱纹理区域的图像，由于无法在图像中所有区域同时提取点线特征，在对图像进行预对齐时容易造成弱纹理区域的特征丢失。同时，对于具有复杂特征的图像，基于直线检测(LSD)方法检测到的特征线通常不具有连续性，因此在线特征匹配中容易造成部分特征线丢失，从而影响整体的图像拼接效果。

技术实现思路

[0007]本专利技术为克服现有技术的不足，本专利技术通过对线特征的扩展解决线特征匹配过程中特征线丢失的问题，同时通过匹配的特征线的交点是一对新的匹配特征点这一特性生成更多的匹配点，并将匹配特征尽可能的扩展到弱纹理区域，从而解决对齐过程中线特征丢失和弱纹理区域特征不足的问题。最后引入全局线引导网格变形的能量方程实现最终的图像拼接。
[0008]需要说明的是，在本专利技术中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0009]本专利技术提供了一种基于扩展点线特征的自然图像拼接方法，本专利技术提供了以下技术方案：
[0010]一种基于扩展点线特征的自然图像拼接方法，所述方法包括以下步骤：
[0011]所述方法包括以下步骤：
[0012]步骤1：通过区域线段连接的方法对图像中的直线进行几何运算，实现保存图像重叠区域的线特征；
[0013]步骤2：利用匹配的线特征生成点特征，对匹配点进行补充，优化图像预对齐，并尽可能保留图像的几何形状特征；
[0014]步骤3：通过匹配的点线特征进行图像预对齐、单应性矩阵估计和网格化变形操作，实现图像拼接。
[0015]优选地，所述步骤1具体为：
[0016]步骤1.1：通过基于区域线段连接的方法将相近区域的多条线段还原成连续的显著特征线，从而尽可能保留显著线特征的连续性，提升预对齐质量；
[0017]通过对同一区域内共线的线段进行合并，将其尽可能还原为连续的显著特征线，从而在线特征匹配过程中尽可能保留线结构的特征，在线段连接的过程中，评估两条直线的斜率s(l1)和s(l2)，直线的斜率应该相同或者极为接近；
[0018]步骤1.2：计算线段l1的终点到线段l2的起点的距离这个距离应该较小才可对直线进行连接合并；
[0019]步骤1.3：最后对合并后的直线l
a
的斜率s(l
a
)进行判定，其斜率与s(l1)和s(l2)非常接近才可被保留；经过多次循环，对重叠区域内所有线段进行判定和连接，完成区域线段的连接，保存图像重叠区域的线特征。
[0020]优选地，所述2具体为：
[0021]通过扩展后的匹配线特征生成更多数量的特征点，从而实现对匹配特征的扩展吗，对于一组待拼接图像中的2对共面的匹配直线l
13
和l
22
，其交点p则为一组新的匹配特征点；通过图像中任意的匹配特征线两两匹配，选择位于图像区域内的特征点，实现匹配特征点对的扩展；
[0022]利用RANSAC对扩展的匹配点对进行误匹配剔除，提升匹配点对的可靠性；由于直线具有无限延展性，交点存在于平面中的任意位置，在一定程度上将匹配特征扩展到图中的弱纹理区域，一定程度上解决弱纹理区域特征较少的问题，提升图像预对齐和拼接的质量。
[0023]优选地，所述步骤3具体为：
[0024]步骤3.1：令p和p'是一对图像I和I'重合区域的一对匹配点，其中p＝(x,y)，p'＝(x',y'本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于扩展点线特征的自然图像拼接方法，其特征是：所述方法包括以下步骤：步骤1：通过区域线段连接的方法对图像中的直线进行几何运算，实现保存图像重叠区域的线特征；步骤2：利用匹配的线特征生成点特征，对匹配点进行补充，优化图像预对齐，并尽可能保留图像的几何形状特征；步骤3：通过匹配的点线特征进行图像预对齐、单应性矩阵估计和网格化变形操作，实现图像拼接。2.根据权利要求1所述的方法，其特征是：所述步骤1具体为：步骤1.1：通过基于区域线段连接的方法将相近区域的多条线段还原成连续的显著特征线，从而尽可能保留显著线特征的连续性，提升预对齐质量；通过对同一区域内共线的线段进行合并，将其尽可能还原为连续的显著特征线，从而在线特征匹配过程中尽可能保留线结构的特征，在线段连接的过程中，评估两条直线的斜率s(l1)和s(l2)，直线的斜率应该相同或者极为接近；步骤1.2：计算线段l1的终点到线段l2的起点的距离这个距离应该较小；进行连接合并；步骤1.3：最后对合并后的直线l
a
的斜率s(l
a
)进行判定，其斜率与s(l1)和s(l2)非常接近才可被保留；经过多次循环，对重叠区域内所有线段进行判定和连接，完成区域线段的连接，保存图像重叠区域的线特征。3.根据权利要求1所述的方法，其特征是：所述2具体为：通过扩展后的匹配线特征生成更多数量的特征点，从而实现对匹配特征的扩展吗，对于一组待拼接图像中的2对共面的匹配直线l
13
和l
22
，其交点p则为一组新的匹配特征点；通过图像中任意的匹配特征线两两匹配，选择位于图像区域内的特征点，实现匹配特征点对的扩展；利用RANSAC对扩展的匹配点对进行误匹配剔除，提升匹配点对的可靠性；由于直线具有无限延展性，交点存在于平面中的任意位置，在一定程度上将匹配特征扩展到图中的弱纹理区域，一定程度上解决弱纹理区域特征较少的问题，提升图像预对齐和拼接的质量。4.根据权利要求1所述的方法，其特征是：所述步骤3具体为：步骤3.1：令p和p'是一对图像I和I'重合区域的一对匹配点，其中p＝(x,y)，p'＝(x',y')；则点p和p'之间的对应关系通过单应性矩阵H表示为：y')；则点p和p'之间的对应关系通过单应性矩阵H表示为：其中，是p的齐次坐标，H是单应性矩阵；在非齐次坐标系下，
结合APAP和QH中的单应性矩阵估计方法，定义最终的单应性扭曲为：其中，H
Q
和H
A
分别是通过QH和APAP中的方法求得的单应性矩阵，H是从H
A
外推到H
Q
的单应性矩阵；步骤3.2：基于网格化变形的图像拼接方法是通过将待拼接图像分割成相同大小的多个网格区域，并将网格区域作为最小变形对象进行...

【专利技术属性】
技术研发人员：霍炬，刘琪，王玉鑫，张瀚轩，薛牧遥，周建宝，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：