一种基于局部配准的图像拼接方法技术

本发明专利技术公开了一种基于局部配准的图像拼接方法，包括1）特征点检测与匹配，2）设来自输入图像

An image stitching method based on local registration

The invention discloses an image stitching method based on local registration, comprising 1) detecting and matching feature points, and 2) setting an input image from the input image

【技术实现步骤摘要】
一种基于局部配准的图像拼接方法
本专利技术涉及一种图像拼接方法，尤其涉及一种基于局部配准的图像拼接方法。
技术介绍
图像拼接算法是最早研究和广泛使用的计算机视觉技术。图像拼接技术被广泛于视频防抖、视频摘要和全景图生成等领域。比如录像机中的防抖功能就是通过相邻帧之间的配准算法来实现的。如今的百度地图上的360度无死角的街景图和卫星地图也都是通过图像拼接技术来生成的。图像拼接技术主要包括两部分：图像配准和图像融合。其中图像配准解决的是找出图像间的重叠区域问题，是图像拼接技术的核心和关键，而图像融合技术是解决已配准的图像的最终画出问题，目的是消除缝合线以及光度和色度的影响。可以从这两个步骤寻求解决图像拼接问题的方法，但是关键点是图像配准步骤，图像融合技术只是一种辅助手段。传统的图像配准方法是在由输入图像间匹配好的特征点估计出一个全局的二维映射，然后用这个映射对图像进行配准。典型二维映射是投影变换，用单应性矩阵H表示。但是这类全局的投影变换对输入图像的场景有严格的要求，即输入图像的场景应该位于同一平面上，而且图像间必须只发生了相机的旋转运动，有视差的图像是不能接受的。传统拼接技术中对于场景的要求过于苛刻，我们日常生活中拍摄的照片经常不满足这样的条件，所以需要对传统的算法进行改进，以适应各种场景的要求。由于投影变换模型固有的缺陷，投影变换不能够对局部的偏差进行很好的拟合，也就是说当场景中出现多个深度层时，由所有匹配特征点估计出来全局的投影变换对局部的某些特征点的拟合效果不好。近年来出现了一些随空域变化的变换方法，例如尽可能的投影变换方法，它建立了一个新的模型对局部的匹配特征点进行了很好的拟合，克服了这个投影变换的缺陷。此类方法能较好地处理同时发生了旋转变化和较大平移变化的图像间的配准，能有效的在复杂场景下完成拼接，大大减小了图像拼接对场景的限制，能处理一定视差下的图像拼接问题，但是大视差下会失效。现有的一些图像拼接算法大视差下的效果很差。这是因为在大视差下，物体的空间相对位置关系发生了改变，无论怎么样都达不到很好的全局配准。针对这个问题，有学者公开了一种结合了随机搜索和配准质量评价的局部配准算法：视差容忍方法。这个算法并不是对整个重叠区域进行配准，而是只在重叠区域内找到一块局部区域进行配准，最后合成为拼接结果。此方法能处理一些大视差情况下的图像拼接问题，但是当输入图像中出现了大量显著度高的图像结构时，此方法并不能找到一块合适的区域进行局部配准，这是由于算法中的随机搜索算法的局限性造成的。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出一种配准区域更准确、鲁棒性更好的局部配准图像拼接方法。该方法能有效处理大视差下的图像拼接问题。为实现上述目的，本专利技术提供一种基于局部配准的图像拼接方法。一种基于局部配准的图像拼接方法，包括以下步骤：步骤1：特征点检测与匹配：首先进行特征点检测，提取输入图像I0和I1的特征点，并对特征点进行匹配，得到N组匹配点；步骤2：设来自输入图像I0和I1上的匹配点集合的编号m为0；步骤3：图像局部配准：当前匹配点集合m即为局部区域，对这个局部区域进行配准，得到对应的3×3单应性映射矩阵Hm；步骤4：判断当前局部单应性映射矩阵Hm的配准误差是否小于配准阈值，或者是否收敛，如果是，则转向步骤6，否则转向步骤5；步骤5：匹配点集合调整：先利用运动矢量调整匹配点集合，再利用视差概率调整匹配点集合，得到新的匹配点集合，并把当前匹配点集合的编号m加1，转向步骤3；步骤6：图像合成：根据映射矩阵Hm，计算缝隙，最后生成拼接结果。上述步骤5所述的匹配点对集合调整方法，包括以下步骤：步骤5-1：利用运动矢量调整匹配点对集合：计算匹配点对集合m中每一对匹配点(fi0,fi1)的运动矢量v：其中fi0→1是输入图像I0的特征点fi0经过单应性矩阵Hm变换后得到的在输入图像I1坐标系上的坐标。设置运动矢量偏移阈值，然后根据计算得到的运动矢量的结果，在匹配点对集合m中剔除运动矢量的模大于运动矢量偏移阈值的匹配点对。步骤5-2：利用视差概率调整匹配点对集合：计算匹配点对集合m中每一对匹配点(fi0,fi1)的视差概率，具体方法为：(1)初始化视差概率：对于出现在输入图像I0的特征点fi0来说，把图像I0经过单应性矩阵Hm变换映射到得到图像I0'，并且得到映射后的特征点fi0→1，以fi0→1为中心在图像I0'上构建大小为Ω的颜色块I0'(fi0→1；Ω)；相应地在图像I1上构建块I1(fi1；Ω)，则点fi0→1视差概率为；其中，σc和σl分别为控制颜色和位置距离的标准差。位于图像I1上匹配点的视差概率初始化操作同理。(2)优化视差概率：采用一种基于图的优化框架对初始化的标签结果进行改善。构建一个局部的无向图来对所有匹配点的视差概率建立联系，图中的节点即表示某个特征点，然后通过解一个优化方程得到最终标签结果，具体步骤是：a)构建无向图首先，空域上，位于同一张图像上的点两两相连，它们之间的相似度为：其中，zij0为特征点fi0和特征点fj0之间的相似度，c(fi0)是点fi0的颜色值。图像I1上匹配点相似度zij1的设置与zij0同理。然后，时域上，位于不同图像上匹配点对之间相连成边，它们之间的相似度设为1。最后将两个图像上的特征点序列fi0,fj1,合成一个特征点序列fi,并相应地把几个相似度整合成一个总相似度zij。b)解优化方程无向图构建完成后，最后的视差标签概率的结果可以由在无向图上解一个目标函数最小化问题得到，目标函数为：其中，αi和pi分别为最终标签和初始化标签。ωi是一个二元指示符，表示初始结果的可信度。λ是权重系数。这是一个非约束的二次问题，使得目标函数的导数为0的参数α即为最终视差结果。最后，设置视差阈值，根据得到的最终视差结果，在匹配点对集合m中剔除视差大于视差阈值的匹配点对。上述步骤6所述的图像合成方法，是指根据所得到的映射矩阵Hm，把图像I0映射到图像I1上，接着把图像融合的缝隙控制在所找到的局部区域上，最后根据缝隙的计算结果进行图像合成，生成拼接结果。其中缝隙控制具体步骤是：对所有位于匹配点集合m中的点fi0和fi1，计算点fi0经过Hm映射后的点fi0→1以及fi1的矩形外包络，并对包络进行一定的膨胀运算，得到的最终包络即为所找到的局部区域，最后通过控制配准后图像的掩膜把缝隙限定在该区域上。本专利技术与已有技术相比较，具有如下显而易见的突出实质性特点和显著优点：能够处理大遮挡下存在视差的场景的图像拼接，利用局部配准的方法进行拼接，最后的拼接结果无结构失真，没有重影和变形，符合人眼习惯，并且比现有方法的鲁棒性高，扩大了图像拼接技术可处理的场景的范围。附图说明图1为本专利技术的流程图。图2为本实施例中的输入两幅图像。图3为本实施例中两幅输入图像的匹配结果。图4为本实施例中局部匹配点对选择结果。图5为本实施例中图像拼接结果。具体实施方式以下结合附图表对本专利技术的实施例作详细说明。本实施例以本专利技术的技术方案为前提进行实施，但本专利技术的保护范围不限于下述的实施例。实施例一：本专利技术实施例的应用环境如下：参见图2，图像采集的场景为一个商业广场，输入的两幅图像I0和图像I1，由于拍摄时处在两个不同视点而出现大本文档来自技高网...

【技术保护点】
一种基于局部配准的图像拼接方法，其特征在于，包括以下步骤：步骤1：特征点检测与匹配：首先进行特征点检测，提取输入图像I

【技术特征摘要】
1.一种基于局部配准的图像拼接方法，其特征在于，包括以下步骤：步骤1：特征点检测与匹配：首先进行特征点检测，提取输入图像I0和I1的特征点，并对特征点进行匹配，得到N组匹配点；步骤2：设来自输入图像I0和I1上的匹配点集合的编号m为0；步骤3：图像局部配准：当前匹配点集合m即为局部区域，对这个局部区域进行配准，得到对应的3×3单应性映射矩阵Hm；步骤4：判断当前局部单应性映射矩阵Hm的配准误差是否小于配准阈值，或者是否收敛，如果是，则转向步骤6，否则转向步骤5；步骤5：匹配点集合调整：先利用运动矢量调整匹配点集合，再利用视差概率调整匹配点集合，得到新的匹配点集合，并把当前匹配点集合的编号m加1，转向步骤3；步骤6：图像合成：根据映射矩阵Hm，计算缝隙，最后生成拼接结果。2.根据权利要求1所述的基于局部配准的图像拼接方法，其特征在于，所述步骤5的匹配点集合调整，是指先利用运动矢量结果调整匹配点集合，得到运动矢量筛选过后的匹配点集合；再利用视差概率调整匹配点集合，得到视差概率筛选过后的匹配点集合。3.根据权利要求2所述的基于局部配准的图像拼接方法，其特征在于，所述得到运动矢量筛选过后的匹配点集合的方法是：计算匹配点集合m中每一对匹配点(fi0,fi1)的运动矢量v：v＝fi0→1-fi1其中fi0→1是输入图像I0的特征点fi0经过单应性矩阵Hm变换后得到的在输入图像I1坐标系上的坐标；设置运动矢量偏移阈值，然后根据计算得到的运动矢量的结果，在匹配点集合m中剔除运动矢量的模大于运动矢量偏移阈值的匹配点。4.根据权利要求2所述的基于局部配准的图像拼接方法，其特征在于，所述得到视差筛选过后的匹配点集合的方法是：计算匹配点集合m中每一对匹配点(fi0,fi1)的视差概率，具体方法为：(1)初始化视差概率：对于出现在输入图像I0的特征点fi0来说，把图像I0经过单应性矩阵Hm变换映射到得到图像I0'，并且得到映射后的特征点fi0→1，以fi0→1为中心在图像I0'上构建大小为Ω的颜色块I0'(fi0→1；Ω)；相应地在图像I1上构建块I1(fi1；Ω)，则点fi0→1视差概率为；

【专利技术属性】
技术研发人员：李凯，汪洋鑫，安平，沈礼权，邹雪妹，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31