一种基于最佳拼接平面和局部特征的图像拼接方法技术

本发明专利技术涉及一种基于最佳拼接平面和局部特征的图像拼接方法，该方法包括以下步骤：S1：对图像深度信息进行估计；S2：基于深度信息进行图像分割，将图像原图像分割为待配准区域与非配准区域，并以两条分割线为边确定最佳拼接平面；S3：以最佳拼接平面为参考，各自分割线为轴分别计算旋转角度，将图像变换到参考平面内；S4：提取待拼接区域内FAST特征点与特征点的特征描述；S5：计算汉明距离进行特征点匹配，利用深度信息与RANSAC算法进行精匹配，得到匹配点对；S6：利用已配准特征点计算变换矩阵，得到变换之后的配准区域图像，采用基于焦点距离的加权融合方法得到拼接图像。该方法能够克服大视角差下全局矫正所带来的拉伸畸变，得到更符合人眼视觉的拼接图像。

【技术实现步骤摘要】

本专利技术属于图像拼接
，涉及一种基于最佳拼接平面和局部特征的图像拼接方法。
技术介绍
图像拼接技术是将多幅具有重叠区域的小视角图像拼接成一幅完整的大视角图像，相比于硬件得到的大视角图像具有更好的图像质量。图像拼接主要包括以下三个步骤：预处理、图像配准和图像融合。其中图像配准是图像拼接的核心及关键，图像融合是生成一幅宽视觉图像的最后一步。当前图像配准的方法主要分为三类：基于变换域的方法、基于灰度相关的方法以及基于特征的方法。而基于特征的图像配准法是效果最好的方法，但当前算法一般以一幅待拼接图像为参考对其他图像进行全局的配准与变换。当处理的待拼接图像之间存在较大视角差时，易产生较大的拉伸畸变，影响拼接结果。同时，为了提高算法的实时性，拼接算法融合方法大多选用一般加权融合的方式，易产生拼接痕迹和鬼影。因此，大视角差拼接的拉伸畸变，以及一种拼接效果更好的融合方法是本专利技术需要解决的问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于最佳拼接平面和局部特征的图像拼接方法，该方法能够解决大视差下多幅图像拼接时产生的拉伸畸变。为达到上述目的，本专利技术提供如下技术方案：一种基于最佳拼接平面和局部特征的图像拼接方法，该方法包括以下步骤：S1：对图像深度信息进行估计；S2：基于深度信息进行图像分割，将图像原图像分割为待配准区域与非配准区域，并以两条分割线为边确定最佳拼接平面；S3：以最佳拼接平面为参考，各自分割线为轴分别计算旋转角度，将图像变换到参考平面内；S4：提取待拼接区域内FAST特征点与特征点的特征描述；S5：计算汉明距离进行特征点匹配，利用深度信息与RANSAC(RANdomSampleConsensus)算法进行精匹配，得到匹配点对；S6：利用已配准特征点计算变换矩阵，得到变换之后的配准区域图像，采用基于焦点距离的加权融合方法得到拼接图像。进一步，在步骤S2中，图像配准范围不再是全局配准，而是处在同一景深范围的局部区域。进一步，在步骤S6中，采用基于焦点距离的加权融合方法，以重叠区域内像素点到不同图像焦点的距离计算权值，设O为重叠区域内的任意一点，两幅图像的焦点分别为O1、O2，设OO1之间的距离为dw1，OO2之间的距离为dw2，则w1和w2计算公式为：w2＝1-w1其中r为融合调节因子。引入焦点距离，像素点权值分配与像素相关性有关，优化了融合结果。本专利技术的有益效果在于：本专利技术提供了一种基于最佳拼接平面的特征匹配方法，利用深度信息对拼接图像进行区域划分，得到最佳拼接平面，将待拼接图像变换至参考平面，克服了全局坐标变换处理大视差图像的不合理性，避免了在图像边界区域的过度拉伸畸变。利用像素点深度信息，提高了特征匹配的准确性，提升了变换矩阵的精度。由于相同焦距下得到的同一点的深度信息相同，因此深度信息作为精匹配的依据能够提升匹配精度。提出了基于焦点距离的加权融合方法，有效的改善了拼接效果。由事物的相关性原则，距离越近相关性越大，且图像质量在焦点处最好，因此以像素点到焦点的距离作为权值的判断依据能够改善融合结果。附图说明为了使本专利技术的目的、技术方案和有益效果更加清楚，本专利技术提供如下附图进行说明：图1为本专利技术所述方法的流程示意图；图2为图像平面分割线示意图；图3为基于深度信息的图像区域划分与最佳拼接平面示意图；图4为空间示意图；图5为拼接示意图。具体实施方式下面将结合附图，对本专利技术的优选实施例进行详细的描述。本专利技术主要分为三部分，第一部分为最佳拼接平面寻找与区域分割，根据图像深度信息划分待拼接区域并得到图像拼接的参考平面；第二部分为基于参考平面的平面变换与局部特征提取，以最佳拼接平面为参考将拼接图像变换到参考平面内，并对待拼接区域提取ORB特征；第三部分为特征点配准与局部区域融合，采用汉明距离进行特征点匹配，并结合深度信息和RANSAC算法进行精匹配，计算矫正矩阵，采用基于焦点距离的距离加权方法进行重叠区域融合，得到拼接图像。图1为本专利技术所述方法的流程示意图，具体步骤如下：1.首先进行图像深度信息的估计。2.基于深度信息的区域划分，当图像内容中出现平面的变化时，图像像素点的深度信息也会发生变化。根据步骤一估计得到的图像深度信息分布图，找到两个平面的交线，如图2所示，即红色虚线即为图像的分割线，图像被分成待拼接区域与非拼接区域。以两图像分割线为边界构成一个参考平面，为最佳拼接平面，如图3所示。3.以最佳拼接平面为参考，各自分割线为轴计算旋转角度a，利用透视变换原理将图像变换到参考平面内，如图4所示。根据几何关系可得，b＝θ(1)则由两摄像头的视角差θ可计算出角度a，计算公式如下：4.待拼接区域的ORB特征提取，分为FAST角点检测和特征点描述子计算。图5为拼接示意图。1)FAST角点检测首先建立图像金字塔，然后在金字塔的每一层检测FAST关键点，采用标准的FAST-9检测器，该检测器检测帧内所有像素邻近16个像素的灰度值,如果有连续12个或以上像素灰度值大于(或小于)中心像素灰度值加上(或减去)一个检测阈值T,那么把这个中心点判定为一个FAST角点。再计算关键点的Harris响应值，根据响应值的大小筛选出N个关键点，作为最终检测到的点。2)特征点描述子计算首先，找到特征点局部区域内的灰度形心C,用特征点到形心的矢量方向来确定特征点的主方向。局部区域矩的公式为：则形心为：FAST角点的主方向为：θ＝arctan(m01,m10)(5)然后，在特征点邻域的31×31像素区域内随机选取5×5的子窗口，比较窗口的灰度积分，同时在特征点上选取n对特征，得到一个2n矩阵：利用由特征点检测到的主方向确定的仿射变换Rθ对进行旋转，得到新的描述矩阵Sθ:则最终的特征点描述子为：gn(p,θ)＝fn(p)|(xi,yi)∈Sθ(8)5.在得到的待配准区域内进行特征匹配与矫正。1)通过特征点的描述计算汉明距离，同时根据匹配点的深度信息进行筛选，差值大于门限值T的点对排除，得到特征点的粗匹配利用RANSAC对匹配对进行除错后，得到精匹配点对。2)利用已配准的特征点对计算图像间的坐标变换矩阵，以左边图像为参考对右边图像进行矫正。6.对待拼接区域的重叠部分进行基于焦点距离的加权融合，方法如下：若融合图像的像素点不在重叠区域，则该像素点取各自图像的像素点，若融合图像的像素点在重叠区域内，通过计算不同的像素点对应的权值后进行融合。实现公式如下：式中，I1(x,y)和I2(x,y)分别为待拼接的图像序列，I(x,y)为融合后的图像，w1和w2分别为两幅待拼接图像相应重叠区域的加权值，w1+w2＝1，0＜w1,w2＜1。基于焦点距离的权值计算方法如下：设O为重叠区域内的任意一点，两幅图像的焦点分别为O1、O2，设OO1之间的距离为dw1，OO2之间的距离为dw2，则w1和w2计算公式为：w2＝1-w1(11)其中r为融合调节因子。按照得到的权值对配准区域进行融合，即可得最终拼接结果。最后说明的是，以上优选实施例仅用以说明本专利技术的技术方案而非限制，尽管通过上述优选实施例已经对本专利技术进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本专利技术权利要求书所限定的范围。本文档来自技高网...

【技术保护点】
一种基于最佳拼接平面和局部特征的图像拼接方法，其特征在于：该方法包括以下步骤：S1：对图像深度信息进行估计；S2：基于深度信息进行图像分割，将图像原图像分割为待拼接区域与非拼接区域，并以两条分割线为边确定最佳拼接平面；S3：以最佳拼接平面为参考，各自分割线为轴分别计算旋转角度，将图像变换到参考平面内；S4：提取待拼接区域内FAST特征点与特征点的特征描述；S5：计算汉明距离进行特征点匹配，利用深度信息与RANSAC(RANdom Sample Consensus)算法进行精匹配，得到匹配点对；S6：利用已配准特征点计算变换矩阵，得到变换之后的配准区域图像，采用基于焦点距离的加权融合方法得到拼接图像。

【技术特征摘要】
1.一种基于最佳拼接平面和局部特征的图像拼接方法，其特征在于：该方法包括以下步骤：S1：对图像深度信息进行估计；S2：基于深度信息进行图像分割，将图像原图像分割为待拼接区域与非拼接区域，并以两条分割线为边确定最佳拼接平面；S3：以最佳拼接平面为参考，各自分割线为轴分别计算旋转角度，将图像变换到参考平面内；S4：提取待拼接区域内FAST特征点与特征点的特征描述；S5：计算汉明距离进行特征点匹配，利用深度信息与RANSAC(RANdomSampleConsensus)算法进行精匹配，得到匹配点对；S6：利用已配准特征点计算变换矩阵，得到变换之后的配准区域图像，采用基于焦点距离的加权融合方法得到拼接图像。2.如权利要求1所述的基于最佳拼接平面和局部特征的图像拼接方法，其特征...

【专利技术属性】
技术研发人员：陈勇，詹帝，刘焕淋，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50