一种运动最小二乘法与线约束相结合的视差图像拼接方法技术

本发明专利技术提出了一种运动最小二乘法与线约束相结合的视差图像拼接方法，首先检测目标图像和参考图像的SIFT特征点，用RANSAC算法和距离相似性准则筛选匹配特征点对。用筛选出来的所有匹配特征点计算一个最佳单应矩阵，把它应用于目标图像，称为单应变换图像；以目标图像和参考图像，以及单应变换图像和参考图像的匹配特征点对作为控制点和变形后的对应位置，应用线约束运动最小二乘法变形目标图像和单应变换图像，分别称为变形目标图像和变形单应变换图像；在变形目标图像和参考图像，以及变形单应变换图像和参考图像的重叠区域分别构建网络流模型，寻找最佳拼接缝，并进行评估，选取对准最好的那组图像进行融合拼接。

An image mosaic method of parallax based on the combination of moving least square method and line constraint

The invention proposes a parallax image stitching method combining moving least square method and line constraint. Firstly, SIFT feature points of target image and reference image are detected, and the matching feature point pairs are screened by RANSAC algorithm and distance similarity criterion. An optimal homography matrix is calculated with all the matching feature points selected, which is applied to the target image, which is called homography transformed image. The target image and reference image, as well as the matching feature point pairs of homography transformed image and reference image, are taken as the control points and corresponding positions after deformation, and the target image and homography transformed image are transformed by line constrained motion least square method It is also called deformation target image and deformation strain transformation image; the network flow model is constructed in the overlapping area of deformation target image and reference image, as well as deformation strain transformation image and reference image respectively to find the best seam, evaluate and select the group of images with the best alignment for fusion and splicing.

【技术实现步骤摘要】
一种运动最小二乘法与线约束相结合的视差图像拼接方法
本专利技术属于计算机图形学的形状变换和图像处理的图像对准、拼接，涉及数学和计算机科学，可应用于计算机2D动画、图像变形、图像配准(对准)和图像拼接。
技术介绍
两幅或多幅有重叠区域的图像合成高分辨率的图像称为拼接技术，广泛应用在计算机视觉、影视娱乐、虚拟现实、安防监控、仿生学和医学等领域。图像对准是拼接的一个关键步骤，起着决定性的作用。拼接技术已有20多年的历史了，当场景近似平面或者相机绕固定中心旋转拍摄成的图像拼接技术已经相当成熟，但是这些技术的对准方法处理视差图像时，重叠区域的对准精度不好，拼接结果中容易出现明显的人工痕迹。解决这个问题是近期图像拼接工作的焦点，相继出现了一些较好的对准方法。根据它们使用的图像变换方法，大致可以分成三类：1、整体2D变换。Brown和Lowe[1]应用一个最佳单应变换进行图像对准。Gao等人[2]提出了双单应变换的对准模型，能够处理远平面和背景平面占优的图像。基于单应变换的拼接缝评估[3]首先计算多个候选单应变换，然后评估每个单应变换对应的对准质量，选择最好的那个单应变换作为对准模型。而曹世翔等人[4]则是利用边缘特征点进行对准，以减少计算复杂性。这些方法可以很好地处理相机中心固定拍摄的或场景近似平面的图像，不能胜任一般视差图像的对准。2、连续变化的变换。Lin等人[5]提出了逐点变化的连续仿射变换的图像对准模型。由于仅使用仿射变换，对于透视感强的图像的对准不够理想。Zaragoza等人[6]提出了运动直接线性变换来对准图像，该方法与运动最小二乘法的变形方法[7]类似，只是用单应变换代替仿射变换。与整体2D变换相比，这类方法灵活度大，能够产生更好的对准结果，但是容易产生透视和几何扭曲现象。3、组合变换方法。先使用单应变换预对准图像，然后应用内容或特征保持的变形微调匹配特征点之间的对准。Zhang和Lin[8]、KaimoLin等人[9]把单应变换和内容保持的变形结合起来，相继提出了混合对准模型。这些方法的拼接质量高，但是后续的对准微调对预对准时产生的特征点的对准误差消除有限，仍有可能产生局部错位现象。综上所述，近期国内外的视差图像拼接技术使用的对准方法在处理视差图像时，仍有可能产生扭曲、错位等对准错误，从而影响拼接质量。
技术实现思路
本专利技术提出一个新的对准方法，保证匹配特征点的对准精度的同时保持图像的结构特性。本专利技术提出的运动最小二乘法与线约束相结合的视差图像拼接方法，包括以下步骤：步骤A：检测目标图像和参考图像的SIFT特征点，用RANSAC算法和距离相似性准则筛选匹配特征点对；步骤B：用筛选出来的所有匹配特征点计算一个最佳单应矩阵，用所述最佳单应矩阵对所述目标图像进行变换，称为单应变换图像；步骤C：以所述目标图像和所述参考图像，以及所述单应变换图像和所述参考图像的匹配特征点对作为控制点和变形后的对应位置，应用线约束运动最小二乘法变形所述目标图像和所述单应变换图像，得到变形目标图像和变形单应变换图像；步骤D：在所述变形目标图像和所述参考图像，以及所述变形单应变换图像和所述参考图像的重叠区域分别构建网络流模型，寻找最佳拼接缝，并进行评估，选取对准最好的那组图像进行融合拼接。本专利技术中，所述线约束运动最小二乘法包括：步骤C1：设所述目标图像的特征点集合为{pi}，所述参考图像中与其匹配的点集为{qi}。以{pi}和{qi}为控制点，用运动最小二乘法变换所述目标图像；步骤C2：用线约束算法进行全局微调变换后的网格顶点，使得调整后的网格点在纵横两个方向均保持共线。本专利技术所述步骤C1中的运动最小二乘：对于所述目标图像T的每一个像素p，构造一个仿射变换Fv(p)＝pMv+Tv，其中p和Tv是行向量，Mv是2×2的矩阵；Fv通过以下的优化问题求解：其中wi＝1/|pi-v|2。用经典算法求解优化问题(1)，得到：Tv＝q*-p*Mv其中，p*和q*加权中心：本专利技术所述步骤C2中的线约束算法：对变换后的每一行和/或每一列网格点分别拟合直线，求得直线的斜率，然后用全局优化方法计算各网格线的截距参数；用拟合后的直线的交点作为变换后的网格顶点，生成最终的变换图像，与参考图像对准。设所述网格顶点的坐标为各拟合直线的斜率通过优化问题(2)和(3)得到：其中，和分别是行和列网格顶点拟合直线的斜率和截距参数。对于第i行和第j列的网格顶点对应的行列拟合直线分别是两条线的交点记为那么与应该尽可能地接近，即其中，权重wij目标图像中对应网格顶点vij附近含有的特征点数量，如图1所示。本专利技术所述步骤D中的评估方法为：把所述目标图像变形到所述参考图像所在的坐标系，计算重叠区域内像素的差异，所述差异包括：颜色强度和结构内容。其中，所述差异公式如下：其中，v是像素点，I1(v)和I2(v)分别是变形图像和参考图像的颜色强度，和分别是变形图像和参考图像的梯度。把重叠区域分成两部分：Ω和pi是拼接缝上的点，N5(pi)是一个以pi为中心的5×5的邻域，是其余的点；评估函数如下：其中，α是权重；评价对准好坏的标准为：E越小，对准质量越好。优选地，所述权重取2/3。本专利技术提出的运动最小二乘法与线约束相结合的视差图像拼接方法，有益效果包括：1、卫星遥感图像、航拍、地图导航和艺术品的高保真数字化保存等都要使用图像拼接技术。当场景近似平面或者相机绕固定中心旋转等采集条件比较好时，传统的拼接技术完全能够胜任。但是这些技术处理视差图像时，对准精度不好，拼接图像容易出现人工痕迹和错位等问题，需要人工精心调整，费时费力。2、对于壁画的数字化保存，中华人民共和国国家文物局发布了的行业标准要求包含单幅壁画的完整正射影图像，影像的分辨率不低于75DPI。洞窟内光线弱、空间不大，现场采集条件有限，即使用昂贵的专业设备，标准要求的完整单幅图像一般不能通过单次拍摄而成，通常需要分块采集和图像拼接技术。目前大都使用Photoshop软件拼接，拼接效果不太理想，需要人工修正，拼接周期较长。对于上述拼接问题，采用本专利技术的方法可以适当放宽采集条件，提高采集效率，拼接时能够有效减少时间和人力成本，显著提升效益。参考文献[1]BrownM,LoweDG.Automaticpanoramicimagestitchingusinginvariantfeatures[J].InternationalJournalofComputerVision,2007,74(1):59–73.[DOI:10.1007/s11263-006-0002-3][2]GaoJ,KimSJandBrownMS.Constructingimagepanoramasusingdual-homographywarping[C]//本文档来自技高网...

【技术保护点】
1.一种运动最小二乘法与线约束相结合的视差图像拼接方法，其特征在于，包括以下步骤：/n步骤A：检测目标图像和参考图像的SIFT特征点，用RANSAC算法和距离相似性准则筛选匹配特征点对；/n步骤B：用筛选出来的所有匹配特征点计算一个最佳单应矩阵，用所述最佳单应矩阵对所述目标图像进行变换，称为单应变换图像；/n步骤C：以所述目标图像和所述参考图像，以及所述单应变换图像和所述参考图像的匹配特征点对作为控制点和变形后的对应位置，应用线约束运动最小二乘法变形所述目标图像和所述单应变换图像，得到变形目标图像和变形单应变换图像；/n步骤D：在所述变形目标图像和所述参考图像，以及所述变形单应变换图像和所述参考图像的重叠区域分别构建网络流模型，寻找最佳拼接缝，并进行评估，选取对准最好的那组图像进行融合拼接。/n

【技术特征摘要】
1.一种运动最小二乘法与线约束相结合的视差图像拼接方法，其特征在于，包括以下步骤：
步骤A：检测目标图像和参考图像的SIFT特征点，用RANSAC算法和距离相似性准则筛选匹配特征点对；
步骤B：用筛选出来的所有匹配特征点计算一个最佳单应矩阵，用所述最佳单应矩阵对所述目标图像进行变换，称为单应变换图像；
步骤C：以所述目标图像和所述参考图像，以及所述单应变换图像和所述参考图像的匹配特征点对作为控制点和变形后的对应位置，应用线约束运动最小二乘法变形所述目标图像和所述单应变换图像，得到变形目标图像和变形单应变换图像；
步骤D：在所述变形目标图像和所述参考图像，以及所述变形单应变换图像和所述参考图像的重叠区域分别构建网络流模型，寻找最佳拼接缝，并进行评估，选取对准最好的那组图像进行融合拼接。


2.如权利要求1所述的运动最小二乘法与线约束相结合的视差图像拼接方法，其特征在于，所述线约束运动最小二乘法包括：
步骤C1：设所述目标图像的特征点集合为{pi}，所述参考图像中与其匹配的点集为{qi}；以{pi}和{qi}为控制点，用运动最小二乘法变换所述目标图像；
步骤C2：用线约束算法进行全局微调变换后的网格顶点，使得调整后的网格点在纵横两个方向均保持共线。


3.如权利要求2所述的运动最小二乘法与线约束相结合的视差图像拼接方法，其特征在于，所述步骤C2的线约束算法，对变换后的每一行和/或每一...

【专利技术属性】
技术研发人员：李海晟，梁鹏飞，楚东东，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：上海;31