基于混合变换的图像拼接方法技术

本发明专利技术属于数字图像处理领域，为提出解决非重叠区域过度形变问题的技术方案，使得到的拼接图像在整体形状上有更好的效果。为此，本发明专利技术采取的技术方案是，基于混合变换的图像拼接方法，首先针对n幅无序的输入图像，分别提取SIFT，尺度不变一致性特征)特征点并匹配，对每一幅图像选取所有与之有重叠区域的待拼接图像，然后使用移动的直接线性变换Moving‑DLT结合网格划分估计每个网格的局部投影变换矩阵，然后筛选得到最优的全局相似变换矩阵，接下来将全局相似变换矩阵与局部投影变换矩阵相结合进行混合变换，最后进行多频段融合，最终实现全景图像的自动拼接。本发明专利技术主要应用于数字图像处理场合。

Image Mosaic Method Based on Hybrid Transform

The invention belongs to the field of digital image processing, and provides a technical scheme to solve the problem of excessive deformation in non-overlapping areas, so that the mosaic image has better effect on the overall shape. To this end, the technical scheme adopted by the present invention is that the image mosaic method based on hybrid transformation firstly extracts SIFT, scale invariant consistency feature) feature points and matches them for n disorderly input images, selects all images to be mosaic with overlapping regions for each image, and then estimates each image using moving direct linear transformation Moving DLT combined with meshing. The local projection transformation matrix of the mesh is filtered to get the optimal global similarity transformation matrix. Then the global similarity transformation matrix and the local projection transformation matrix are combined for hybrid transformation. Finally, multi-band fusion is carried out to realize the automatic mosaic of the panoramic image. The invention is mainly applied to the digital image processing occasion.

【技术实现步骤摘要】
基于混合变换的图像拼接方法
本专利技术属于数字图像处理领域，具体讲,涉及基于混合变换的图像拼接方法。
技术介绍
图像涉及到人们生活工作的各个领域。随着计算机相关领域的飞速发展,数字图像处理的应用价值被许多专家学者发现,其应用领域也在不断的壮大。数字图像处理作为一门富有前景的交叉性学科,吸引了很多来自其他科学领域的研究者参与其中,并在基础研究和工程实践中应用广泛。图像拼接技术是数字图像处理中不可或缺的一个关键分支,近年来,伴随着计算机视觉和计算机图形学的发展,图像拼接技术与其他相关技术相结合开拓了不少新兴领域,并成为研究热点。图像拼接技术的主要目的是将含有重叠区域的图像序列映射到同一坐标系下合成为一幅大尺度和宽视角的全景图像。全景图像拼接技术作用领域广泛,目前已普遍应用于虚拟现实、智能交通、灾害预警、军事作战、医疗等多个领域。虚拟现实是一种由计算机系统生成动态的三维立体图像的技术,是近几年来图像处理的热点,图像拼接技术可以用在虚拟现实技术三维立体场景的绘制和重建中,是虚拟现实中一项必不可少的基本技术,利用拼接技术可以生成全方位的三维全景图像,用全景图表示实景可代替三维场景建模。在数字图像拼接技术出现之前,人们通过专业全景照相机旋转拍摄或者手动拼接获取全景图像,这些方法不仅实施困难而且获得的全景图效果不佳。而如今仅仅一台数码相机和计算机图像拼接技术,任何人都可以制作出视角惊人的全景照片。图像拼接技术主要包括图像配准和图像融合两个关键环节。图像配准是图像拼接的核心部分，由于视角、拍摄时间、分辨率、光照强度、传感器类型等的差异,待拼接的图像往往存在平移、旋转、尺度变化、透视形变、色差、扭曲、运动目标遮挡等差别,配准的目的就是找出一种最能描述待拼接图像之间映射关系的变换模型即找出对齐的两幅或多幅重叠图像之间的运动情况。图像配准直接关系到图像拼接算法的成功率和运行速度。目前常用的一些空间变换模型有平移变换、刚性变换、仿射变换以及投影变换等。如图1所示，为图像拼接流程。早期的图像配准技术主要采用点匹配法，这类方法速度慢、精度低，而且常常需要人工选取初始匹配点，无法适应大数据量图像的融合。近十几年来，许多图像自动拼接技术被提出并实现。例如Brown等人(提出了名为“全景图像识别”的方法，用于图像拼接技术中)[1]将SIFT(Scale-invariantfeaturetransform，尺度不变一致性特征)特征引入到图像拼接中。通过特征点的提取、匹配得到特征点对，通过特征点对所对应的相关信息估计得到单应性变换模型。该方法由于使用的变换模型的局限性，当不满足单应性假设条件时，拼接结果会出现伪影或模糊现象，同时由于投影变换的特性，会导致在非重叠区域产生过度形变。因此，该方法将图像先投影到圆柱平面，这样可以一定程度减缓最后拼接结果的过度形变问题，但是由于投影到圆柱平面会使图像本身一些直线结构变弯曲，从而导致视觉效果不佳。而且根本的问题没有得到解决，即使用一个单应性矩阵来进行对齐的效果有限，在不符合单应性假设的情况下产生的拼接结果会存在错误对齐或者伪影或者模糊现象的存在。针对上述全局单应性方法存在的问题，后续提出了基于局部变换的方法。该类方法使用更多的单应性矩阵对图像的各部分分别进行对齐，相较于经典的单应性模型具有更好的自由度。Zaragoza等人(提出了名为“移动的直接线性变换”方法，用于图像拼接技术)[2]提出的APAP(As-Projective-As-Possible，尽可能多的投影方法)方法使用M-DLT(Moving-DirectLinearTransform，移动的直接线性变换)估计得到各个位置的最佳变换矩阵，结合网格划分方法达到更好对齐图像的目的。考虑到拼接后的图像非重叠区域出现变形严重的问题，杨波等人[3]提出针对广角图像透视畸变现象的校正方法，本质上与图像拼接中图像的重叠区域产生的透视扭曲现象相同。杨基于最小二乘优化方法提出了校正透视畸变的方法，但是计算量很大。Chang等人(提出了名为“形状保护的半投影图像拼接方法”，用于图像拼接技术)[4]提出了SPHP(Shape-PreservingHalf-Projective，基于形状保护的半投影方法)方法来保护非重叠区域的过度形变以及缓解透视失真的现象，当该方法结合APAP(As-Projective-As-Possible，尽可能多的投影方法)方法使用时，拼接的效果已经很好。Lin等人(提出了名为“尽可能自然的图像拼接”方法，用于图像拼接技术)[5]提出，SPHP(Shape-PreservingHalf-Projective，基于形状保护的半投影方法)方法中对于参数选择的依赖较大，而且SPHP(Shape-PreservingHalf-Projective，基于形状保护的半投影方法)方法中使用的全局相似变换是由所有匹配特征点估计得到，如果重叠区域内的物体存在多个不同的平面，则得到的相似变换不是最优的。参考文献：[1]BrownM,LoweDG.RecognisingPanoramas.[C]//IEEEInternationalConferenceonComputerVision.IEEEComputerSociety,2003:1218.[2]ZaragozaJ,ChinTJ,BrownMS,etal.As-Projective-As-PossibleImageStitchingwithMovingDLT[C]//IEEEConferenceonComputerVisionandPatternRecognition.IEEEComputerSociety,2013:2339-2346.(2013CVPR,2014PAMI).[3]杨波.广角图像透视畸变校正方法研究[D].浙江大学,2016.[4]ChangCH,SatoY,ChuangYY.Shape-PreservingHalf-ProjectiveWarpsforImageStitching[C]//ComputerVisionandPatternRecognition.IEEE,2014:3254-3261.[5]LinCC,PankantiSU,RamamurthyKN,etal.Adaptiveas-natural-as-possibleimagestitching[C]//ComputerVisionandPatternRecognition.IEEE,2015:1155-1163。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出解决非重叠区域过度形变问题的技术方案，使得到的拼接图像在整体形状上有更好的效果。为此，本专利技术采取的技术方案是，基于混合变换的图像拼接方法，首先针对n幅无序的输入图像，分别提取SIFT(Scale-invariantfeaturetransform，尺度不变一致性特征)特征点并匹配，对每一幅图像选取所有与之有重叠区域的待拼接图像，然后使用移动的直接线性变换Moving-DLT(Moving-DirectLinearTransform)结合网格划分估计每个网格的局部投影变换矩阵，然后筛选得到最优的全局相似变换矩阵，接下来将全局相似变换矩阵与局部投影变换矩阵相本文档来自技高网...

【技术保护点】
1.一种基于混合变换的图像拼接方法，其特征是，首先针对n幅无序的输入图像，分别提取SIFT(Scale‑invariant feature transform，尺度不变一致性特征)特征点并匹配，对每一幅图像选取所有与之有重叠区域的待拼接图像，然后使用移动的直接线性变换Moving‑DLT(Moving‑Direct Linear Transform)结合网格划分估计每个网格的局部投影变换矩阵，然后筛选得到最优的全局相似变换矩阵，接下来将全局相似变换矩阵与局部投影变换矩阵相结合进行混合变换，最后进行多频段融合，最终实现全景图像的自动拼接。

【技术特征摘要】
1.一种基于混合变换的图像拼接方法，其特征是，首先针对n幅无序的输入图像，分别提取SIFT(Scale-invariantfeaturetransform，尺度不变一致性特征)特征点并匹配，对每一幅图像选取所有与之有重叠区域的待拼接图像，然后使用移动的直接线性变换Moving-DLT(Moving-DirectLinearTransform)结合网格划分估计每个网格的局部投影变换矩阵，然后筛选得到最优的全局相似变换矩阵，接下来将全局相似变换矩阵与局部投影变换矩阵相结合进行混合变换，最后进行多频段融合，最终实现全景图像的自动拼接。2.如权利要求1所述的基于混合变换的图像拼接方法，其特征是，具体步骤细化如下：步骤S1：对输入的n幅图像分别提取尺度不变特征变换SIFT(Scale-invariantfeaturetransform)特征点；步骤S2：为每个特征点搜寻k个最近匹配点；步骤S3：使用随机抽样一致RANSAC方法进行筛选匹配的特征点，根据特征点的匹配情况，为每幅图像选取其对应的m幅候选匹配图像；步骤S4：记录每幅图像对应的m幅候选匹配图像；步骤S5：对所有图像进行网格划分；步骤S6：使用筛选过的特征点的信息求解尽可能多的投影APAP(As-Projective-As-Possible)方法中的变换矩阵；步骤S7：继续筛选特征点，得到最接近投影平面的对象平面中的特征点，使用选取的特征点的信息求解最优的相似变换矩阵；步骤S8：计算重叠区域和非重叠区域的特征点所对应的权重，使用权重系数进行结合；步骤S9：根据特征点所在的包括重叠区域或非重叠区域的位置求取APAP变换和相似变换所对应的权重系数，以此为约束使用相似变换来减缓由于投影变换所带来的过度形变，降低由于局部区域产生过度形变引起的图像扭曲效果；步骤S10：使用得到的变换模型对待拼接图像进行配准；步骤S11：基于多频段融合方法来实现对待拼接图像的自动拼接。3.如权利要求2所述的基于混合变换的图像拼接方法，其特征是，求解APAP...

【专利技术属性】
技术研发人员：孙济洲，崔晨，刘世光，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12