一种基于块匹配的图像拼接方法技术

本发明专利技术公开了一种基于块匹配的图像拼接方法，包括图像的采集与预处理、待匹配块的切割与匹配、匹配块对的筛选、图像的配准与融合四个阶段。所述图像的采集与预处理阶段包括：获取图像序列，图像的灰度化、滤波等预处理操作；所述待匹配块的切割与匹配阶段包括：切割待匹配块，匹配待匹配块；所述匹配块对的筛选阶段包括：从匹配块对中筛选出最佳匹配块对，利用最佳匹配块对确定精密匹配块对，计算精密匹配块对的坐标差及运动目标位移；所述图像的配准与融合阶段包括：确定拼接线和重叠区域，利用多分辨率算法拼接图像。本发明专利技术方法能有效地去除复杂背景对拼接的影响，在所拍目标特征不明显的情况下也能获得较准确的拼接效果。

An image mosaic method based on block matching

The invention discloses an image splicing method based on block matching, including four stages of image acquisition and preprocessing, cutting and matching of blocks to be matched, screening of matching block pairs, and image registration and fusion. The image acquisition and preprocessing stage includes: acquiring image sequence, image graying, filtering and other preprocessing operations; the cutting and matching stage of the block to be matched includes: cutting the block to be matched, matching the block to be matched; the filtering stage of the matching block pair includes: selecting the best matching block pair from the matching block pair, and determining the precise matching block pair by using the best matching block pair To calculate the coordinate difference of the precise matching block pair and the moving target displacement; the registration and fusion stage of the image includes: determining the splicing line and overlapping area, and splicing the image with multi-resolution algorithm. The method of the invention can effectively remove the influence of complex background on splicing, and can obtain more accurate splicing effect when the feature of the photographed object is not obvious.

【技术实现步骤摘要】
一种基于块匹配的图像拼接方法
本专利技术涉及计算机视觉和数字图像处理领域，具体涉及一种基于块匹配的图像拼接方法。
技术介绍
对于一些较长的大型运动物体，如货车、动车、高铁、大型船舰等等，在使用位置固定的相机拍摄时，由于相机视野的关系，无法在一张图像中呈现全局面貌，往往需要对运动着的物体进行连续拍摄，然后在拍摄结束后，按照图像的时序进行拼接。现有图像拼接技术一般采用特征点提取和匹配的方法实现，但在背景不变的情况下，背景图上的特征点将会在每张图上重复出现，基于特征点提取和匹配的方法会将各图上重复出现的背景作为图像重叠区域进行融合并实现拼接，因此会使拼接后的图像严重失真。为此，如何在运动目标的背景不变，相机固定拍摄移动的目标后实现准确拼接，具有重要的研究意义和实用价值。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供一种基于块匹配的图像拼接方法，该方法能有效地去除复杂背景对拼接的影响，在所拍物体特征不明显的情况下也能获得准确的拼接效果，鲁棒性好。本专利技术的目的通过以下的技术方案实现：一种基于块匹配的图像拼接方法，包括步骤：S1.固定相机，对其前方水平运动的物体进行拍摄，将拍摄的原图按照时序保存；S2.从原图中提取出待拼接的两个图像，分别进行预处理，得到第一图像和第二图像，将第二图像分割成m×n个待匹配图像块，各待匹配块尺寸大小一致，将第一图像分割成对应的m行图像；将第二图像中每一行所有的待匹配块依次和第一图像该行的待匹配块进行匹配，得到初始的匹配块对集合；S3.剔除匹配错误的匹配块对和背景图中的匹配块对，记录最佳匹配块对；筛选最佳匹配块对中的精密匹配块对，计算运动物体的位移；S4.根据运动物体的位移确定重叠区域，根据重叠区域拼接图像。优选的，所述预处理步骤包括依次进行灰度化、中值滤波、双边滤波。优选的，步骤S2中，利用基于平方差度量的匹配算法将第二图像中每一行所有的待匹配块依次和第一图像该行的待匹配块进行匹配，步骤是：S2-1.读取第一图像H1和第二图像H2，并初始化位移数组C；S2-2.令最小平方和误差Smin为无穷大；S2-3.在第二图像H2中选定一个模板匹配块Pi,j，在第一图像H1中的第i行中以若干个像素的步长依次选择与Pi,j大小一样的待匹配块Qi,k，计算二者的平方和误差S，若S<Smin，则令Smin＝S；S2-4.重复步骤S2-3直至第一图像H1中的第i行的所有待匹配块Qi,k遍历完成，此时Smin对应的匹配块对为最优匹配块对，并将该匹配块对的坐标差值即位移存入数组C；S2-5.重复步骤S2-3和S2-4直至第二图像H2中所有待匹配块Pi,j遍历完成；计算过程中所有的最优匹配块对即组成初始的匹配块对集合。优选的，步骤S3中，剔除匹配错误的匹配块对和背景图中的匹配块对，步骤是：S3-1-1.初始化重叠区域数组R；S3-1-2.读取步骤S2得到的位移数组C；S3-1-3.依次检测数组C中的值Ci,j是否小于阈值a，若小于则说明该匹配块对为错误匹配块对或背景中的匹配块对，剔除；S3-1-4.将Ci,j、Ci+1,j、Ci,j+1和Ci+1,j+1四个值中的任意两个相减求绝对值，即|Ci,j-Ci,j+1|、|Ci,j-Ci+1,j|、|Ci,j-Ci+1,j+1|、|Ci,j+1-Ci+1,j|、|Ci,j+1-Ci+1,j+1|、|Ci+1,j-Ci+1,j+1|判断其是否均小于阈值b，若小于则认为该分割块与周围分割块合并后属于重叠区域的精密匹配块，将图像H1和图像H2中的精密匹配块分别进行合并，并将图像像素值同时保存到数组R中；S3-1-5.重复S3-1-3和S3-1-4直至数组C中所有值遍历完成。优选的，步骤S3中，筛选最佳匹配块对中的精密匹配块对，计算运动物体的位移，步骤是：S3-2-1.读取重叠区域数组R；S3-2-2.依次依据数组R中的元素，取出其对应的第一图像H1中的精密匹配块Ni,j，将Ni,j的边界向水平和竖直方向分别扩展c、d个像素，在第二图像H2所有精密匹配块组成的区域中利用归一化积相关算法搜索Ni,j的最相似区域Mi,j，并求出其相关系数p；S3-2-3.若p大于阈值，则认为Mi,j和Ni,j相互匹配，计算二者之间的位移并保存，否则剔除；S3-2-4.重复步骤S3-2-2和S3-2-3，直至数组R中所有元素遍历完成，舍去各对匹配块对应的位移的最大值和最小值，将各对匹配块对应的位移平均值作为运动物体的位移wg。优选的，步骤S4中，根据运动物体的位移确定重叠区域，步骤是：S4-1-1.保留第一原始图像I1第W-wg+1列至最后一列图像B1，W为I1的总列数；S4-1-2.保留第二原始图像I2第一列至第wg列图像B2；S4-1-3.I1的第一列至W-wg列图像G10与I2第wg+1列至最后一列图像G20为重叠区域。更进一步的，对于步骤S4中确定的重叠区域，对该重叠区域利用多分辨率融合算法进行融合，并将融合后图像进行拼接，步骤如下：S4-2-1.将G10和G20进行N层拉普拉斯金字塔分解，得到分解图像L10L10,L11,…,L1N和L20,L21,…,L2N；S4-2-2.以G10尺寸大小，生成一幅区域图像D0，在图像中线的左边填充为白色，右边填为黑色，并进行N层高斯金字塔分解，得到图像D1,…,DN；S4-2-3.按照公式LMl＝DlL2l+(1-Dl)L1l，对每一层拉斯金字塔分解图像进行融合；S4-2-4.根据融合后的拉斯金字塔分解图像LMl,l∈1,2,…,N，重建融合图像GM；S4-2-5.拼接后的图像为[B2,GMB1]。优选的，在需要拼接多张图像时，方法如下：将拍摄的多张图像按照时序组成一组图像序列；从中提取两张前后时序图像，将二者进行拼接得到拼接图；从图像序列中删除上述两张图像，同时将所述拼接图按照上述两张图像的采集时间插入到图像序列中；对图像序列中的图像依次进行拼接，直到没有图像为止。本专利技术与现有技术相比，具有如下优点和有益效果：本专利技术提出对待拼接的两个图像进行分块并进行匹配，得到初始的匹配块对集合，然后根据匹配度的大小以及背景图中特征的特点，对其进行筛选，得到最佳匹配块对，然后再根据每个图像中分割块与其周围分割块的关系进一步得到重叠区域的精密匹配块对，从而可有效地去除复杂背景对拼接的影响，且在所拍运动物体特征不明显的情况下也能获得可接受的拼接效果。另外，本专利技术在得到重叠区域后，利用多分辨率融合算法进行融合，然后将融合后的重叠区域用于拼接，拼接后的图像还原度更高。附图说明图1是本专利技术实施例方法的流程图。图2是本实施例采集的运动汽车的系列图片。图3是本实施例经过预处理后的结果图。图4是本实施例对灰度图本文档来自技高网...

【技术保护点】
1.一种基于块匹配的图像拼接方法，其特征在于，包括步骤：/nS1.固定相机，对其前方水平运动的物体进行拍摄，将拍摄的原图按照时序保存；/nS2.从原图中提取出待拼接的两个图像，分别进行预处理，得到第一图像和第二图像，将第二图像分割成m×n个待匹配图像块，各待匹配块尺寸大小一致，将第一图像分割成对应的m行图像；将第二图像中每一行所有的待匹配块依次和第一图像该行的待匹配块进行匹配，得到初始的匹配块对集合；/nS3.剔除匹配错误的匹配块对和背景图中的匹配块对，记录最佳匹配块对；筛选最佳匹配块对中的精密匹配块对，计算运动物体的位移；/nS4.根据运动物体的位移确定重叠区域，根据重叠区域拼接图像。/n

【技术特征摘要】
1.一种基于块匹配的图像拼接方法，其特征在于，包括步骤：
S1.固定相机，对其前方水平运动的物体进行拍摄，将拍摄的原图按照时序保存；
S2.从原图中提取出待拼接的两个图像，分别进行预处理，得到第一图像和第二图像，将第二图像分割成m×n个待匹配图像块，各待匹配块尺寸大小一致，将第一图像分割成对应的m行图像；将第二图像中每一行所有的待匹配块依次和第一图像该行的待匹配块进行匹配，得到初始的匹配块对集合；
S3.剔除匹配错误的匹配块对和背景图中的匹配块对，记录最佳匹配块对；筛选最佳匹配块对中的精密匹配块对，计算运动物体的位移；
S4.根据运动物体的位移确定重叠区域，根据重叠区域拼接图像。


2.根据权利要求1所述的基于块匹配的图像拼接方法，其特征在于，所述预处理步骤包括依次进行灰度化、中值滤波、双边滤波。


3.根据权利要求1所述的基于块匹配的图像拼接方法，其特征在于，步骤S2中，利用基于平方差度量的匹配算法将第二图像中每一行所有的待匹配块依次和第一图像该行的待匹配块进行匹配，步骤是：
S2-1.读取第一图像H1和第二图像H2，并初始化位移数组C；
S2-2.令最小平方和误差Smin为无穷大；
S2-3.在第二图像H2中选定一个模板匹配块Pi,j，在第一图像H1中的第i行中以若干个像素的步长依次选择与Pi,j大小一样的待匹配块Qi,k，计算二者的平方和误差S，若S<Smin，则令Smin＝S；
S2-4.重复步骤S2-3直至第一图像H1中的第i行的所有待匹配块Qi,k遍历完成，此时Smin对应的匹配块对为最优匹配块对，并将该匹配块对的坐标差值即位移存入数组C；
S2-5.重复步骤S2-3和S2-4直至第二图像H2中所有待匹配块Pi,j遍历完成；计算过程中所有的最优匹配块对即组成初始的匹配块对集合。


4.根据权利要求3所述的基于块匹配的图像拼接方法，其特征在于，步骤S3中，剔除匹配错误的匹配块对和背景图中的匹配块对，步骤是：
S3-1-1.初始化重叠区域数组R；
S3-1-2.读取步骤S2得到的位移数组C；
S3-1-3.依次检测数组C中的值Ci,j是否小于阈值a，若小于则说明该匹配块对为错误匹配块对或背景中的匹配块对，剔除；
S3-1-4.将Ci,j、Ci+1,j、Ci,j+1和Ci+1,j+1四个值中的任意两个相减求绝对值，即|Ci,j-Ci,j+1|、|Ci,j-Ci+1,j|、|Ci,j-Ci+1,j+1|、|Ci,j+1-Ci+1,j|、|Ci,j+1-Ci+1,j+1|、|Ci+1,j-Ci+1,j+1|判断其是否均小于阈值b，若小于则认为该分割块与周围分割块合并后属于重叠区域的精密匹配块，将图像H1和图像H2中的精密匹配块分别...

【专利技术属性】
技术研发人员：黄茜，王林尧，胡志辉，师聪颖，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44