提高图像拼接精度和稳定性的方法技术

一种视频图像处理技术领域的提高图像拼接精度和稳定性的方法，包括以下步骤：对待拼接图像进行ＳＩＦＴ特征点提取和匹配，得到初始匹配点对集；进行剔除误匹配处理，得到满足同一单应矩阵的一致最大内点集；进行归一化直接线性变化处理，得到单应矩阵的初始估计，并对单应矩阵的初始估计进行ＬＭ迭代优化处理，得到单应矩阵的最优估计；进行图像的拼接，确定两幅待拼接图像的公共区域，并得到公共区域的最小外接矩形所含的两幅图像的子图像；进行无缝融合，将融合后的图像贴到公共区域即可得到图像拼接的最终结果。本发明专利技术能够在初始匹配点对中存在大量误匹配的情况下进行图像拼接，且拼接精度高，耗时短，稳定性好。

【技术实现步骤摘要】

本专利技术涉及的是一种视频图像处理
的方法，具体是一种提高图像拼接精 度和稳定性的方法。
技术介绍
图像拼接技术可以用来建立大视角的高分辨率图像，在虚拟现实领域、医学图像 处理领域、遥感
等均有广泛的应用。图像拼接的过程由图像配准和图像合成两个 步骤组成，其中图像配准是整个图像拼接的基础。图像拼接的质量主要依赖图像的配准程 度，因此图像的配准是拼接方法的核心和关键。根据图像配准方法的不同，一般可以将图像 拼接方法分为基于区域相关的拼接方法和基于特征相关的拼接方法两个类型。一般来说， 基于区域相关的拼接方法图像配准的精度不高，容易受旋转、变形以及照明不同的影响；而 基于特征相关的拼接方法由于利用了图像的特征信息，对旋转、变形以及照明具有较强的 抗干扰能力，其配准精度通常较高。基于特征相关的拼接方法的一般步骤分为提取图像中 的特征、不同图像间特征的匹配、估计图像间的单应矩阵和利用单应矩阵转移图像像素。由 于实际中特征的提取存在定位误差以及特征的匹配存在误匹配，用于图像拼接的单应矩阵 的估计精度将会受此影响。近年来，随着图像拼接技术的进一步发展，出现了大量减小特征 定位误差以及消除误匹配的方法。经过对现有技术文献的检索发现，David Lowe于2004年在《International Journal ofComputer Vision (国际计算机视觉期刊)》上发表的“Distinctive image features fromscale-invariant keypoints (基于尺度不变关键点的显著图像特征)”中提 出了图像尺度不变特征点即SIFT特征点的提取方法。通过引入尺度空间将二维图像拓展 成三维的金字塔结构并取在三个方向上都有较大灰度变化的点为特征点，极大地改善了特 征定位误差。然而该技术在对SIFT特征点进行匹配的后仍然存在大量误匹配的问题。又经检索发现，Matthew Brown 禾口 David Lowe 于 2007 年在《International Journal ofComputer Vision (国际计算机视觉期刊)》上发表的 “Automatic panoramic image stitching usinginvariant features (使用不变特征的自动全景图像拼接)”中提 出了利用SIFT特征点进行全景图自动拼接的方法。该方法利用随机抽样一致性方法(即 RANSAC方法)消除误匹配，提高单应矩阵的估计精度。RANSAC方法将在一定精度内满足某 一单应矩阵的匹配点对称为该单应矩阵的内点，否则称为外点。RANSAC方法能够处理存在 点对误匹配的情况，然而当误匹配在总匹配点对中的比例较大时，RANSAC方法的耗时会相 当大，且单应矩阵的精度也会受到抽样次数的不足的影响。
技术实现思路
本专利技术的目的在于克服现有技术中的上述不足，提出一种提高图像拼接精度和稳 定性的方法。该方法利用遗传方法内含的并行性和全局最优性来提高单应矩阵估计的效 率、估计精度及鲁棒性，从而提高图像拼接的精度和稳定性，可广泛应用于摄影测量、遥感图像处理、医学图像分析和虚拟现实等领域。本专利技术是通过以下技术方案实现的，本专利技术包括以下步骤第一步，分别对待拼接的两幅图像进行SIFT特征点提取，并对得到的两组SIFT特 征点进行匹配，得到初始匹配点对集。第二步，基于单应矩阵的遗传一致性估计，对初始匹配点对集进行剔除误匹配处 理，得到满足同一单应矩阵的一致最大内点集。所述的剔除误匹配处理，包括以下步骤1)在初始匹配点对集中选择P个个体组成初始种群，得到每个个体包含的内点 数，且至少有一个个体中包含的内点数大于或者等于相关阈值Tin;所述的个体包含从初始匹配点对集中随机选择的s组非奇异匹配点对。所述的s取值范围是区间上的整数。所述的相关阈值Tin的取值范围是，其中s为个体所包含的匹配点对数。所述的？的取值范围为，其中s为个体所包含的匹配点对数。所述的内点是对称转移误差小于内点阈值Thr的匹配点对。所述的内点阈值Thr的取值范围是。所述的对称转移误差，是 其中=Dij是初始匹配点对集中第i组匹配点对(xu，xEi)对于第j个个体Ij的对 称转移误差，1彡i彡N，N是初始匹配点对集中匹配点对的总数目，Xu = (xLi, yLi, 1)τ为第 i组匹配点对中第一幅图匹配点的齐次坐标，(xu，yu)T是以第一幅图左上角像素点为原点 建立的坐标系中的像素坐标；xKi = (xEi, yEi, 1)τ为第i组匹配点对中第二幅图匹配点的齐 次坐标，(xKi，yKi)T是以第二幅图左上角像素点为原点建立的坐标系中的像素坐标，Hj是利 用第j个个体L所包含的s对匹配点对进行归一化直接线性变化处理所得到的单应矩阵 估计实例，1 < j ^P0所述的归一化直接线性变化处理，包括以下步骤a)计算第一幅图的归一化矩阵IY 其中:uL=-jyu ,vL =-^>L· , fL = Wl+Fl/2，Wl为第一幅图以像素为单位的宽度，&为第一幅图的以像素为单位的长度，4为第一幅图的尺度归一化因子；b)计算第二幅图的归一化矩阵Tk 其中: , We为第二幅图以像素为单位的宽度，Fk为第二幅图的以像素为单位的长度，4为第二幅图的尺度归一化因子；c)归一化匹配点对Xnu — TlX Li Xnei — TeX Ri 其中Xm为第一幅图匹配点的归一化齐次坐标，xNEi为第二幅图匹配点的归一化 齐次坐标，X' Li = (x' Li,y' Li,l)T,x' Ei = (x' Ei,y' Ei,l)T, (x' Li,x' Ki)是提供的 匹配点对； d)对A =A1A..进行奇异值分解 A = UDVT,其中=A1 =0 ~XNRiy NLi^-NRiJiNRi 0 ~XNLi^NRi XNLi “ =“N Li' ^NLi' J-/ , XNRi “对角矩阵D的对角元素沿着对角线按降序排列，V的最后一列为h ；e)解除归一化，得到单应矩阵 H = Tl1HTs ,fKKK其中H =KKK，[fhKK,比为h的第i个元素，H就是由提供的匹配点对得到的单应矩阵估计实例。2)将初始种群随机划分为个体数目都为s+2的子群，并在每个子群中选择内点数 最大和次大的两个个体作为母体；3)将每个子群中的两个母体随机交换q组匹配点对生成2个子体，子体与母体共 形成4个中间个体。所述的q为区间上的随机整数。4)保留每个子群4个中间个体中内点数最大的个体作为候选个体。5)对每个子群中的候选个体进行变异处理，使每个候选个体变异为s+1个变异个 体，并将变异个体进行调整处理，得到调整后的变异个体与候选个体组成的新的种群。所述的变异处理，分别在每个候选个体划分的内外点中选择由m组内点和4-m组 外点组成的变异个体，0 < m < S。每个候选个体都生成s+1个变异个体。所述的外点是对称转移误差大于或等于内点阈值Thr的匹配点对。所述的调整处理，是对每个候选个体生成的变异个体，逐个与判别个体进行比 较，当且仅当判别个体的内点数大于变异个体的内点数，则将变异个体置换为判别个体。所述的判别个体是从候选个体的内点中随机选择的本文档来自技高网...

【技术保护点】
一种提高图像拼接精度和稳定性的方法，其特征在于，包括以下步骤：第一步，分别对待拼接的两幅图像进行ＳＩＦＴ特征点提取，并对得到的两组ＳＩＦＴ特征点进行匹配，得到初始匹配点对集；第二步，基于单应矩阵的遗传一致性估计，对初始匹配点对集进行剔除误匹配处理，得到满足同一单应矩阵的一致最大内点集；第三步，利用一致最大内点集的所有匹配点对进行归一化直接线性变化处理，得到单应矩阵的初始估计Ｈ↓［ｉｎｉｔ］，并对单应矩阵的初始估计进行ＬＭ迭代优化处理，得到单应矩阵的最优估计Ｈ↓［ｏｐｔ］；第四步，利用单应矩阵的最优估计Ｈ↓［ｏｐｔ］进行图像的拼接，确定两幅待拼接图像的公共区域，并得到公共区域的最小外接矩形所含的第一幅图像的子图像Ｉ↓［Ｌ］↑［ＲＰＲｅｇ］和第二幅图像的子图像Ｉ↓［Ｒ］↑［ＲＰＲｅｇ］；第五步，对第一幅图像的子图像Ｉ↓［Ｌ］↑［ＲＰＲｅｇ］和第二幅图像的子图像Ｉ↓［Ｒ］↑［ＲＰＲｅｇ］进行无缝融合，将融合后的图像贴到公共区域，得到图像拼接的最终结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：姚达，周军，安然，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：31[中国|上海]