基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法技术

本发明专利技术公开了基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法，属于图像处理和计算机视觉领域；针对待拼接图像，提取两幅图像的SIFT特征并进行匹配，选取一副图作为参考图像，对另一幅图像提取的匹配后的特征点使用k‑means方法进行聚类；根据聚类结果对非参考图像进行逐层四叉划分，使得每个子空间中仅包含一类特征点；利用MDLT方法得到非参考图像划分的每个子空间所对应的变换矩阵；利用变换矩阵对非参考图像划分的每个子空间的每个像素值进行坐标变换，并与参考图像进行对准拼接，最终得到结果图。本发明专利技术利用特征点的内在特性和分布情况，大大减少变换矩阵数量的同时仍然得到符合人眼视觉认知的画面，整体上提升了拼接过程的计算效率。

【技术实现步骤摘要】
基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
本专利技术涉及图像处理和计算机视觉领域，具体涉及一种基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法。
技术介绍
图像拼接技术是指将两张或多张拍摄同一场景的单视角有重叠的图像进行拼接，得到一幅包括全部源图像的宽视角的清晰结果图。随着图像处理技术的发展，图像拼接技术的研究不断地深入，应用也越来越广泛。在航空领域中，将空间探测器和卫星拍摄的画面回传到一起进行拼接得到更多的信息；在医学上将CT、X光等医学成像技术获取的画面进行拼接发现更多的病理信息；另外很多其他
中，比如遥感技术、导航系统、军事领域等均有广泛的应用前景。图像拼接技术包括4个主要步骤：匹配、变换、缝合和去缝融合。匹配一般包括基于空间像素、基于空间特征和基于频域的匹配；坐标变换即将图像弯曲变形使得待拼接图像在同一个坐标系下对准；缝合是将对准后的图像在一张画布上组合；去缝融合去除由于光照不均匀或其他原因产生的缝合线，其中坐标变换过程对拼接结果的优劣具有关键性的作用，变换模型的使用极大程度上决定了图像是否能实现正确拼接。目前已有很多商用的图像拼接工具和软件能实现图像拼接功能，比如AdobePhotoshop、MicrosoftPhotosynth、Autostitch以及一些内嵌入摄像头的小工具等，他们使用全局的单应性矩阵模型对整幅图进行坐标变换。但是它们使用的变换模型仅适用于平面的场景或者仅旋转导致的视野变化，当数据不完全符合变换模型的假设时，拼接结果将会出现明显的重影和错误对准现象。而在实际使用过程中，需拼接的图像很难完全符合使用现有模型的严苛条件，两幅图像经常都会存在深度差异，使用这些已有软件或工具进行拼接会出现模糊、重影或错误对准等现象，即使采用性能优越的预处理和后续处理，也很难完全去除由变换模型固有缺陷导致的鬼影现象。为了解决对准精确性的问题，现有研究将图像分割成远景和近景并分别进行变换，但是试用场景局限性太大；或者将图像分成上万个很细的网格并依次对每个网格采用相应的变换矩阵进行变换，虽然对准精度大大提高但是计算量太大处理效率太低；还有一些研究通过在变换过程中添加约束项比如直线或形状矫正等，虽然对于一些极端的大视差场景能继续提升对准精度但是不可避免地进一步加大了计算复杂度。在除去大视差等极端场景的普通应用场景中，处理效率与对准拼接的精确度的平衡非常重要，因此保持精确度的同时如何提升处理速度是亟待解决的问题。
技术实现思路
为解决上述过多网格划分导致的处理效率和精度不平衡问题，本专利技术提供了一种基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法，实现精确和快速的图像拼接。具体步骤为：步骤一、针对待拼接图像，提取两幅图像的SIFT特征并进行匹配；SIFT特征包括特征点的位置、尺度和方向以及特征描述算子；匹配是根据特征点特性和描述算子寻找待拼接的全局图像中的匹配特征点对，并利用RANSAC剔除错误匹配的特征点对。步骤二、选取一副图作为参考图像，对另一幅图像提取的匹配后的特征点使用k-means方法进行聚类；从输入图像中任选一幅作为参考图像，在变换过程中不进行变换；另一幅图像作为非参考图像通过变换模型变换。k-means聚类算法是：首先随机选用k个匹配后的特征点作为初始中心点，然后计算每个特征点与k个簇中心点的距离，将每个特征点归类到最近的中心点所在的簇中，继续重新计算簇的中心点位置，重复上述过程直到达到收敛条件，确定每个特征点所属的聚类特征类型。步骤三、根据聚类结果对非参考图像进行逐层四叉划分，使得每个子空间中仅包含一类特征点；逐层四叉划分的具体步骤如下：步骤301、搜索当前空间中所含特征点的聚类结果类型，并判断是否只有一种类型，如果是，进入步骤302；否则，进入步骤303；根据非参考图像的尺寸大小，将图像的长度和宽度均填充成256像素的倍数，则填充后图像被划分为依次相连的M个256×256的方格，M为整数；初始的M个当前空间为非参考图像对应的M个方格区域；步骤302、仅包括一类特征点，则该空间不再继续划分；步骤303、位于该空间中的特征点涵盖的聚类结果类型为多种类型，则将该空间均匀地划分为4个相等的子空间；步骤304、同时选取4个子空间中均作为当前空间，返回步骤301进行迭代，直到非参考图像所划分的每个子空间的方格区域内仅包含一类的聚类特征点时停止划分。步骤305、非参考图像根据特征点的分布情况被划分为不同深度子空间，使得每个子空间中至多只存在一类特征点。步骤四、利用MDLT方法得到非参考图像划分的每个子空间所对应的变换矩阵；变换矩阵H是指能将来自I图的像素点变换到与之匹配的来自I′图的像素点坐标变换公式每个子空间的变换矩阵采用如下公式计算：和||h||＝1估算出唯一的h*，通过h*重构得到H*；权重与变换点到第i'个匹配点距离有关，距离越近则权值越大，ai'由第i'个匹配对求得；N是非参考图像的匹配的特征点对个数；步骤五、利用变换矩阵对非参考图像划分的每个子空间的每个像素值进行坐标变换，并与参考图像进行对准拼接。对准拼接是将参考图像和经过坐标变换的非参考图像填充到同一个空画布中，其中重叠部分以参考图像中的内容进行填充，最终得到基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法的结果图。本专利技术的优点及其有益效果在于：本专利技术基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法，能确定图像在坐标变换中每个区域位置适用的单应性矩阵；由于本专利技术中的区域子空间的划分利用了特征点的内在特性和分布情况，在变换矩阵数量大大减少的同时仍然能得到符合人眼视觉认知的画面；相比致密的网格划分，本专利技术大大减少变换矩阵的数量，虽然确定区域划分的过程有少量开销，但是整体上仍提升了拼接过程的计算效率。附图说明图1为本专利技术基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法的流程图；图2为本专利技术输入的待拼接的原始两幅图像；图3为本专利技术去除错误匹配点后的待对准拼接图像的特征点匹配结果；图4为本专利技术非参考图像的全局特征点k-means聚类结果；图5为本专利技术根据特征点聚类结果进行四叉划分的结果图；图6为本专利技术使用基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法的结果图。具体实施方式以下参照附图和实施例对本专利技术的具体实施做进一步详细的描述。基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法，如图1所示，具体步骤如下：步骤一、针对待拼接图像，提取两幅图像的SIFT特征并进行匹配；获取两幅待拼接的有一定重叠区域的图像，分别记为I1和I2；如图2所示，两幅图像像素大小均为730×487，均包含一定的深度信息非平面场景的图像。分别提取两幅图像的SIFT特征，包括特征点的位置、尺度和方向以及特征描述算子，并根据其特征点特性和描述算子进行匹配得到重叠区域的若干特征点匹配对，由于匹配结果中会存在少量误匹配的情况，而这些误匹配对会对后续的处理造成很大的影响，在通过SIFT直接匹配后将匹配数据归一化然后采用RANSAC随机抽样一致的方法去除误匹配对，如图3所示，为去除错误匹配点后的待对准拼接图像的特征点匹配结果。步骤二、选取一副图作为参考图像，对另一幅图像提取的匹配后的特征点使用k-means方法进行聚类；从两幅图像中任选一幅作为参考图像，本文档来自技高网...

【技术保护点】
基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法，其特征在于，具体步骤为：步骤一、针对待拼接图像，提取两幅图像的SIFT特征并进行匹配；匹配是根据特征点特性和描述算子寻找待拼接的全局图像中的匹配特征点对，并利用RANSAC剔除错误匹配的特征点对；步骤二、选取一副图作为参考图像，对另一幅图像提取的匹配后的特征点使用k‑means方法进行聚类；从输入图像中任选一幅作为参考图像，在变换过程中不进行变换；另一幅图像作为非参考图像通过变换模型变换；步骤三、根据聚类结果对非参考图像进行逐层四叉划分，使得每个子空间中仅包含一类特征点；逐层四叉划分的具体步骤如下：步骤301、搜索当前空间中所含特征点的聚类结果类型，并判断是否只有一种类型，如果是，进入步骤302；否则，进入步骤303；根据非参考图像的尺寸大小，将图像的长度和宽度均填充成256像素的倍数，则填充后图像被划分为依次相连的M个256×256的方格，M为整数；初始的M个当前空间为非参考图像对应的M个方格区域；步骤302、仅包括一类特征点，则该空间不再继续划分；步骤303、位于该空间中的特征点涵盖的聚类结果类型为多种类型，则将该空间均匀地划分为4个相等的子空间；步骤304、同时选取4个子空间中均作为当前空间，返回步骤301进行迭代，直到非参考图像所划分的每个子空间的方格区域内仅包含一类的聚类特征点时停止划分；步骤305、非参考图像根据特征点的分布情况被划分为不同深度子空间，使得每个子空间中至多只存在一类特征点；步骤四、利用MDLT方法得到非参考图像划分的每个子空间所对应的变换矩阵；变换矩阵H是指能将来自I图的像素点...

【技术特征摘要】
1.基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法，其特征在于，具体步骤为：步骤一、针对待拼接图像，提取两幅图像的SIFT特征并进行匹配；匹配是根据特征点特性和描述算子寻找待拼接的全局图像中的匹配特征点对，并利用RANSAC剔除错误匹配的特征点对；步骤二、选取一副图作为参考图像，对另一幅图像提取的匹配后的特征点使用k-means方法进行聚类；从输入图像中任选一幅作为参考图像，在变换过程中不进行变换；另一幅图像作为非参考图像通过变换模型变换；步骤三、根据聚类结果对非参考图像进行逐层四叉划分，使得每个子空间中仅包含一类特征点；逐层四叉划分的具体步骤如下：步骤301、搜索当前空间中所含特征点的聚类结果类型，并判断是否只有一种类型，如果是，进入步骤302；否则，进入步骤303；根据非参考图像的尺寸大小，将图像的长度和宽度均填充成256像素的倍数，则填充后图像被划分为依次相连的M个256×256的方格，M为整数；初始的M个当前空间为非参考图像对应的M个方格区域；步骤302、仅包括一类特征点，则该空间不再继续划分；步骤303、位于该空间中的特征点涵盖的聚类结果类型为多种类型，则将该空间均匀地划分为4个相等的子空间；步骤304、同时选取4个子空间中均作为当前空间，返回步骤301进行迭代，直到非参考图像所划分的每个子空间的方格区域内仅包含一类的聚类特征点时停止划分；步骤305、非参考图像根据特征点的分布情况被划分为不同深度子空间，使得每个子空间中至多只存在一类特征点；步骤四、利用MDLT方法得到非参考图像划分的每个子空间所对应的变换矩阵；变换矩阵H是指能将来自I图的像素点变换到与之匹配的来自I′图的像素点坐标变换公式步骤五、利用变换矩阵对非参考图像划分的每个子空间的每个像素值进行坐标变换，并与参考图像进行对...

【专利技术属性】
技术研发人员：黄治同，龚妙岚，詹爽，纪越峰，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11