一种基于特征检测的图像匹配方法组成比例

本发明专利技术是一种基于特征的图像匹配算法，步骤如下：利用基准图像基于Ｈａｒｒｉｓ函数的的特征检测算法和最近邻匹配算法对测试图像进行匹配，获得并利用测试图像相对于基准图像的姿态估计的目标的光照进行估计，通过计算测试图像中目标包含于基准图像部分的光照变化，将此光照变化函数与已估计姿态的测试图像进行光照变换和修正，得到光照修正的测试图像；将光照修正的测试图像和基准图像进行基于特征点检测与描述，得到光照修正后的测试图像特征点匹配，结合测试图像的姿态估计，得到光照修正后测试图像的姿态匹配。图像匹配是计算机视觉中的底层问题，对目标跟踪，场景建模，图像拼接，图像检索等计算机视觉中的经典问题有着重要的意义。

【技术实现步骤摘要】

本专利技术属于模式识别领域，涉及图像处理和计算机视觉等技术，特别是涉及特征检测，图像匹配，图像拼接，图像检索，三维重建和增强现实。
技术介绍
图像匹配是计算机视觉中的基本问题，精确高效的图像匹配算法为其他问题的解 决提供坚实的底层基础。随着技术的发展以及硬件设备价格的逐渐降低，照相机和摄像机 已经成为人们日常生活中广泛应用的器材之一。人们对场景感知的要求从原来的二维感知 转化为三维感知，即感知真实世界中物体的三维形态和场景的三维姿态。由于真实世界中 物体的变化多样，对实际物体直接进行三维建模或对场景进行空间标定消耗了大量的人力 物力资源。通过图像对三维物体建模或对三维场景进行重建是近年来备受关注的前沿研究 方向之一，它从照相机或摄像机捕捉的图像中检测、识别、跟踪物体和场景并对其行为三维 空间中的姿态进行估计。尽管目前已有的计算机三维重建技术已经被广泛的使用，但其中 几个重要的问题仍然值得探讨。这些问题是准确性，稳定性和高效性。因此，作为计算机视 觉中的底层问题，图像匹配在这三个问题上的研究尤为重要。针对这三个问题，开发出一套 准确性高，稳定性好，能够实时进行图像匹配的算法，对实际的应用做好铺垫。 图像中存在具有良好定位能力和区分能力的点。人们可以轻易的从图像中找出具 有代表性的这些点，并和另一幅图像进行匹配。但是，对计算机来说，图像中特征点的检测 和匹配是一个十分困难的问题。 这些困难的问题一般可以归结为以下几个方面光照的变换，视角的表换，摄像机 引起的模糊，物体姿态引起的变化等等。近年来，针对视角变化的方法被人们广发的关注。 已有的图像特征检测和匹配方法大都是针对尺度空间中的稳定特征点进行的。
技术实现思路
现有的基于图像特征不变性的方法在图像差异较小的情况下使用。对于差异较 大，尤其是图像中物体姿态的变化较大时的图像匹配，精度和稳定性较低。为了解决现有的 技术问题，本专利技术的目的是提供一种基于图像姿态估计的特征提取和图像匹配算法。 为了实现上述目的，本专利技术提供的基于特征的提取和匹配算法，包括姿态估计和 变换，光照估计和变换和图像匹配三个过程，该方法包括步骤如下 步骤Sl :利用基准图像通过基于Harris函数的特征检测算法(HLSIFD)和最近邻匹配算法对测试图像进行匹配，获得测试图像相对于基准图像的姿态估计； 步骤S2 :利用基准图像对已姿态估计的测试图像中的目标的光照进行估计，通过计算测试图像中目标包含于基准图像部分的光照变化，将此光照变化函数与已估计姿态的测试图像进行光照变换和修正，得到光照修正的测试图像； 步骤S3 :将光照修正的测试图像和基准图像进行基于特征点检测与描述，得到光 照修正后的测试图像特征点匹配，结合测试图像的姿态估计，得到光照修正后测试图像的姿态匹配。其中，姿态估计具体步骤如下 步骤Sll :通过基于Harris函数的的特征检测算法对基准图像与测试图像分别提 取尺度不变的特征点； 步骤S12 :对基准图像与测试图像上所有的特征点进行尺度不变的特征描述算法 (SIFT)特征描述以每个特征点为中心截取固定大小的正方形窗口，对在窗口内的图像， 计算每个像素相关的梯度、梯度方向及其梯度的权值，得到每个的特征点描述，用多维的直方图来统计特征点的描述，最终形成每个特征点的多维特征向量； 步骤S13 :用最近邻方法将基准图像与测试图像中所提取出的特征点的特征向量 进行匹配； 步骤S14 :用随机抽样一致性算法(RANSAC)得到所有匹配点对中的一致集； 步骤S15 :通过一致集求得基准图像与测试图像的投影映射矩阵& ; 步骤S16 :通过投影映射矩阵Hp对测试图像进行投影变换，得到测试图像的粗略姿态估计。其中，光照估计具体步骤如下 步骤S21 :求基准图像与测试图像的灰度直方图； 步骤S22 :利用直方图规定化方法，计算基准图像与测试图像之间的直方图变换 函数L ; 步骤S23 :根据基准图像与测试图像直方图的变换函数L，对测试图像进行直方图规定化，从而对姿态修正后的图像进行光照修正。其中，光照修正后的测试图像的姿态匹配具体步骤如下 步骤S31 :求取变换后的光照修正后的测试图像的尺度不变的特征点； 步骤S32 :求取特征点描述子的特征向量； 步骤S33 :将这些特征向量和基准图像的所有特征点进行最近邻匹配； 步骤S34 :通过随机抽样一致性算法(RANSAC)寻找所有匹配对中的一致集； 步骤S35 :通过一致集求得变换后的光照修正后的测试图像和基准图像之间的投 影映射关系H ; 步骤S36 :求光照修正后的测试图像与基准图像之间的投影映射关系H :H = &&， 式中投影映射矩阵Hp投影映射矩阵H 所述的基于特征的图像匹配方法，还包括，在姿态估计之后加入对图像进行光照 的估计。 本专利技术的方法，匹配图像在姿态和光照变换均较大的情况下仍然能保持较高的精 度和稳定性。图像匹配是计算机视觉问题中的底层问题，一般作为其他方法的底层引擎，支 撑上层算法，为上层算法提供高质量的匹配结果。本专利技术与其他的基于不变特征提取的方 法不同，本专利技术不直接使用不变的特征点作为匹配依据，而是首先估计图像间的姿态和光 照关系，从而对其中一幅图像进行修正，最终在修正的图像上做匹配，本专利技术的方法是易于 实现和应用，主要可以应用于如下几个方面 (1)基于特征跟踪的监控跟踪系统，帮助系统对场景中的目标进行跟踪。获得场景 中感兴趣目标的行为语义，从而对场景中的事件进行理解。 (2)基于图像特征点匹配的三维物体建模系统，用于对复杂的三维物体进行形态 分析和三维重建，对虚拟现实有重大的作用 (3)基于特征跟踪的增强现实系统，用于通过对图像中静态特征点的跟踪获得场 景的三维空间信息，从而通过虚拟的物体在增强场景的内容。附图说明 图1示出基于图像姿态和光照的图像匹配算法的流程框图，包括姿态估计和修正，光照估计和修正，图像匹配三个部分。图2示出姿态估计结果和修正结果示意图。 图3示出光照估计结果和修正结果示意图。 图4示出图像匹配结果实例。具体实施例方式下面结合附图详细说明本专利技术技术方法中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本专利技术的理解，而对其不起任何限定作用。 基于图像姿态和光照估计的图像匹配算法提高了图像匹配的精确度，稳定性和实时性。利用对姿态和光照的估计，本专利技术实现了一个图像匹配系统，如图l示出基于图像姿态和光照的图像匹配算法流程图，本方法分为姿态估计和修正，光照估计和修正，图像匹配三个部分 所述的姿态估计和修正部分包括步骤对基准图像和第一幅测试图像分别提取 尺度不变的特征点；对所有的特征点进行描述，求取特征向量；用最近邻方法将基准图 像和第一幅测试图像中所提取出的特征点的特征向量进行匹配；用随机抽样一致性算法 (RANSAC)得到所有匹配点对中的一致集；通过一致集求得基准图像和第一幅测试图像的 投影映射矩阵关系；通过投影映射矩阵关系，对其中第二幅测试图像进行姿态修正。 所述的光照估计和修正部分包括步骤求第一幅匹配测试图像包含于基准图像中 的灰度直方图；利用直方图规定化方法，以包含于基准图像中的灰度直方图为标准，计算基 准图像与第二幅测试图像之间的直本文档来自技高网...

【技术保护点】
一种基于特征的图像匹配方法，其特征在于：该方法包括步骤如下：步骤Ｓ１：利用基准图像基于Ｈａｒｒｉｓ函数的特征检测算法（ＨＬＳＩＦＤ）和最近邻匹配算法对测试图像进行匹配，获得测试图像相对于基准图像的姿态估计；步骤Ｓ２：利用基准图像对已姿态估计的测试图像中的目标的光照进行估计，通过计算测试图像中目标包含于基准图像部分的光照变化，将此光照变化函数与已估计姿态的测试图像进行光照变换和修正，得到光照修正的测试图像；步骤Ｓ３：将光照修正的测试图像和基准图像进行基于特征点检测与描述，得到光照修正后的测试图像特征点匹配，结合测试图像的姿态估计，得到光照修正后测试图像的姿态匹配。

【技术特征摘要】
一种基于特征的图像匹配方法，其特征在于该方法包括步骤如下步骤S1利用基准图像基于Harris函数的特征检测算法(HLSIFD)和最近邻匹配算法对测试图像进行匹配，获得测试图像相对于基准图像的姿态估计；步骤S2利用基准图像对已姿态估计的测试图像中的目标的光照进行估计，通过计算测试图像中目标包含于基准图像部分的光照变化，将此光照变化函数与已估计姿态的测试图像进行光照变换和修正，得到光照修正的测试图像；步骤S3将光照修正的测试图像和基准图像进行基于特征点检测与描述，得到光照修正后的测试图像特征点匹配，结合测试图像的姿态估计，得到光照修正后测试图像的姿态匹配。2. 按权利要求1所述的基于特征的图像匹配方法，其特征在于所述姿态估计具体步 骤如下步骤Sll :通过基于Harris函数的尺度不变的特征检测算法对基准图像与测试图像分 别提取尺度不变的特征点；步骤S12 :对基准图像与测试图像上所有的特征点进行尺度不变的特征描述算法 (SIFT)特征描述以每个特征点为中心截取固定大小的正方形窗口，对在窗口内的图像， 计算每个像素相关的梯度、梯度方向及其梯度的权值，得到每个的特征点描述，用多维的直方图来统计特征点的描述，最终形成每个特征点的多维特征向量；步骤S13 :用最近邻方法将基准图像与测试图像中所提取出的特征点的特征向量进行 匹配；步骤S14 :用随机抽样一致性算法(RANSAC)...

【专利技术属性】
技术研发人员：谭铁牛，黄凯奇，余轶南，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：11[中国|北京]