一种基于联合图频谱特征分析的异源图像匹配方法组成比例

本发明专利技术公开了一种基于联合图频谱特征分析的异源图像匹配方法。首先，提取可见光图像与红外图像的角点，使用两张图像的角点关系构造相邻矩阵；其次，通过定义常规拉普拉斯及分解相邻矩阵的特征值从而得到联合图的特征向量，再由三维重构构建特征函数对；第三，提出一种SUSAN‑MSER‑SURF算法检测每组特征函数对的极值区域，使用提出的Euclidean‑Hamming算法对区域特征进行匹配；最后，照上述步骤将最小的K个特征向量重构的特征频谱对的极值区域进行匹配，便可得到最终的匹配结果。

【技术实现步骤摘要】
一种基于联合图频谱特征分析的异源图像匹配方法
本专利技术属于图像处理领域，尤其涉及一种基于联合图频谱特征分析的异源图像匹配方法。
技术介绍
在异源图像匹配中，传统的基于灰度的匹配方式难以精确匹配，基于特征的异源图像匹配是常见的异源图像匹配方式。随着国内外众多学者提出许多性能优异的基于特征的算法，异源图像匹配技术已有了相当显著的突破，但对于一些特殊情况下拍摄的图像还是存在匹配精度不够的问题。在光照强的白天或光照弱的黑夜拍摄的可见光图像往往较为模糊，在此情况下使用基于特征的匹配方法往往受到局部特征描述符模糊的影响，而导致了匹配精度的下降。针对此类场景，提出了一种基于联合图频谱特征分析的方法，利用可见光图像与红外图像中角点的结构关系运用K近邻法则构建联合图，通过定义常规拉普拉斯及分解它的特征值从而得到联合图像的特征向量，三维重构构建特征函数对。其中特征函数对的极值代表了图像持久区域，因此本专利技术提出一种SUSAN-MSER-SURF最大稳定极值区域检测器来检测极值位置并对最大稳定极值区域进行匹配。实验结果表明，该方案应用于此类场景有优异的匹配率。
技术实现思路
专利技术目的：针对以上问题，本专利技术提出一种基于联合图频谱特征分析的异源图像匹配方法以解决光线强度过高或过低情况下拍摄的可见光与红外图像匹配问题。技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：一种基于联合图频谱特征分析的异源图像匹配方法，该方法步骤如下：(1)提取可见光与红外图像的角点，使用两张图像的角点关系构造相邻矩阵；(2)通过定义常规拉普拉斯及分解相邻矩阵的特征值从而得到联合图的特征向量，再由三维重构构建特征函数对；(3)提出一种SUSAN-MSER-SURF算法检测每组特征函数对的极值区域，使用提出的Euclidean-Hamming算法对区域特征进行匹配；(4)照上述步骤将最小的K个特征向量重构的特征频谱对的极值区域进行匹配，便可得到最终的匹配结果。进一步的，所述步骤(1)中，提取可见光与红外图像的角点，使用两张图像的角点关系构造相邻矩阵，具体方法如下：(1.1)给定待匹配的可见光图像和红外图像，分别使用SIFT算法提取待匹配的可见光图像和红外图像的角点，汇集为角点点集V1和V2，其中V为所有的角点集合，称为节点集{v1,v2,...,vn}，n指代节点的个数；(1.2)角点集合V1与V2，它们的关联图分别是G1(V1,E1,W1)与G2(V2,E2,W2)。其中，E1是V1中任意两个节点之间边的集合，E2是V2中任意两个节点之间边的集合，W1是包含所有点之间的权重值的一个n×n的邻接矩阵，其定义如下：n1指代节点集合V1中节点的个数，W1指代连接集合V1中任意两节点的边的权重值组成的n1×n1的相邻矩阵；wij是权重值，它解释了由角点vi和vj所代表的像素之间的相关性。联合图G(V,E,W)定义为V＝V1∪V2，E＝E1∪E2∪E12，E12指代的是连接V1中任一节点与V2中任一节点的边的集合。联合图G的邻接矩阵W的定义如下：C指的是连接集合V1中任一节点与集合V2中任一节点的边的权重值组成的n1×n2相邻矩阵；CT是C的转置矩阵。(1.3)给相邻矩阵赋值：相邻矩阵构造的基本法则是，如果两点间的距离较短，那么连接它们的边的权重值就越大；反之就越小。使用KNN算法来遍历角点集合中的所有点并取离每个样本点最近的k个点作为它的近邻，只有和样本距离最近的k个点之间的权重值wij>0，与其他点之间的权重值取0。为了保证对称型，只要一个点在另一个点的K近邻中，则保留sij。用于度量连接两角点的边权重值的公式如下：进一步的，所述步骤(2)中，通过定义常规拉普拉斯及分解相邻矩阵的特征值得到联合图的特征向量，再由三维重构构建特征函数对的具体实现方式如下：(2.1)利用邻接矩阵W与其度矩阵D，我们可以计算拉普拉斯矩阵为L＝W-D并将其进行归一化运算；(2.2)使用特征值分解公式计算其特征向量。其中特征向量U1,U2,...,Uk分别对应着其最小的K个特征值，每个特征向量的维数是n1+n2，这些特征向量与图像的结构有着密切的关系。(2.3)对于K个特征向量中的每一个，我们将其拆分为两个向量，其维数分别是n1与n2。(2.4)将每一个特征向量中提取的n1维向量重新构造为可见光图像的尺寸，通过将其分量值分配给采样位置(采样位置即提取特征点的地方)，再在这些采样位置之间线性插入值，我们将此重构的特征函数称作特征频谱类似地将每一个特征向量中提取的n2维的向量被重新构造为红外图像的尺寸，从而得到特征频谱(2.5)根据上述方法，我们从对应着最小的K个特征值的特征向量U1,U2,...,Uk中分别得到K组特征频谱对进一步的，所述步骤(3)中，提出一种SUSAN-MSER-SURF算法检测每组特征函数对的极值区域的具体实现方式如下：(3.1)检查图像中的所有像素点，如果该像素点的灰度值大于等于阈值的像素，便将它保存，否则忽略。保存下的点中，相邻接的点组成了极值区域；(3.2)对这些连同分量的稳定性进行检测：从0开始到255，逐渐增加到△大小的阈值，再次重复以上步骤，对于经过好几个阈值变化的区域的大小却无变化，则保留这些区域作为最大稳定极值区域。(3.3)我们采用SUSAN算子来提取特征函数中的角点，当MSER区域中的角点数量大于或等于m时保留此MSER区域；(3.4)把每个检测到的MSER椭圆仿射归一化，将其中心点作为兴趣点，取兴趣点周围的一个圆形区域，并通过分割该区域以及计算各个子区域上的梯度，为此区域计算出一个SURF描述符；(3.5)使用此方法检测每对特征函数对的所有的MSER区域将其归一化为兴趣点并为它计算SURF描述符。进一步的，所述步骤(3)中，使用提出的Euclidean-Hamming算法对区域特征进行匹配。其具体实现方式如下：(4.1)对于红外图像的特征点点集中的一个特征点，计算它到可见光图像上所有特征点的改进的欧氏距离从而得到一组距离的集合，通过比较可以轻易的得出最小的距离，与该红外特征点距离最小的可见光特征点即为它的匹配点，如果该最小距离超过阈值MatchThreshold，则排除该匹配点对。依此法则找出红外图像与可见光图像的所有匹配点对；(4.2)设定一个比较参数MaxRadio，若可见光上某一特征点与红外图像上特征点的最小距离和次小距离的比值小于该比较参数则保留该匹配点对。其中，改进的欧式距离在原先的欧式距离上多了一次加减运算。对于向量a＝(x1,x2,...,xn)和向量b＝(y1,y2,...,yn)之间的改进的欧式距离其公式如下：(4.3)将上述最近邻次邻近法则匹配好的的粗匹配点对又进行了筛选。将所有匹配点对的最小欧式距离记作domin，分别计算已经匹配好的点对的汉明距离。比较所有匹配点对的汉明距离，如果它们本文档来自技高网...

【技术保护点】
1.一种基于联合图频谱特征分析的异源图像匹配方法，其特征在于，该方法步骤如下：/n(1)提取光线过高或低的可见光图像与红外图像的角点，使用两张图像的角点关系构造相邻矩阵；/n(2)通过定义常规拉普拉斯及分解相邻矩阵的特征值从而得到联合图的特征向量，再由三维重构构建特征函数对；/n(3)检测每组特征函数对的极值区域，使用提出的Euclidean-Hamming算法对区域特征进行匹配；/n(4)根据上述步骤将最小的K个特征向量重构的特征频谱对的极值区域进行匹配，便可得到最终的匹配结果。/n

【技术特征摘要】
1.一种基于联合图频谱特征分析的异源图像匹配方法，其特征在于，该方法步骤如下：
(1)提取光线过高或低的可见光图像与红外图像的角点，使用两张图像的角点关系构造相邻矩阵；
(2)通过定义常规拉普拉斯及分解相邻矩阵的特征值从而得到联合图的特征向量，再由三维重构构建特征函数对；
(3)检测每组特征函数对的极值区域，使用提出的Euclidean-Hamming算法对区域特征进行匹配；
(4)根据上述步骤将最小的K个特征向量重构的特征频谱对的极值区域进行匹配，便可得到最终的匹配结果。


2.根据权利要求1所述的一种基于联合图频谱特征分析的异源图像匹配方法，其特征在于，所述步骤(1)中，提取可见光与红外图像的角点，使用两张图像的角点关系构造相邻矩阵，具体方法如下：
(1.1)给定待匹配的可见光图像和红外图像，分别使用SIFT算法提取待匹配的可见光图像和红外图像的角点，汇集为角点点集V1和V2，其中，V1为可见光图像中所有的角点集合，称为节点集n1指代节点的个数；V2为红外图像中所有的角点集合，称为节点集n2指代节点的个数；
(1.2)角点集合V1与V2，它们的关联图分别是G1(V1,E1,W1)与G2(V2,E2,W2)，其中，E1是V1中任意两个节点之间边的集合，E2是V2中任意两个节点之间边的集合，W1是可见光图像所有角点之间的权重值的一个n1×n1的邻接矩阵，其定义如下：



其中，n1指代节点集合V1中节点的个数，W1指代连接集合V1中任意两节点的边的权重值组成的n1×n1的相邻矩阵，wij是权重值，其代表由角点vi和vj所代表的像素之间的相关性；
W2是红外图像所有角点之间权重值的一个n2×n2的邻接矩阵，其定义如下：



其中，n2指代节点集合V2中节点的个数，W2指代连接集合V2中任意两节点的边的权重值组成的n2×n2的相邻矩阵，wij是权重值，其代表由角点vi和vj所代表的像素之间的相关性；
联合图G(V,E,W)定义为V＝V1∪V2，E＝E1∪E2∪E12，E12指代的是连接V1中任一节点与V2中任一节点的边的集合，联合图G的邻接矩阵W的定义如下：



其中，C指的是连接集合V1中任一节点与集合V2中任一节点的边的权重值组成的n1×n2相邻矩阵，CT是C的转置矩阵；
(1.3)使用KNN算法来遍历角点集合中的所有点并取离每个样本点最近的k个点作为它的近邻，只有和样本距离最近的k个点之间的权重值wij>0，与其它点之间的权重值取0，为了保证对称型，只要一个点在另一个点的K近邻中，则保留sij，用于度量连接两角点的边权重值的公式如下：



其中，xi,xj是任意两个角点vi,vj的描述子，xi∈KNN(xj)指的是角点vi属于距离角点vj最近的k个点之一，xj∈KNN(xi)指的是角点vj属于距离角点vi最近的k个点之一。


3.根据权利要求2所述的一种基于联合图频谱特征分析的异源图像匹配方法，其特征在于，所述步骤(2)中，通过定义常规拉普拉斯及分解相邻矩阵的特征值得到联合图的特征向量，再由三维重构构建特征函数对，具体方法如下：
(2.1)利用邻接矩阵W与其度矩阵D，我们可以计算拉普拉斯矩阵为L...

【专利技术属性】
技术研发人员：王鑫，张丽荷，张之露，严勤，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32