一种基于复合算子的异源图像匹配方法组成比例

本发明专利技术公开了一种基于复合算子的异源图像匹配方法。首先，采用一种改进的Harris边缘提取算子，分别获取可见光图像和红外图像的边缘图像；其次，对可见光图像和红外图像的边缘采用SURF算子提取特征点，并建立特征描述向量；第三，提出一种改进的最近次邻近原则，利用欧式距离度量特征点之间的相似性提取匹配对，并计算所有匹配点对的平均欧式距离以及方差，根据方差大小设定阈值，剔除错误匹配点对，实现粗匹配；最后，采用一种基于神经网络梯度下降法，对所有粗匹配点对进行拟合得到函数模型，计算所有粗匹配点对与函数模型的误差，剔除误差大的匹配点对，得到精确匹配结果。

A Heterogeneous Image Matching Method Based on Compound Operator

【技术实现步骤摘要】
一种基于复合算子的异源图像匹配方法
本专利技术属于图像处理领域，尤其涉及一种基于复合算子的异源图像匹配方法。
技术介绍
图像匹配技术最初是由美国军方提出的，用于飞行器辅助导航系统、武器投射系统的制导及搜索等。现阶段，这项技术已从最初的军事应用扩展到医学诊断、民用目标识别等领域。图像匹配技术分为同源图像匹配和异源图像匹配，匹配依据是图像是否是由同类成像设备获得。其中，由于异源图像间的灰度信息差距较大，现有的大多数同源图像匹配技术在异源图像匹配中使用效果不佳，因此需要研究鲁棒性高的异源图像匹配方法。基于特征的图像匹配方法常常通过提取图像中的点特征、线特征等进行匹配。特征是对图像更高层次的描述，可以在异源图像中稳定存在，因此，基于特征的图像匹配方法可用于异源图像的匹配。基于特征的图像匹配方法不直接对灰度信息进行采集处理，而是通过提取图像上有代表性的特征信息，如点特征等，通过相似性度量完成图像匹配。由于异源图像中检测到的特征点一般含有较多干扰点，因此需要鲁棒性较强的特征匹配方法。针对可见光和红外异源图像间的匹配，本专利技术公开了一种基于复合算子的异源图像匹配方法。首先，采用一种改进的Harris边缘提取算子，分别获取可见光图像和红外图像的边缘图像；其次，对可见光图像和红外图像的边缘采用SURF算子提取特征点，并建立特征描述向量；第三，提出一种改进的最近次邻近原则，利用欧式距离度量特征点之间的相似性提取匹配对，并计算所有匹配点对的平均欧式距离以及方差，根据方差大小设定阈值，剔除错误匹配点对，实现粗匹配；最后，采用一种基于神经网络梯度下降法，对所有粗匹配点对进行拟合得到函数模型，计算所有粗匹配点对与函数模型的误差，剔除误差大的匹配点对，得到精确匹配结果。
技术实现思路
专利技术目的：针对以上问题，本专利技术提出一种基于复合算子的异源图像匹配方法以积极复合算子解决异源图像匹配问题。技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：一种基于复合算子的异源图像匹配方法，该方法步骤如下：(1)采用一种改进的Harris边缘提取算子，分别获取可见光图像和红外图像的边缘图像；(2)对可见光图像和红外图像的边缘采用SURF算子提取特征点，并建立特征描述向量；(3)提出一种改进的最近次邻近原则，利用欧式距离度量特征点之间的相似性提取匹配对，并计算所有匹配点对的平均欧式距离以及方差，根据方差大小设定阈值，剔除错误匹配点对，实现粗匹配；(4)最后，采用一种基于神经网络梯度下降法，对所有粗匹配点对进行拟合得到函数模型，计算所有粗匹配点对与函数模型的误差，剔除误差大的匹配点对，得到精确匹配结果。进一步的，所述步骤(1)中，采用一种改进的Harris边缘提取算子，分别获取可见光图像和红外图像的边缘图像，具体方法如下：(1.1)给定待匹配的可见光图像V和红外图像R，对待匹配的可见光图像V和红外图像R中每一像素点计算相关矩阵M：首先利用水平，竖直差分算子对图像的每个像素进行滤波以求得该像素在x坐标方向的差分Ix、该像素在y坐标方向的差分Iy,然后对IxIy、IyIx分别进行高斯平滑滤波，得到M中的四个元素的值，进而得到自相关矩阵M：其中：代表卷积操作，高斯函数其中，σ是模糊系数，x是像素的横坐标，y是像素的纵坐标，e是自然对数的底数。(1.2)利用M中的四个元素计算每个像素点的Harris角点响应R；R＝det(M)-k×trace2(M)＝(AB-CD)2-k×(A+B)2其中，k是常数，det(M)为自相关矩阵M的行列式，trace(M)为自相关矩阵M的迹；(1.3)若目标像素点计算的R角点响应函数值大于预先设定的阈值thresh，thresh＞0，若R＞thresh，则该像素点为初步候选角点；由此可得整个图像对应的角点集合；(1.4)采用一种改进的方法，从角点集合中提取强角点，具体如下：针对某一初步候选角点p，以其为中心形成一个l×l的正方形邻域，从正方形边缘上以步长为1间隔抽取z个点，将这些像素点的灰度值I(x)与中心像素点灰度值I(p)进行比较，其差值将分为以下三类：1)若I(p)-t≥I(x)，则像素点x比中心像素点p暗；2)若I(p)+t≤I(x)，则像素点x比中心像素点p亮；3)若I(p)-t＜I(x)＜I(p)+t，则像素点x和中心像素点p灰度相似；其中，t是阈值。假如上述z个点中，有四分之三的点落在第一类或第二类中，即比中心像素p的强度都暗，或都亮，则认为点p为强角点。(1.5)由提取出来的强角点集合，即可分别构成可见光边缘图像V'和红外边缘图像R'。进一步的，所述步骤(2)中，对可见光图像和红外图像的边缘采用SURF算子提取特征点，并建立特征描述向量从而描述特征点的具体实现方式如下：对可见光边缘图像V'和红外边缘图像R'进行SURF特征检测，分别使用不同尺寸以及不同模糊系数的盒式滤波器与边缘图像V'和R'进行滤波，构造高斯金字塔，对金字塔中所有子图像都采用Hessian矩阵行列值来取得图像的特征点，汇集为V'和R'上的特征点点集D1和D2。(2.1)对某一图像采用Hessian矩阵行列值来生成所有斑点响应值，具体为：(2.1.1)取某一图像中某一像素点x，构造尺度为σ的Hessian矩阵，计算特征值α，具体步骤如下：其中，Lxx(x,σ)是高斯二阶微分在点x处与该图像的卷积，Lxy(x,σ)是高斯二阶微分在点x处与该图像的卷积，Lyy(x,σ)是高斯二阶微分在点x处与该图像的卷积。(2.1.2)使用Hessian矩阵行列式的近似值α来表示图像中某一点x处的斑点响应值：α＝LxxLyy-(0.9Lxy)2；(2.1.3)遍历图像中所有的像素点，便形成了在某一尺度下的响应图像。(2.2)构造SURF高斯金字塔，构造尺度空间。前述金字塔分为若干组，每一组的原始图片是通过对原始图片V'和R'进行不同高斯模糊的模板尺寸得到的；每一组又分为若干层，每层的各个图片是对该组的原始图片通过不同高斯模糊系数得到的。(2.3)斑点响应极值点定位，具体方法为：在构造好的SURF高斯金字塔中，按照步骤(2.1)中Hessian矩阵处理金字塔中的每个像素点，生成与之对应的斑点响应值α。取某一斑点响应值α与其在SURF高斯金字塔中三维领域的26个斑点响应值进行大小数值比较，若该斑点为这26个斑点中的最大值或最小值，则将斑点保留下来，作为初步的特征点。(2.4)确定特征点主方向，具体步骤为：统计任一特征点圆形邻域内(即以特征点为中心，半径为6s的邻域)的Harr小波特征，即在特征点的圆形邻域内，统计60度扇形内所有点在水平x和垂直y方向的Harr小波响应总和，Harr小波边长取4s，s为特征点所在的尺度值，并给这些Harr小波响应值赋上高斯权重系数，高斯权重系数由高斯模型在不同的角度和距离上确定，权重系数的和为1；然后将60度范围内的响应相加以形成特征矢量，遍历整个特征点的圆形区域，覆盖整个360度，选择最长矢量的方向为该特征点的主方向。(2.5)方向构造对应特征点SURF特征描述子，具体方法为：在特征点邻域范围内取一个正方形框，框的边长为20s，s是该特征点所在的尺度值；把框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的Harr小波本文档来自技高网...

【技术保护点】
1.一种基于复合算子的异源图像匹配方法，其特征在于，该方法步骤如下：(1)采用Harris边缘提取算子，分别获取可见光图像和红外图像的边缘图像；(2)对可见光图像和红外图像的边缘采用SURF算子提取特征点，并建立特征描述向量；(3)利用欧式距离度量特征点之间的相似性提取匹配对，并计算所有匹配点对的平均欧式距离以及方差，根据方差大小设定阈值，剔除错误匹配点对，实现粗匹配；(4)采用神经网络梯度下降法，对所有粗匹配点对进行拟合得到函数模型，计算所有粗匹配点对与函数模型的误差，剔除误差大于预先设定阈值ω的匹配点对，得到精确匹配结果。

【技术特征摘要】
1.一种基于复合算子的异源图像匹配方法，其特征在于，该方法步骤如下：(1)采用Harris边缘提取算子，分别获取可见光图像和红外图像的边缘图像；(2)对可见光图像和红外图像的边缘采用SURF算子提取特征点，并建立特征描述向量；(3)利用欧式距离度量特征点之间的相似性提取匹配对，并计算所有匹配点对的平均欧式距离以及方差，根据方差大小设定阈值，剔除错误匹配点对，实现粗匹配；(4)采用神经网络梯度下降法，对所有粗匹配点对进行拟合得到函数模型，计算所有粗匹配点对与函数模型的误差，剔除误差大于预先设定阈值ω的匹配点对，得到精确匹配结果。2.根据权利要求1所述的一种基于复合算子的异源图像匹配方法，其特征在于，所述步骤(1)中，采用Harris边缘提取算子，分别获取可见光图像和红外图像的边缘图像，具体方法如下：(1.1)给定待匹配的可见光图像V和红外图像R，对待匹配的可见光图像V和红外图像R中每一像素点计算相关矩阵M：首先利用水平，竖直差分算子对图像的每个像素进行滤波以求得该像素在x坐标方向的差分Ix、该像素在y坐标方向的差分Iy,然后对IxIy、IyIx分别进行高斯平滑滤波，得到M中的四个元素的值，进而得到自相关矩阵M：其中：代表卷积操作，高斯函数其中，σ是模糊系数，x是像素的横坐标，y是像素的纵坐标，e是自然对数的底数；(1.2)利用M中的四个元素计算每个像素点的Harris角点响应R；R＝det(M)-k×trace2(M)＝(AB-CD)2-k×(A+B)2其中，k是常数，det(M)为自相关矩阵M的行列式，trace(M)为自相关矩阵M的迹；(1.3)若目标像素点计算的R角点响应函数值大于预先设定的阈值thresh，若R＞thresh，则该像素点为初步候选角点；由此可得整个图像对应的角点集合；(1.4)针对某一初步候选角点p，以其为中心形成一个l×l的正方形邻域，从正方形边缘上以步长为1间隔抽取z个点，将这些像素点的灰度值I(x)与中心像素点灰度值I(p)进行比较，其差值将分为以下三类：1)若I(p)-t≥I(x)，则像素点x比中心像素点p暗；2)若I(p)+t≤I(x)，则像素点x比中心像素点p亮；3)若I(p)-t＜I(x)＜I(p)+t，则像素点x和中心像素点p灰度相似；其中，t是阈值，假如上述z个点中，有四分之三的点落在第一类或第二类中，即比中心像素p的强度都暗，或都亮，则认为点p为强角点；(1.5)由提取出来的强角点集合，即可分别构成可见光边缘图像V'和红外边缘图像R'。3.根据权利要求1或2所述的一种基于复合算子的异源图像匹配方法，其特征在于，所述步骤(2)中，对可见光图像和红外图像的边缘采用SURF算子提取特征点，并建立特征描述向量的具体实现方式如下：对可见光边缘图像V'和红外边缘图像R'进行SURF特征检测，分别使用不同尺寸以及不同模糊系数的盒式滤波器与边缘图像V'和R'进行滤波，构造高斯金字塔，对金字塔中所有子图像都采用Hessian矩阵行列值来取得图像的特征点，汇集为V'和R'上的特征点点集D1和D2。4.根据权利要求3所述的一种基于复合算子的异源图像匹配方法，其特征在于，步骤(3)中，实现粗匹配的方法如下：(3.1)输入V'和R'上的特征点点集D1和D2，采用快速近邻匹配方法找到可见光边缘图像V'和红外边缘图像R'中具有最小欧式距离的初始...

【专利技术属性】
技术研发人员：王鑫，张丽荷，宁晨，吕国芳，张香梁，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏,32