一种基于直线段上下文的红外与可见光异源图像匹配方法组成比例

本发明专利技术涉及一种基于直线段上下文的红外与可见光异源图像匹配方法，包括以下过程：采用LSD算法检测出图像中的直线段，并按照几何约束规则挑选出关键直线段；通过改进的图像角点检测方法检测角点；通过计算特征点四象限邻域内线段的曼哈顿距离，得到每条直线段对特征点的贡献，在此基础上采用圆形阵列的方式，构建基于直线段上下文的特征描述子；运用双向匹配策略和RANSAC算法实现红外与可见光图像的匹配。本发明专利技术的算法可以获取到更多正确的匹配点对，能够适应灰度差异较为严重的红外与可见光图像的精确匹配，并且在鲁棒性和时间效率方面都要优于主流异源图像匹配算法。

【技术实现步骤摘要】

本专利技术涉及红外与可见光异源图像匹配的
，具体地说是一种基于直线上下文的红外与可见光异源图像匹配方法。
技术介绍
红外与可见光图像的匹配是异源图像匹配的重要分支，在图像融合、自动目标识别、变化检测等领域具有重要的应用。红外传感器具有全天候工作、抗干扰能力强等优点，而可见光传感器获取的图像具有对比度高、纹理信息丰富、图像清晰等特点。在图像融合领域，为了获取更加丰富的场景信息，需要在红外与可见光图像匹配的基础上实现信息融合，增强互补性，减少对场景分析和理解的不确定性；在自动目标识别领域，需要根据可见光图像中已知的目标信息，采用图像匹配的方法从实时红外图像中找出对应的目标。由于成像设备、所用光谱以及拍摄时间等因素的差异，红外与可见光图像之间通常呈现复杂的灰度差异，给匹配带来了较大的困难。红外与可见光图像的匹配依然是一个极具挑战性的问题。异源图像匹配方法基本可以分为基于区域的方法和基于特征的方法两大类。基于区域的方法采用灰度差、互相关、互信息等相似测度定义匹配区域之间的相似性来确定对应关系。但由于红外与可见光图像之间通常灰度变化复杂，灰度值难以反映匹配区域的相似性。尽管互信息测度可在一定程度适应异源图像之间的灰度变化，但这种方法需要采用复杂的搜索算法，效率低，并且要求好的初始化，否则容易陷入局部极值。基于特征的方法通过提取角点、分支点、高斯差分极值点等稳定性特征，并构建特征描述子来实现图像匹配。与基于区域的方法相比，基于特征的方法在计算效率、形变适应能力和抗局部遮挡等方面具有一定的优势，常用于异源图像匹配。传统的特征描述子(比如经典的SIFT、SURF等算子)是针对同源图像匹配设计的，通常利用特征点附近的梯度分布属性来构建描述子，不具有模态不变性，当用于红外与可见光图像匹配时，往往误匹配率较高，甚至匹配失败。场景分界线通常对应着图像中的边缘(可用直线段近似表达)，并且较为稳定地存在于异源图像中。
技术实现思路
针对现有技术的不足，本专利技术提供一种精确、快速的红外与可见光图像的匹配方法。本专利技术为实现上述目的所采用的技术方案是：一种基于直线段上下文的红外与可见光异源图像匹配方法，包括以下过程：步骤1：采用LSD算法检测出图像中的直线段，并按照几何约束规则挑选出关键直线段；步骤2：通过改进的图像角点检测方法检测角点；步骤3：通过计算特征点四象限邻域内线段的曼哈顿距离，得到每条直线段对特征点的贡献，在此基础上采用圆形阵列的方式，构建基于直线段上下文的特征描述子；步骤4：运用双向匹配策略和RANSAC算法实现红外与可见光图像的匹配。所述改进的真实Harris角点检测方法为：将图像分为带有部分重叠的子区域，则在全局区域内特征不显著的点在局部邻域内成为显著的特征点，再在上述每个子区域内按照传统的Harris角点检测方法提取特征点，保证全局范围内的特征点分布均匀。所述基于边缘直线的虚拟角点检测方法为：按照几何约束规则在检测到的边缘直线段中挑选出关键直线段，将这些直线段沿其自身方向进行延伸，得到的交点即为虚拟角点。所述几何约束规则包括：直线段的长度不小于限定值lth；直线段之间的夹角满足θth1＜θ＜θth2；直线段之间的距离d不超过限定值dth。所述改进的图像角点检测方法包括改进的真实Harris角点检测方法和基于边缘直线的虚拟角点检测方法。所述构建基于线段上下文的特征描述子包括以下过程：对于单一线段分布，将空间中抽象的一条直线段用特征向量进行表示，并基于线段的长度l、线段的方向θ、线段到中心点的距离d三个属性构造一个得分函数；对于族线段分布，将每条线段分解到对应的象限，分别统计不同象限的线段分布并计算得分，以此区分不同线段的空间位置关系。所述直线段上下文是指：以特征点为中心的局部邻域内的线段分布，主要包括单一线段的分布和族线段的分布，其中，单一线段分布的描述，是指将空间中抽象的一条直线段用特征向量进行表示；而族线段描述，是为了得到空间中不同线段之间的位置关系的数学描述。所述双向匹配策略为：在执行了正向匹配后，互换待配准图像和参考图像的角色，对相同的特征点重新执行匹配算法，得到反向匹配点集合。本专利技术具有以下有益效果及优点：本专利技术在特征点提取的基础上，利用特征点邻域内线段上下文来构建特征描述子，并采用双向匹配策略和RANSAC算法实现红外与可见光图像的匹配。与其它基于特征的方法相比，本专利技术的算法可以获取到更多正确的匹配点对，能够适应灰度差异较为严重的红外与可见光图像的精确匹配，并且在鲁棒性和时间效率方面都要优于主流异源图像匹配算法。附图说明图1是本专利技术的整体流程图；图2是LSD直线段检测结果图，其中(a)为红外图像，(b)为可见光图像；图3是不同角点提取方法对比结果图，其中(a)为Harris角点检测结果，(b)为改进的Harris角点检测结果；图4是虚拟角点提取示例图，其中(a)为红外图像，(b)为可见光图像；图5是综合角点检测结果图，其中(a)为红外图像，(b)为可见光图像；图6是单一线段分布图；图7是线段得分函数设计图；图8是不同的线段分布对于相同的描述图；图9是四象限特征描述图；图10(a)是同心圆阵列图，(b)是适应旋转和尺度不变的同心圆阵列；图11是红外与可见光图像匹配结果图；图12是第一组对比结果图，其中(a)为LSS方法，(b)为LS方法，(c)为本专利技术方法；图13是第二组对比结果图，其中(a)为LSS方法，(b)为LS方法，(c)为本专利技术方法；图14是第三组对比结果图，其中(a)为LSS方法，(b)为LS方法，(c)为本专利技术方法。具体实施方式下面结合附图及实施例对本专利技术做进一步的详细说明。本专利技术结合特征点与直线边缘，构建特征描述子；采用同心圆阵列方法，扩展描述子维数，提高匹配的鲁棒性；最后，利用最近邻匹配方法及RANSAC算法匹配，实现不同模态的基准图与目标图的匹配，具体处理流程如图1所示。1.直线段提取本专利技术采用LSD算法检测直线段。该方法鲁棒性较强，检测的直线段能很好的依附于真实边缘，而且算法实时性较好。LSD将边缘描述成由梯度方向相同的像素组成的区域，通过区域生长将同梯度方向的像素聚成一个边缘区域，从区域中提取出直线段。图2是采用LSD算法检测到的红外与可见光直线边缘。2.特征点检测为了提高特征点检测的鲁棒性，本专利技术提出一种改进的图像角点检测方法。2.1改进的真实角点检测传统的Harris角点检测方法通过计算每个像素的平均梯度平方矩阵，分析其特征值得到特征点。但对于红外图像，该方法检测到的特征点往往分布不均匀。因此，本专利技术提出改进的Harris角点检测方法。将图像分为n个部分重叠的子区域，在每个子区域内运用Harris角点检测方法提取特征点，即可保证在全局内特征不显著的点在局部邻域内成为显著的特征点被检测出来，使全局范围内的特征点分布均本文档来自技高网...

【技术保护点】
一种基于直线段上下文的红外与可见光异源图像匹配方法，其特征在于：包括以下过程：步骤1：采用LSD算法检测出图像中的直线段，并按照几何约束规则挑选出关键直线段；步骤2：通过改进的图像角点检测方法检测角点；步骤3：通过计算特征点四象限邻域内线段的曼哈顿距离，得到每条直线段对特征点的贡献，在此基础上采用圆形阵列的方式，构建基于直线段上下文的特征描述子；步骤4：运用双向匹配策略和RANSAC算法实现红外与可见光图像的匹配。

【技术特征摘要】
1.一种基于直线段上下文的红外与可见光异源图像匹配方法，其特征在于：包
括以下过程：
步骤1：采用LSD算法检测出图像中的直线段，并按照几何约束规则挑选
出关键直线段；
步骤2：通过改进的图像角点检测方法检测角点；
步骤3：通过计算特征点四象限邻域内线段的曼哈顿距离，得到每条直线段
对特征点的贡献，在此基础上采用圆形阵列的方式，构建基于直线段上下文的
特征描述子；
步骤4：运用双向匹配策略和RANSAC算法实现红外与可见光图像的匹配。
2.根据权利要求1所述的基于直线段上下文的红外与可见光异源图像匹配方法，
其特征在于：所述改进的图像角点检测方法包括改进的真实Harris角点检测方
法和基于边缘直线的虚拟角点检测方法。
3.根据权利要求2所述的基于直线段上下文的红外与可见光异源图像匹配方法，
其特征在于，所述改进的真实Harris角点检测方法为：将图像分为带有部分重
叠的子区域，则在全局区域内特征不显著的点在局部邻域内成为显著的特征点，
在每个子区域内按照Harris角点检测方法提取特征点。
4.根据权利要求2所述的基于直线段上下文的红外与可见光异源图像匹配方法，
其特征在于，...

【专利技术属性】
技术研发人员：史泽林，夏仁波，刘云鹏，向伟，惠斌，田政，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：辽宁;21