本发明专利技术属于图像处理技术领域，尤其为一种双波段图像特征点搜索与匹配方法，包括如下步骤：步骤1，构建特征提取网络模型：根据训练用计算机的计算性能和存储容量构建特征提取网络模型,并将基础模型进行预训练，在基础模型的输出端增加一个非线性的多层感知机；步骤2，准备用于训练特征提取网络的数据集：数据集中包含相同场景下的红外与可见光图像对，首先对数据集进行粗配准，再将图像切割成统一规格的图像块对，以便后续进行网络训练。本发明专利技术基于对比学习的方法构建红外与可见光图像的特征描述子，这种特征描述子并不依赖人工设计，能在图像间存在较大形变时提供更稳定、可靠的特征向量。征向量。征向量。
【技术实现步骤摘要】
一种双波段图像特征点搜索与匹配方法
[0001]本专利技术涉及图像处理
，具体为一种双波段图像特征点搜索与匹配方法。
技术介绍
[0002]在工程应用的过程中，由于环境的高度不确定性，单一成像手段非常容易受到环境的影响，为了提高系统的鲁棒性，往往需要多种成像设备同时工作以提供更多的信息，比如热红外与可见光相机；然而，现有的用于红外与可见光图像处理的图像处理算法大多都建立在红外与可见光图像已经对齐的前提下，所以需要将采集的图像进行配准；图像配准的关键在于提取不同图像中的特征点，将这些特征点两两匹配后，计算出图像之间的映射矩阵，最后完成图像配准；主流的图像特征点搜索与匹配算法基于人工设计的描述子，将关注点集中在图像中的部分显著特征，比如角点、极值点或梯度直方图等，然后根据特征点之间的某种相似度或分布关系来关联；但红外与可见光图像由于成像机制不同，所以图像特征之间存在着巨大差异，严重影响特征搜索和提取的精度，无法满足实际需求；
[0003]中国专利公开号为“CN110428455B”，名称为“一种可见光图像与远红外图像目标配准方法”，该方法分别提取可见光图像与远红外图像的空间灰度直方图特征，以此对红外图像和可见光图像中的目标进行粗分类；然后，在提取可见光与红外图像的边缘特在，构建边缘方向直方图，进行相关度度量后，实现特征点匹配；这种人工设计的特征描述子和匹配算法的鲁棒性较差，难以应对图像中可能出现的模糊、噪声和亮度变化等，在面对红外与可见光图像尺度、角度存在差异的情况时性能更是急剧下降；因此，通过深度学习技术，依靠神经网络强大的特征提取和表达能力，构建更鲁棒的特征描述和匹配方法是本领域技术人员亟需解决的问题。
技术实现思路
[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了一种双波段图像特征点搜索与匹配方法，解决了目前红外与可见光图像配准方法中特征差异大、搜索难度高和匹配精度差的问题。
[0006](二)技术方案
[0007]本专利技术为了实现上述目的具体采用以下技术方案：
[0008]一种双波段图像特征点搜索与匹配方法，包括如下步骤：
[0009]步骤1，构建特征提取网络模型：根据训练用计算机的计算性能和存储容量构建特征提取网络模型,并将基础模型进行预训练，在基础模型的输出端增加一个非线性的多层感知机；
[0010]步骤2，准备用于训练特征提取网络的数据集：数据集中包含相同场景下的红外与可见光图像对，首先对数据集进行粗配准，再将图像切割成统一规格的图像块对，以便后续进行网络训练；
[0011]步骤3，训练特征提取网络参数：将步骤2中准备好的数据集中的红外与可见光图
像分别进行数据增广，然后将训练数据输入到步骤1中构建好的网络模型中进行训练，最小化损失函数；
[0012]步骤4，构建细粒度特征描述网络模型：特征提取网络模型由特征初始化、特征提取和特征描述三部分组成；
[0013]步骤5，准备用于细粒度特征描述网络的数据集：该步骤与步骤2基本一致，但数据集需要精确配准；
[0014]步骤6，训练细粒度特征描述网络参数：该步骤与步骤3基本一致，但数据集增广中并不包括图像位移，确保红外与可见光图像之间仍严格对齐；
[0015]步骤7，红外与可见光图像特征点搜索与匹配：首先将红外与可见光图像分别输入特征提取网络，获取指定层的特征图，将特征图拆解为特征向量；对红外与可见光图像的特征向量做相似度度量，根据相似度和方向一致性对特征进行粗粒度匹配；对于每一对匹配点，截取以其为中心的一定图像区域，细粒度特征描述网络在该区域滑动处理，获取对应的特征描述子集合，再进行相似度比较后进行细粒度匹配，最后完成红外与可见光图像的特征搜索和匹配。
[0016]进一步地，所述步骤1中特征提取网络模型根据训练用计算设备可以灵活选取，建议选择卷积神经网络中的ResNet和ResNet
‑
wider，网络深度至少34层以上；当训练数据非常充足时，也可以选择Vision Transformer中的标准ViT或Shift Window Transformer，以获得更好的特征提取能力。
[0017]进一步地，所述步骤1中在基础网络输出端增加的多层感知机具有两层结构，中间添加激活函数以提供非线性映射能力。
[0018]进一步地，所述步骤1中特征提取网络模型的预训练权重需要在ImageNet或同等规模的图像识别数据集上训练获取。
[0019]进一步地，所述步骤2中数据集使用FLIRADAS数据集；选取数据集中的少量图片对，人工标注选择并配对特征点，计算得到校正坐标图；将矫正坐标图应用在整个数据集中，即可得到粗配准图像对。
[0020]进一步地，所述步骤3中的数据增广方式包括图像选择、平移、缩放、错切、对比度变换、随机概率灰度化和随机高斯模糊，所有变换的中心均为图像的中心。
[0021]进一步地，所述步骤3中的损失函数采用对比损失；具体而言，将同一场景的红外与可见光图像视为正样本，不同场景的红外与可见光图像视为负样本，计算不同样本输入特征提取网络后输出的向量之间的内积，通过计算内积的对比损失损失来优化网络参数。
[0022]进一步地，所述步骤4中特征提取网络模型的特征初始化由卷积层一、批归一化层一、卷积层二、批归一化层二组成；特征提取模块可由多个残差卷积块组成，残差卷积块由卷积层一、批归一化层一、卷积层二、批归一化层二和残差连接组成；特征描述由平均池化层和多层感知机组成。
[0023]进一步地，所述步骤6中数据增广包括以图像中心为变换中心的旋转、缩放和错切。
[0024]进一步地，所述步骤7中相似度度量函数的输出值应与输入图像对的相似度成正相关，以匹配对比损失函数的特性。
[0025](三)有益效果
[0026]与现有技术相比，本专利技术提供了一种双波段图像特征点搜索与匹配方法，具备以下有益效果：
[0027]本专利技术基于对比学习的方法构建红外与可见光图像的特征描述子，这种特征描述子并不依赖人工设计，能在图像间存在较大形变时提供更稳定、可靠的特征向量。
[0028]本专利技术在提出的特征提取网络模型训练过程中，不需要人工标柱匹配特征点，也不需要精确配准，实现了无监督学习，再结合迁移学习技术，减少了基于深度学习的方法对庞大的数据及其人工标柱的依赖。
[0029]本专利技术提出的粗粒度和细粒度两步特征搜索和匹配，有效地减少了特征点搜索的范围，缓解了深度学习技术计算复杂度高的问题。
[0030]本专利技术在提出的特征匹配过程中，通过广泛统计数据特点，设定置信度阈值，并计算置信度最高的特征点对的空间关系，设定方向阈值；根据阈值筛选正确匹配的特征点，有效地减少误匹配的概率，提高特征匹配精度。
附图说明
[0031]图1为一种双波段图像特征点搜索与匹配方法流程图；
[0032]图2为特征提取网络模型训练方法示意图；
[00本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种双波段图像特征点搜索与匹配方法，其特征在于：包括如下步骤：步骤1，构建特征提取网络模型：根据训练用计算机的计算性能和存储容量构建特征提取网络模型,并将基础模型进行预训练，在基础模型的输出端增加一个非线性的多层感知机；步骤2，准备用于训练特征提取网络的数据集：数据集中包含相同场景下的红外与可见光图像对，首先对数据集进行粗配准，再将图像切割成统一规格的图像块对，以便后续进行网络训练；步骤3，训练特征提取网络参数：将步骤2中准备好的数据集中的红外与可见光图像分别进行数据增广，然后将训练数据输入到步骤1中构建好的网络模型中进行训练，最小化损失函数；步骤4，构建细粒度特征描述网络模型：特征提取网络模型由特征初始化、特征提取和特征描述三部分组成；步骤5，准备用于细粒度特征描述网络的数据集：该步骤与步骤2基本一致，但数据集需要精确配准；步骤6，训练细粒度特征描述网络参数：该步骤与步骤3基本一致，但数据集增广中并不包括图像位移，确保红外与可见光图像之间仍严格对齐；步骤7，红外与可见光图像特征点搜索与匹配：首先将红外与可见光图像分别输入特征提取网络，获取指定层的特征图，将特征图拆解为特征向量；对红外与可见光图像的特征向量做相似度度量，根据相似度和方向一致性对特征进行粗粒度匹配；对于每一对匹配点，截取以其为中心的一定图像区域，细粒度特征描述网络在该区域滑动处理，获取对应的特征描述子集合，再进行相似度比较后进行细粒度匹配，最后完成红外与可见光图像的特征搜索和匹配。2.根据权利要求1所述的一种双波段图像特征点搜索与匹配方法，其特征在于：所述步骤1中特征提取网络模型根据训练用计算设备可以灵活选取，建议选择卷积神经网络中的ResNet和ResNet
‑
wider，网络深度至少34层以上；当训练数据非常充足时，也可以选择Vision Transformer中的标准ViT或Shift Window Transformer，以获得更好的特征提取能力。3.根据权利要求1所...
【专利技术属性】
技术研发人员：蒋一纯，刘云清，詹伟达，郭金鑫，韩登，于永吉，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。