基于关键点响应约束的点匹配方法组成比例

基于关键点响应约束的点匹配方法，涉及图像匹配技术领域，针对现有技术中目标定位准确率低的问题，本申请方法较传统方法定位准确率提高了7％，其中，本申请使用多损失约束的自编码器进行图像对齐，通过分析自编码器的不同损失函数的作用，使得两幅图像中目标同名像素间的相似性最小，最终的定位准确率比其他方法提高2％；本申请将关键点响应函数用作损失约束对卷积神经网络进行优化，在仿真实验中与现有点匹配方法进行比较，匹配的准确率提高2％；本申请通过使用相位一致性理论生成图像的相位信息，通过相位信息进行二进制编码构成相位一致性关键点响应函数，提出关键点响应约束的点匹配方法，匹配的准确率提高4％。匹配的准确率提高4％。匹配的准确率提高4％。

【技术实现步骤摘要】
基于关键点响应约束的点匹配方法


[0001]本专利技术涉及图像匹配
，具体为基于关键点响应约束的点匹配方法。

技术介绍

[0002]卫星图像导引的机载下视目标匹配是指以卫星遥感图像作为参考图像，从机载下视图像中找到目标的方法。具体来说，卫星参考图像是事先来自于卫星的遥感图像，当无人机来到一个未知区域，它是使用图像目标匹配方法自主找到机载下视图像中目标的过程。该方法的研究成为无人机智能自主打击的未来发展方向。基于卫星图像导引的机载下视目标定位任务目标是给定卫星目标图像，在机载下视参考图像上找到目标图像。
[0003]由于卫星图像导引的机载下视目标匹配中的卫星参考图像和机载下视目标图像成像方式不一致，在完成复杂的卫星图像导引的机载下视目标匹配任务时仍然存在挑战。在卫星图像导引的机载下视目标匹配任务中，目标匹配视角差异问题。由于卫星目标图像和机载下视参考图像成像方式不同使得两幅图的像素信息差别大，这增加了卫星目标图像和机载下视参考图像匹配的复杂性，提取两幅图像的特征不变信息对于提高点匹配性能具有重要意义。最近基于卷积神经网络自编码器广泛用于非线性像素信息变化的特征提取任务，在某种程度上可降低卫星目标图像和机载下视参考图像像素差异，受到该理论的启发，本专利技术研究使用基于多损失约束自编码器的卫星目标图像和机载下视参考图像像素对齐方法降低两幅图像之间的差异。由于相位一致性信息广泛用于提取图像中的不变信息，受到大量研究人员的关注，为了更好的训练出具有区分性和可匹配性的关键点检测器和特征描述算子，在对齐图像上，使用相位一致性计算关键点响应解决了纹理信息弱的问题，并将该响应作为卷积神经网络的损失约束训练关键点检测器和特征描述算子，进而完成点匹配任务。
[0004]点匹配方法在图像匹配领域发展较早，一幅图像的特征点由两部分组成：关键点和描述算子。关键点描述为特征点在图像中的位置，具有方向、尺度等信息；描述子是一个向量，描述关键点邻域内的像素信息。在点匹配时，需要在向量空间对两个描述算子进行比较，距离相近则认为是同一个特征点，其中特征点可以是点、线、边缘等信息。特征点匹配的准确与否在目标定位中具有重要意义，好的特征点匹配方法可有效提高目标定位准确性，目前，点匹配方法通常包括人工点匹配方法和基于学习的点匹配方法。早期的人工点匹配算法是Harris角点匹配方法，该方法使用两个正交方向上的灰度变化率对角点进行定义，其存在的问题有：尺度固定、像素定位精度低、伪角点较多和计算量大等问题。FAST也是早期的一种高效的角点检测算法，基本上可以满足实时定位系统要求，是计算机视觉领域最主流的角点检测算法之一。SIFT的提出打破了角点检测的僵局，不再仅仅使用角点检测，后续又提出了针对SIFT算法的改进算法，相继提出了PCA
‑
SIFT、SURF、SSIF以及ASIFT等算法。随着大量的计算机视觉任务中移动设备的应用，二进制描述算子也已经受到更多人的关注，Liu等人提出了一种新的环形采样的二进制描述算子，该方法使用了投票的策略有效的压缩了描述算子的大小，因此该类特征描述算子可有效用于机载下视的目标定位。
[0005]近年来基于学习的点匹配方法成为研究热点，FAST
‑
ER算法将关键点检测器定义为检测高重复点的三元决策树，利用模拟退火算法优化决策树，提高了定位的重复率。Verdie等人提出时间不变特征检测器(TILDE)，在复杂的环境下(例如天气、季节、时间等因素引起的光照变化)，可有效检测到可重复的关键点，该算法的特点是参与训练的候选特征点是由多幅训练图像中采用SIFT算法提取的可重复关键点。大多数人只考虑关键点的一个特性，Zhang等人考虑了两种特性，提出了基于学习的协变关键点检测器，该方法将TILDE的输出作为候选关键点，通过变换预测器的训练建立学习框架，将关键点检测器的协变约束转化为变换预测器的协变约束，利用回归进行变换预测。以上提到的方法都是有监督学习方法，Savinov等人提出Quad
‑
networks，采用无监督学习方式进行关键点检测，该方法将关键点检测问题看成是图像变换上的关键点一致性排序问题，排序后的关键点在不同的变换下具有重复性。DeTone等人建议了自监督的关键点学习框架(Superpoint)，用于训练关键点以及对应的描述算子，广泛用于多视角的几何问题，与基于块的神经网络相比，该方法属于像素级关键点检测并且以前反馈方式生成相应描述算子。基于学习的方法不仅可以学习关键点检测器，还可以学习特征描述算子，Simo
‑
Serra等人提出特征描述算子判别学习的Deep
‑
Desc方法，该方法使用Siamese网络侧重训练难区分的类别样本，输入图像的块对，将CNN输出的非线性映射作为描述符，使用欧氏距离计算相似性。
[0006]综上所述，传统的人工点匹配方法已经证明在自然图像上具有较好的匹配效果，例如SIFT、ORB等特征点匹配方法，原理明确、实现简单和计算高效等特点，已在实际场景中进行了应用。然而该类方法关键点检测和特征描述的生成之间没有必要联系，因此，用于复杂的机载下视目标定位任务不具有好的效果。目前，有效的点匹配方法仍然是基于学习的点匹配方法，其中最有效的是Superpoint点匹配方法，该方法人工设计关键点，在这些关键点上通过卷积神经网络学习关键点检测器和特征描述算子，在很多应用中具有较好的效果，然而由于检测出的关键点种类不丰富导致在特殊应用中算法失效。部分学者研究了基于无监督学习多视角点匹配方法，他们认为多视角的点匹配关键在于要有一个良好的局部特征检测器，特征检测器要具有可区分的特征和协变约束。

技术实现思路

[0007]本专利技术的目的是：针对现有技术中目标定位准确率低的问题，提出基于关键点响应约束的点匹配方法。
[0008]本专利技术为了解决上述技术问题采取的技术方案是：
[0009]基于关键点响应约束的点匹配方法，包括以下步骤：
[0010]步骤一：获取卫星目标图像以及机载下视参考图像；
[0011]步骤二：分别对卫星目标图像和机载下视参考图像进行灰度对齐，得到一致性对齐图像；
[0012]步骤三：基于一致性对齐图像，利用相位一致性原理生成相位一致性关键点响应；
[0013]步骤四：利用相位一致性关键点响应作为损失约束优化卷积神经网络，得到检测网络，所述检测网络包括关键点检测器和特征描述算子；
[0014]步骤五：将待检测的卫星目标图像和机载下视参考图像输入检测网络，得到关键点和每个关键点的特征描述算子；
[0015]步骤六：根据每个关键点的特征描述算子进行相似性计算，得到一致性点集图像。
[0016]进一步的，所述步骤二的具体步骤为：
[0017]步骤二一：分别在卫星目标图像以及机载下视参考图像中随机选取多个训练块；
[0018]步骤二二：利用步骤二一中得到的训练块训练自编码器卷积神经网络模型，所述自编码器卷积神经网络模型的损失函数表示为：
...

【技术保护点】

【技术特征摘要】
1.基于关键点响应约束的点匹配方法，其特征在于包括以下步骤：步骤一：获取卫星目标图像以及机载下视参考图像；步骤二：分别对卫星目标图像和机载下视参考图像进行灰度对齐，得到一致性对齐图像；步骤三：基于一致性对齐图像，利用相位一致性原理生成相位一致性关键点响应；步骤四：利用相位一致性关键点响应作为损失约束优化卷积神经网络，得到检测网络，所述检测网络包括关键点检测器和特征描述算子；步骤五：将待检测的卫星目标图像和机载下视参考图像输入检测网络，得到关键点和每个关键点的特征描述算子；步骤六：根据每个关键点的特征描述算子进行相似性计算，得到一致性点集图像。2.根据权利要求1所述的基于关键点响应约束的点匹配方法，其特征在于所述步骤二的具体步骤为：步骤二一：分别在卫星目标图像以及机载下视参考图像中随机选取多个训练块；步骤二二：利用步骤二一中得到的训练块训练自编码器卷积神经网络模型，所述自编码器卷积神经网络模型的损失函数表示为：其中，为综合性损失函数，π
rc
、π
cc
、π
wt
和π
z
为权重，为重构损失函数，为环状一致性损失函数，为加权变换损失函数，为代码相关性损失函数；步骤二三：将卫星目标图像和机载下视参考图像作为输入，利用训练好的自编码器卷积神经网络模型得到三组灰度投影图像，所述三组灰度投影图像包括：一组编码一致性投影图像、一组重构一致性投影图像以及一组循环一致性投影图像；步骤二四：将步骤二三中得到的灰度投影图像进行加权融合，得到一致性对齐图像。3.根据权利要求2所述的基于关键点响应约束的点匹配方法，其特征在于所述训练块为170*170像素。4.根据权利要求2所述的基于关键点响应约束的点匹配方法，其特征在于所述重构损失函数表示为：其中，为重构损失函数，为目标图像在T变换域中的损失，为参考图像在R变换域中的损失，d为两幅图像变换前后的特征相似性，为解码器转换后目标图像，T为原始目标图像，为解码器转换后参考图像，R为原始图像。5.根据权利要求4所述的基于关键点响应约束的点匹配方法，其特征在于所述环状一致性损失函数表示为：其中，为环状一致性损失函数，为X域和Y域交叉编码解码后的目标图像，为Y域和X域交叉编码解码后的参考图像。6.根据权利要求5所述的基于关键点响应约束的点匹配方法，其特征在于所述加权变换损失函数表示为：
其中，为加权变换损失函数，w为计算两幅图像相似性的权重。7.根据权利要求6所述的基于关键点响应约束的点匹配方法，其特征在于所述代码相关性损失函数表示为：其中，为代码相关性损失函数，CR为编码相关矩阵，S为与d相关的相似性距离。8.根据权利要求7所述的基于关键点响应约束的点匹配方法，其特征在于所述步骤四二中融合表示为：X
n
＝λ1×...

【专利技术属性】
技术研发人员：刘晓敏，袁东华，赵化启，赵润淇，程岩，田静，王磊，
申请(专利权)人：佳木斯大学，
类型：发明
国别省市：