一种基于卷积神经网络的多视角空天遥感图像匹配方法组成比例

本发明专利技术涉及一种基于卷积神经网络的多视角空天遥感图像匹配方法，相较于传统匹配算法，不仅能够保证多视角遥感图像的匹配效率，而且能显著提高多视角遥感图像的匹配准确率，具体包括：归一化预处理待匹配的航天遥感图像和航空遥感图像；通过稠密多视角特征提取神经网络对输入图像进行稠密特征提取，得到多视角显著特征点集；结合显著特征点的梯度信息和视角差异信息构建特征描述符；设计用于神经网络训练的三元组损失函数，提升神经网络提取特征点和描述特征的准确度；根据特征点描述值使用Flann特征匹配，再通过RANSAC进行筛选，得到最终匹配结果。

【技术实现步骤摘要】
一种基于卷积神经网络的多视角空天遥感图像匹配方法
本专利技术涉及遥感图像处理
，尤其是涉及一种多视角遥感图像特征匹配方法。
技术介绍
进入21世纪，航空/航天遥感由于其宏观、快速、准确认识对象的优势使其在很多领域都得到应用，如灾害监测，智慧城市构建，情报侦察等。然而，航天侦察虽覆盖范围广，但难以获得目标全方位立体信息，且由于重返周期问题导致时效性受限。航空遥感监测手段虽然具有获取及时性、低空成像清晰等特性，但对于特定区域只能远距离、大倾角观测。因此，综合利用两者互补优势的空天图像(航天与航空图像)，挖掘与关联不同传感器、不同时相、不同角度、不同分辨率的图像信息，实现高精度、高效率的区域动态监测、变化检测、目标识别与定位等视觉任务，为灾害应急、反恐响应、精确打击等提供支撑，具有重要的理论意义与实用价值。其中，图像匹配是其关键核心技术和基础工作，匹配效果直接影响与制约着后续任务的成败。图像匹配旨在将两幅图像中具有相同或相似属性的区域或结构进行像素上的对齐与映射，精确获取图像间特定区域发生的几何变换关系。由于航空平台大倾角的观测，造成了本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的多视角空天遥感图像匹配方法，其特征在于，包括以下步骤：/n步骤1，归一化预处理待匹配的航天遥感图像和航空遥感图像；/n步骤2，将步骤1中预处理之后的图像对输入神经网络的特征提取器中，获得三维特征图；/n步骤3，对步骤2所得的三维特征图进行稠密特征筛选，得到多视角显著特征点集；/n步骤4，结合步骤2的三维特征图和步骤3所得的多视角显著特征点集，构建特征点的描述符；/n步骤5，神经网络训练的损失函数设为一种三元组损失函数，通过该损失函数使神经网络参数进行自适应调整；/n步骤6，根据步骤4得到的特征点的描述值，进行粗匹配；/n步骤7，对步骤6所得的粗匹配结果进行精筛，得到最...

【技术特征摘要】
1.一种基于卷积神经网络的多视角空天遥感图像匹配方法，其特征在于，包括以下步骤：
步骤1，归一化预处理待匹配的航天遥感图像和航空遥感图像；
步骤2，将步骤1中预处理之后的图像对输入神经网络的特征提取器中，获得三维特征图；
步骤3，对步骤2所得的三维特征图进行稠密特征筛选，得到多视角显著特征点集；
步骤4，结合步骤2的三维特征图和步骤3所得的多视角显著特征点集，构建特征点的描述符；
步骤5，神经网络训练的损失函数设为一种三元组损失函数，通过该损失函数使神经网络参数进行自适应调整；
步骤6，根据步骤4得到的特征点的描述值，进行粗匹配；
步骤7，对步骤6所得的粗匹配结果进行精筛，得到最终匹配结果。


2.根据权利要求1所述的一种基于卷积神经网络的多视角空天遥感图像匹配方法，其特征在于：步骤3的具体实现包含以下子步骤；
3a)为了提取更多以及在多视角和多尺度更显著的特征点，结合稠密特征的思路，使用3*3*n的网格分割步骤2所得的三维特征图F，如下所示：
Fl×w×n＝k×g3×3×n
g代表着每个网格，k则是网格的数量，l、w和n分别为长度，宽度和通道数；
3b)每个g中存在3*3*n个像素值，相当于9个n维向量，每个向量都代表着图像中一个点的特征，从中筛选出在各个维度特征显著的点，采用以下公式：



Dij＝max(dij),dij∈g
其中dij代表着每个属于g区域的特征点，i、j代表着特征点在图像中的的像素坐标，I代表着特征点在不同维度的像素值，n则是代表维度，D为筛选出的显著特征点；
3c)为了提取更多显著的特征点和减少提取无用的特征点，在提取每个网格中局部最显著特征点的同时再做一层筛选，设定两个优先级更高的判定：
一、如果该特征点在各个维度的显著度高于等于设定的阈值t1，便将其直接设为显著特征点，保存该特征点位置信息；
二、如果该特征点在各个维度的显著度低于设定的阈值t2，即便是网格区域内最显著特征点，也舍弃该点；
判定公式如下：
Dij＝dij，dij≥t1
Dij≠dij，dij<t2
其中dmax为全局最显著特征点；
3d)经过多层筛选后，得到代表全图各个显著稠密特征点的像素位置坐标点集D，其中每个显著特征点Dij∈D,0<i<l,0<j<w。


3.根据权利要求2所述的一种基于卷积神经网络的多视角空天遥感图像匹配方法，其特征在于：步骤4中所述的构建特征点的描述符，包含以下子步骤；
4a)根据步骤2和步骤3所得的信息确定显著特征点在三维特征图的位置：每个特征点为Dij＝[Dij1,Dij2,…,Dijn]T，其中任一显著特征点在任一维度像素值为Dijm，m的取值为1，2，…，n；n代表着特征点所在的所有维度；
4b)围绕着任一显著特征点Dij构建描述符，受SIFT匹配算法的启发，首先提取显著特征点的梯度信息：
首先找出特征点Dij最为显著的维度m，公式如下：
Dijm＝max(Dij1,Dij2,…,Dijn)
然后在此维度提取该特征点与周围的梯度信息，以该点为中心构造一个3*3的矩阵，该矩阵包含特征点Dij在内共有9...

【专利技术属性】
技术研发人员：徐川，刘畅，杨威，叶志伟，李鹏飞，张欢，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：湖北;42