基于图像块三阶段匹配的遥感图像配准方法技术

本发明专利技术涉及一种基于图像块三阶段匹配的遥感图像配准方法，以Shi_Tomas算法提取到的特征点为中心裁剪图像，获得图像块，依次分别对图像块进行一对多匹配、一对一匹配和图像块畸变补偿，来找到图像块之间的精确匹配。并使用贪心算法对所有匹配连接点进行均匀化处理，最后用RANSAC进行全局仿射变换参数估计完成配准。实验结果表明，与几种主流算法相比整体表现良好，配准精度有所提升。提高从不同时间和角度获取的两幅遥感图像之间的图像配准精度。度。度。

【技术实现步骤摘要】
基于图像块三阶段匹配的遥感图像配准方法


[0001]本专利技术涉及一种图像处理技术，特别涉及一种基于图像块三阶段匹配的遥感图像配准方法。

技术介绍

[0002]在许多遥感应用中，图像配准是一个必不可少的预处理步骤。图像配准框架可分为两类：基于区域的框架和基于特征的框架。在基于区域的框架中，配准问题被转化为优化问题，其中源图像和参考图像之间的相似性被最大化。传统的基于区域的配准框架使用互信息(Mutual Information,MI)或归一化互相关(Normalized Cross
‑
Correlation,NCC)等相似性度量，在输入图像和参考图像之间的多个特征点找到对应关系，用于全局几何变换的估计。然而，它们对光照变化和噪声非常敏感。Ye等人提出了定向相位一致性直方图来表示图像结构特性的特征描述符，并使用NCC作为特征匹配的相似性度量。Yang等人提出了一种结合形状上下文特征和SIFT特征描述符的遥感图像配准方法。随着深度学习在目标检测、图像分类和图像配准领域中表现出优越性和鲁棒性，基于图像块的卷积神经网络(Convolutional Neural Network,CNN)结构在图像匹配领域得到了广泛的应用。传统的图像块匹配方法使用手工制作的特征和距离度量。Zagoruyko和Komodakis提出了一个基于CNN的模型，该模型直接训练一个通用的相似性函数，用于比较来自图像数据的图像块。Han等人提出了MatchNet，它通过暹罗网络从两个相同的CNN中提取图像块对特征，用于图像块匹配。利用暹罗网络结构，Zagoruyko和他的团队提出了一种图像匹配方法，通过从两幅输入图像中训练图像块的联合特征，并评估从两个相似CNN或两个不同CNN中提取的特征。Lee和Oh提出了一种基于MatchNet的方法，通过保持特征的空间信息来提高配准精度。然而，这种方法仍然存在几何变形。Rocco团队最近提出了基于CNN的几何匹配架构GMatchNet，可以处理图像全局外观变化和两幅匹配图像之间的错误匹配。但该模型对于需要进行图像块匹配的两张输入图像之间的参数估计是不准确的。因此在遥感图像配准方面的鲁棒性还需加强。

技术实现思路

[0003]针对现有图像配准框架中特征描述符复杂、特征匹配阶段不变映射函数学习困难导致的配准精度低问题，提出了一种基于图像块三阶段匹配的遥感图像配准方法，提高从不同时间和角度获取的两幅遥感图像之间的图像配准精度。
[0004]本专利技术的技术方案为：一种基于图像块三阶段匹配的遥感图像配准方法，具体包括如下步骤：
[0005]1)输入源图像和目标图像，采用Shi_Tomas算法进行特征提取，并以提取到的特征点为中心裁剪图像块，裁剪后源图像块和目标图像块构成两组图像块进入图像块匹配；
[0006]2)三阶段图像块匹配：
[0007]第一阶段采用MatchNet分析两组图像块中任意两张图像块特征的相似度，对于每
一张目标图像块，生成一个从源图像块中选出的候选图像块列表；
[0008]第二阶段用NCC算法从候选图像块列表中确定一对一的匹配关系，获取每一张目标图像块一一对应的源图像块；
[0009]第三阶段采用预训练好的GMatchNet来矫正一一匹配后两张图像块的几何中心，消除几何畸变；
[0010]3)在匹配完成后，采用贪心算法来去除高密度的匹配特征点，再通过RANSAC算法从所有调整后的参考坐标中计算全局几何仿射参数集，将该参数集对源图像进行参数变换，生成配准图像。
[0011]进一步，所述步骤2)中的第一阶段匹配具体方法：对于输入MatchNet中的每一对图像块，先对其进行灰度值归一化，然后分别用两个结构相同权重共享的卷积神经网络对两个图像块进行特征提取，提取得到的特征通过一个Bottleneck层将特征维度进行压缩；接着将两个网络提取到的特征图依次送入三个全连接层中，最后通过一个softmax层输出两个预测值，分别表示两个图像块匹配或不匹配的概率y
i
；每一对图像块都由MatchNet来预测匹配概率，得到每一张目标图像对应于源图像中的一对多匹配列表。
[0012]进一步，所述步骤2)中的MatchNet在训练阶段，只训练两个特征网络中的一个，而另一个共享参数；采用数据增强来构造训练数据集，增强数据集由一组遥感图像经过一系列旋转矩阵变换构成，其中旋转角度θ＝{0
°
,90
°
,180
°
,270
°
}；假定P
i
是P1中的第i个图像块，M是图像块的个数，P
j
是P2中的第j个图像块，P
i
经过旋转变换之后得到图像集R
θ
(P
i
)，图像的尺寸为64
×
64，其中匹配的图像块集合为{(P
j
,R
θ
(P
i
)),i＝j andθ＝0
°
}，不匹配的图像块集合表示为{(P
j
,R
θ
(P
i
)),i＝j andθ≠0
°
}和{(P
j
,R
θ
(P
i
)),i≠j}，其中i,j＝1,2,...,M；训练数据集表示为其中：
[0013][0014]使用抽样方法，以1:1的匹配图像块对与不匹配图像块对的比率构建训练数据集，在监督环境下进行训练；
[0015]使用带有动量的随机梯度下降，在n个图像块对的训练集上，最小化交叉熵损失，交叉熵的定义如下：
[0016][0017]其中y
i
＝0表示两个图像块不匹配，y
i
＝1表示两个图像块匹配，表示网络的预测结果；
[0018]将训练迭代次数设置为200次，学习率设置为0.01，批量大小为32，动量项参数为0.9。
[0019]进一步，所述步骤2)中的第二阶段具体方法：
[0020]采用NCC从多个候选列表中选择一个最佳匹配对，NCC作为局部约束在像素强度层面上度量两个图像块之间的相似性，NCC值的计算公式如下：
[0021][0022]其中和分别是源图像块和目标图像块在(x,y)处的灰度值；和是源图像块和目标图像块的平局灰度值；从多个候选列表的图像块中选择NCC值最高的图像块作为一对一匹配图像块的结果。
[0023]进一步，所述步骤3)中的第三阶段具体方法：
[0024]采用预训练的GMatchNet来确定一对一匹配图像块之间的对应关系，首先输入一对一匹配图像块，通过由两个结构相同、权值共享的卷积层组成的特征网络，分别对一对一匹配图像块提取特征图为F1和F2，并将两个特征图进行匹配得到F
12
；然后通过回归网络直接由特征映射图F
12
估计一对一匹配图像块的几何仿射变换参数最后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像块三阶段匹配的遥感图像配准方法，其特征在于，具体包括如下步骤：1)输入源图像和目标图像，采用Shi_Tomas算法进行特征提取，并以提取到的特征点为中心裁剪图像块，裁剪后源图像块和目标图像块构成两组图像块进入图像块匹配；2)三阶段图像块匹配：第一阶段采用MatchNet分析两组图像块中任意两张图像块特征的相似度，对于每一张目标图像块，生成一个从源图像块中选出的候选图像块列表；第二阶段用NCC算法从候选图像块列表中确定一对一的匹配关系，获取每一张目标图像块一一对应的源图像块；第三阶段采用预训练好的GMatchNet来矫正一一匹配后两张图像块的几何中心，消除几何畸变；3)在匹配完成后，采用贪心算法来去除高密度的匹配特征点，再通过RANSAC算法从所有调整后的参考坐标中计算全局几何仿射参数集，将该参数集对源图像进行参数变换，生成配准图像。2.根据权利要求1所述基于图像块三阶段匹配的遥感图像配准方法，其特征在于，所述步骤2)中的第一阶段匹配具体方法：对于输入MatchNet中的每一对图像块，先对其进行灰度值归一化，然后分别用两个结构相同权重共享的卷积神经网络对两个图像块进行特征提取，提取得到的特征通过一个Bottleneck层将特征维度进行压缩；接着将两个网络提取到的特征图依次送入三个全连接层中，最后通过一个softmax层输出两个预测值，分别表示两个图像块匹配或不匹配的概率y
i
；每一对图像块都由MatchNet来预测匹配概率，得到每一张目标图像对应于源图像中的一对多匹配列表。3.根据权利要求2所述基于图像块三阶段匹配的遥感图像配准方法，其特征在于，所述步骤2)中的MatchNet在训练阶段，只训练两个特征网络中的一个，而另一个共享参数；采用数据增强来构造训练数据集，增强数据集由一组遥感图像经过一系列旋转矩阵变换构成，其中旋转角度θ＝{0
°
,90
°
,180
°
,270
°
}；假定P
i
是P1中的第i个图像块，M是图像块的个数，P
j
是P2中的第j个图像块，P
i
经过旋转变换之后得到图像集R
θ
(P
i
)，图像的尺寸为64
×
64，其中匹配的图像块集合为{(P
j
,R
θ
(P
i
)),i＝j and θ＝0
°
}，不匹配的图像块集合表示为{(P
j
,R
θ
(P
i
)),i＝j and θ≠0
°
}和{(...

【专利技术属性】
技术研发人员：陈颖，张文成，李翔，李铖昊，
申请(专利权)人：上海应用技术大学，
类型：发明
国别省市：