一种基于卷积神经网络的多时相遥感影像匹配方法及系统技术方案

本发明专利技术涉及一种基于卷积神经网络的多时相遥感影像匹配方法及系统，包括对输入的参考影像和待匹配影像采用固定大小进行分块；采用特征点检测算子在所得的影像块内提取特征点；以提取的特征点为中心，提取固定大小的图像块，并将这些图像块输入预训练的卷积神经网络中，使用神经网络中的多个卷积层来提取图像特征，获得多尺度卷积特征；基于多尺度卷积特征，利用最邻近加权距离度量特征之间的相似性，利用最邻近距离与次邻近距离比值获得初始匹配点对；采用RANSAC算法和特征点之间的几何约束性对剔除错误匹配对，获得最终匹配结果。本发明专利技术在遥感数据训练样本缺失的情况下，能够提高多时相遥感影像匹配配准的精度，具有较强的适应性。

A Multi-temporal Remote Sensing Image Matching Method and System Based on Convolutional Neural Network

The present invention relates to a multi-temporal remote sensing image matching method and system based on convolution neural network, which includes using fixed size to segment the input reference image and the image to be matched; using feature point detection operator to extract feature points in the obtained image blocks; taking the extracted feature points as the center, extracting fixed size image blocks, and inputting these image blocks into pre-training. In convolution neural network, multi-scale convolution features are extracted by using multiple convolution layers in the neural network; based on multi-scale convolution features, similarity between features is measured by the nearest weighted distance, and initial matching pairs are obtained by the ratio of nearest distance to sub-nearest distance; errors are eliminated by using RANSAC algorithm and geometric constraint pairs between features. The final matching result is obtained by matching pairs. The method can improve the accuracy of multi-temporal remote sensing image matching registration and has strong adaptability when the training sample of remote sensing data is missing.

【技术实现步骤摘要】
一种基于卷积神经网络的多时相遥感影像匹配方法及系统
本专利技术属于遥感影像处理
，涉及一种基于卷积神经网络的多时相遥感影像匹配方法及系统。
技术介绍
多时相遥感影像匹配被广泛的应用于军事和民用领域，例如遥感影像配准、影像融合、以及城市变化检测等。由于气候条件、光照以及地表覆盖类型的变化，不同时间获取的影像可能包含不同的内容，这些影像内容的变化给多时相影像匹配带来了极大困难。一般说来，影像匹配方法可以分为基于区域的方法和基于特征的方法。基于区域的方法直接利用影像灰度值进行匹配，而多时相的遥感影像灰度差异大，相反，基于特征的方法利用更高级的特征，如点、线、区域等，来对影像进行匹配，因而基于特征的方法更适合于解决多时相遥感影像匹配的问题。基于特征的方法中，SIFT方法最为经典，这得益于其对影像旋转和尺度变化的鲁棒性，大多数的方法都是在SIFT方法上直接或者间接进行改进。然而，在多时相的遥感影像中，影像灰度差异带来的匹配难题远远超过了由影像几何形变带来的问题，此时，再利用SIFT方法匹配时，会得到很多错误的特征点，甚至会因为其匹配结果差而影响匹配结果的后续利用。近几年来，不少学者提出了基于深度学习的匹配方法。这类方法是基于深度网络的，不需要手工去设计这些特征描述子，可以根据训练样本来直接度量影像块之间的相似性，然而，这些方法几乎都是用于自然影像的匹配，对于多时相的遥感影像匹配问题还未涉及。因而，如何利用深度学习的方法来解决多时相影像匹配的问题是一个积极的尝试。
技术实现思路
针对现有技术的不足，本专利技术提供一种基于卷积神经网络的多时相遥感影像匹配方法及系统，有效地克服传统遥感影像配准方法的不足，提高了遥感影像匹配的精度，具有较强的适应性。为实现上述目的，本专利技术的技术方案提供一种基于卷积神经网络的多时相遥感影像匹配方法，包括以下步骤：步骤a，进行多时相遥感影像匹配时，对输入的参考影像和待匹配影像采用固定大小进行分块；步骤b，采用特征点检测算子在步骤a划分所得的影像块内提取特征点；步骤c，以步骤b提取的特征点为中心，提取固定大小的图像块，并将这些图像块输入预训练的卷积神经网络中，使用神经网络中的多个卷积层来提取图像特征，获得多尺度卷积特征；步骤d，基于多尺度卷积特征，利用最邻近加权距离度量特征之间的相似性，利用最邻近距离与次邻近距离比值获得初始匹配点对；步骤e，采用RANSAC算法和特征点之间的几何约束性对步骤d所得匹配结果剔除错误匹配对，获得最终匹配结果。而且，步骤c中，卷积神经网络采用VGG-16模型，利用VGG-16模型的pool3、pool4和block5conv1层输出的特征向量作为CNN提取的高级特征，将pool4和block5conv1特征上采样至pool3层大小，并对pool3、pool4和block5conv1层特征向量进行归一化，设对pool3、pool4和block5conv1层的特征归一化结果分别为fpool3、fpool4和fblock5conv1，获得多尺度卷积特征FP(x,y)＝{fpool3,fpool4,fblock5conv1}。而且，步骤d中，使用最邻近加权距离来度量特征之间的相似性时，表达式为D(x,y)＝md1(x,y)+nd2(x,y)+qd3(x,y)，其中，d1(x,y),d2(x,y),d3(x,y)分别为匹配对的特征归一化结果fpool3、fpool4和fblock5conv1采用马氏距离计算得到的相似性，m、n、q分别为相应权重。而且，步骤e中剔除错误匹配对的方式为，首先，采用RANSAC算法对步骤d获取的初始匹配点对进行初步剔除，然后，对于剩下的每一对初始匹配点对，寻找其最邻近的若干特征点并构建几何约束关系，验证该匹配点对，从而剔除误差大的匹配点对。而且，构建几何约束关系实现如下，设对于参考影像上任意一点P(x,y)，其在待配准影像上对应的特征点Q(x',y')，两者之间的几何关系为当特征点Q(x',y')附近的特征点个数多于6个时，选取最邻近的6个来解算上述几何关系，得到系数ai和bj，i＝0,1,...,5，j＝0,1,...,5；当特征点Q(x',y')附近的特征点个数较少但不低于4个时，只解算一次项系数，二次项系数则为0；然后根据该几何关系将参考影像上的特征点P映射到待匹配影像上成为点P'，若P'与Q的距离残差大于给定阈值，则剔除初始匹配点对(P，Q)，否则，认定(P，Q)为一对正确的匹配点，保留在最终结果中。本专利技术还相应提供一种基于卷积神经网络的多时相遥感影像匹配系统，包括以下模块：第一模块，用于进行多时相遥感影像匹配时，对输入的参考影像和待匹配影像采用固定大小进行分块；第二模块，用于采用特征点检测算子在第一模块划分所得的影像块内提取特征点；第三模块，用于以第二模块提取的特征点为中心，提取固定大小的图像块，并将这些图像块输入预训练的卷积神经网络中，使用神经网络中的多个卷积层来提取图像特征，获得多尺度卷积特征；第四模块，用于基于多尺度卷积特征，利用最邻近加权距离度量特征之间的相似性，利用最邻近距离与次邻近距离比值获得初始匹配点对；第五模块，用于采用RANSAC算法和特征点之间的几何约束性对第四模块所得匹配结果剔除错误匹配对，获得最终匹配结果。而且，步骤c中，卷积神经网络采用VGG-16模型，利用VGG-16模型的pool3、pool4和block5conv1层输出的特征向量作为CNN提取的高级特征，将pool4和block5conv1特征上采样至pool3层大小，并对pool3、pool4和block5conv1层特征向量进行归一化，设对pool3、pool4和block5conv1层的特征归一化结果分别为fpool3、fpool4和fblock5conv1，获得多尺度卷积特征FP(x,y)＝{fpool3,fpool4,fblock5conv1}。而且，步骤d中，使用最邻近加权距离来度量特征之间的相似性时，表达式为D(x,y)＝md1(x,y)+nd2(x,y)+qd3(x,y)，其中，d1(x,y),d2(x,y),d3(x,y)分别为匹配对的特征归一化结果fpool3、fpool4和fblock5conv1采用马氏距离计算得到的相似性，m、n、q分别为相应权重。而且，步骤e中剔除错误匹配对的方式为，首先，采用RANSAC算法对步骤d获取的初始匹配点对进行初步剔除，然后，对于剩下的每一对初始匹配点对，寻找其最邻近的若干特征点并构建几何约束关系，验证该匹配点对，从而剔除误差大的匹配点对。而且，构建几何约束关系实现如下，设对于参考影像上任意一点P(x,y)，其在待配准影像上对应的特征点Q(x',y')，两者之间的几何关系为当特征点Q(x',y')附近的特征点个数多于6个时，选取最邻近的6个来解算上述几何关系，得到系数ai和bj，i＝0,1,...,5，j＝0,1,...,5；当特征点Q(x',y')附近的特征点个数较少但不低于4个时，只解算一次项系数，二次项系数则为0；然后根据该几何关系将参考影像上的特征点P映射到待匹配影像上成为点P'，若P'与Q的距离残差大于给定阈值，则剔除初始匹配点对(P，Q)，否则，认定(P，Q)为一对正确的匹配点，本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的多时相遥感影像匹配方法，其特征在于，包括以下步骤：步骤a，进行多时相遥感影像匹配时，对输入的参考影像和待匹配影像采用固定大小进行分块；步骤b，采用特征点检测算子在步骤a划分所得的影像块内提取特征点；步骤c，以步骤b提取的特征点为中心，提取固定大小的图像块，并将这些图像块输入预训练的卷积神经网络中，使用神经网络中的多个卷积层来提取图像特征，获得多尺度卷积特征；步骤d，基于多尺度卷积特征，利用最邻近加权距离度量特征之间的相似性，利用最邻近距离与次邻近距离比值获得初始匹配点对；步骤e，采用RANSAC算法和特征点之间的几何约束性对步骤d所得匹配结果剔除错误匹配对，获得最终匹配结果。

【技术特征摘要】
1.一种基于卷积神经网络的多时相遥感影像匹配方法，其特征在于，包括以下步骤：步骤a，进行多时相遥感影像匹配时，对输入的参考影像和待匹配影像采用固定大小进行分块；步骤b，采用特征点检测算子在步骤a划分所得的影像块内提取特征点；步骤c，以步骤b提取的特征点为中心，提取固定大小的图像块，并将这些图像块输入预训练的卷积神经网络中，使用神经网络中的多个卷积层来提取图像特征，获得多尺度卷积特征；步骤d，基于多尺度卷积特征，利用最邻近加权距离度量特征之间的相似性，利用最邻近距离与次邻近距离比值获得初始匹配点对；步骤e，采用RANSAC算法和特征点之间的几何约束性对步骤d所得匹配结果剔除错误匹配对，获得最终匹配结果。2.根据权利要求1所述基于卷积神经网络的多时相遥感影像匹配方法，其特征在于：步骤c中，卷积神经网络采用VGG-16模型，利用VGG-16模型的pool3、pool4和block5conv1层输出的特征向量作为CNN提取的高级特征，将pool4和block5conv1特征上采样至pool3层大小，并对pool3、pool4和block5conv1层特征向量进行归一化，设对pool3、pool4和block5conv1层的特征归一化结果分别为fpool3、fpool4和fblock5conv1，获得多尺度卷积特征FP(x,y)＝{fpool3,fpool4,fblock5conv1}。3.根据权利要求2所述基于卷积神经网络的多时相遥感影像匹配方法，其特征在于：步骤d中，使用最邻近加权距离来度量特征之间的相似性时，表达式为D(x,y)＝md1(x,y)+nd2(x,y)+qd3(x,y)，其中，d1(x,y),d2(x,y),d3(x,y)分别为匹配对的特征归一化结果fpool3、fpool4和fblock5conv1采用马氏距离计算得到的相似性，m、n、q分别为相应权重。4.根据权利要求1或2或3所述基于卷积神经网络的多时相遥感影像匹配方法，其特征在于：步骤e中剔除错误匹配对的方式为，首先，采用RANSAC算法对步骤d获取的初始匹配点对进行初步剔除，然后，对于剩下的每一对初始匹配点对，寻找其最邻近的若干特征点并构建几何约束关系，验证该匹配点对，从而剔除误差大的匹配点对。5.根据权利要求4所述基于卷积神经网络的多时相遥感影像匹配方法，其特征在于：构建几何约束关系实现如下，设对于参考影像上任意一点P(x,y)，其在待配准影像上对应的特征点Q(x',y')，两者之间的几何关系为当特征点Q(x',y')附近的特征点个数多于6个时，选取最邻近的6个来解算上述几何关系，得到系数ai和bj，i＝0,1,...,5，j＝0,1,...,5；当特征点Q(x',y')附近的特征点个数较少但不低于4个时，只解算一次项系数，二次项系数则为0；然后根据该几何关系将参考影像上的特征点P映射到待匹配影像上成为点P'，若P'与Q的距离残差大于给定阈值，则剔除初始匹配点对(P，Q)，否则，认定(P，Q)为一对正确的匹配点，保留在最终结果中。6.一种基于卷积神经网...

【专利技术属性】
技术研发人员：邓练兵，
申请(专利权)人：珠海大横琴科技发展有限公司，
类型：发明
国别省市：广东,44