融合SIFT特征和CNN特征的遥感图像配准方法及系统技术方案

本发明专利技术提供一种融合SIFT特征和CNN特征的遥感图像配准方法及系统，包括对输入的参考影像和待配准影像进行特征点提取，采用SIFT方式对特征点的邻域区域进行特征表达，获得SIFT特征；将特征点的邻域区域作为卷积神经网络CNN的输入端，使用预先采用迁移学习策略训练完成的CNN模型进行高层特征表达，获取CNN特征；将SIFT特征和CNN特征进行融合，计算相似性，估算参考影像和待配准影像之间几何变换参数，对待配准影像进行几何变换并重采样，获得配准影像。本发明专利技术结合传统特征提取的底层特征和基于卷积神经网络提取的高级特征，联合特征能更准确地表达遥感影像内容，极大提高了遥感影像配准精度，具有较强的适应性。

【技术实现步骤摘要】
融合SIFT特征和CNN特征的遥感图像配准方法及系统
本专利技术属于遥感影像处理
，涉及一种融合SIFT特征和CNN特征的遥感图像配准方法及系统。
技术介绍
影像配准是指根据带有地理参考的影像将未配准的影像进行几何纠正的过程，这些影像内容包含相同的区域，可能来源于不同的拍摄时间、不同的传感器或者不同的拍摄视角。影像配准是遥感图像处理领域的基本问题，对后续应用具有重大的影响，如影像融合、变化检测等。影像配准主要分为影像匹配、几何变换参数估计和影像变换三个步骤，影像匹配是影像配准的基础。因此，类似于影像匹配，影像配准方法大致可以分为基于区域的匹配方法和基于特征的匹配方法。基于区域的配准方法主要使用互信息(MutualInformation，MI)和归一化互相关(NormalizedCross-Correlation，NCC)来度量影像之间的相似性，获得匹配点对并优化估计几何变换参数。虽然该类方法实现简单，但是对影像灰度、几何畸变以及噪声等比较敏感。基于特征的匹配方法使用点、线、面等特征来建立影像间点对的对应关系，能很好地克服基于区域配准方法的不足。在基于特征的配准方法中，最具有代表性的方法为SIFT(Scale-InvariantFeatureTransform，尺度不变特征变换)，对于一般图像来说，SIFT描述子具有良好的尺度、旋转不变性，而且对于影像视角变化、明暗变化等也具有一定的不变性，能够很好地提取图像特征，但是SIFT描述子最初是为自然图像设计的，而遥感影像可能是从不同角度、不同传感器、不同时间获取的，在面对复杂的遥感影像时，SIFT描述子不能很好地表达影像内容。除此之外，在面对复杂多样的遥感影像时，需要根据影像特性人工设计相应配准方法，且配准方法的适应性差。近年来，基于深度学习的特征提取方法得到了快速发展，这是一种数据驱动的方法，能够从影像中自动学习影像特征。但是，基于深度学习的特征提取方法对样本的依赖大，目前已经有许多针对自然图像的样本库，而遥感影像样本库几乎没有，利用人工进行遥感影像标注代价大。并且，目前，基于深度学习的特征提取方法在遥感影像检索、分类和目标识别等领域得到了应用，但是这些方法都不是为遥感影像配准专门设计的，缺乏相应启发。因此，如何利用深度学习技术来解决遥感影像配准中的难点问题是一件很有意义的事情。
技术实现思路
针对现有技术的不足，本专利技术提供一种基于多特征融合的遥感图像配准方法及系统，有效地克服SIFT特征提取算子无法准确表达复杂的遥感影像内容，提高了遥感影像配准的精度，并为复杂多样的遥感影像提供了一种新的配准方法，具有较强的适应性。为实现上述目的，本专利技术的技术方案提供一种融合SIFT特征和CNN特征的遥感图像配准方法，包括以下步骤：步骤a，分别对输入的参考影像和待配准影像进行特征点提取；步骤b，采用SIFT方式对特征点的邻域区域进行特征表达，获得SIFT特征；步骤c，将特征点的邻域区域作为卷积神经网络CNN的输入端，使用预先训练完成的CNN模型对输入的特征点的邻域区域进行高层特征表达，获取CNN特征；其中，预先训练CNN模型时，采用迁移学习的策略对CNN模型参数进行优化；步骤d，将SIFT特征和CNN特征进行融合，并根据相似性度量函数计算特征之间的相似性，获得参考影像和待配准影像之间的初始匹配对；步骤e，根据特征点之间的几何一致性关系剔除误匹配对，根据正确匹配点对估算参考影像和待配准影像之间的几何变换参数；步骤f，根据估算的几何变换参数对待配准影像进行几何变换，并进行重采样，获得配准影像。而且，预先训练CNN模型时，采用迁移学习的策略对CNN模型参数进行优化，包括将经自然图像训练过的网络模型作为初始模型，采用遥感样本数据集进行训练优化。而且，构建遥感样本数据集的实现方式为如下，设从待配准影像中选取N幅影像{I1,I2,...,IN}，并对每一幅影像进行k次变换{T1,T2,...,Tk}，获得相应变换后的影像当使用经典点特征检测算子，从影像Ii中提取m个特征点{xi1,xi2,...,xim},i＝1,...,N，根据上述变换关系，则从变换后的影像中获得相应特征点构成的同名特征点对为以特征点为中心，选取特征点的邻域区域，则获得对应的同名图像块实现构建遥感样本数据集。而且，步骤c中，卷积神经网络采用VGG16模型，选取第6层和第7层的全连接层输出结果作为特征表达结果，分别记为CNN特征fc6和fc7。而且，步骤d中，将SIFT特征和CNN特征进行融合前进行归一化。本专利技术还提供一种融合SIFT特征和CNN特征的遥感图像配准系统，包括以下单元：第一单元，用于分别对输入的参考影像和待配准影像进行特征点提取；第二单元，采用SIFT方式对特征点的邻域区域进行特征表达，获得SIFT特征；第三单元，将特征点的邻域区域作为卷积神经网络CNN的输入端，使用预先训练完成的CNN模型对输入的特征点的邻域区域进行高层特征表达，获取CNN特征；其中，预先训练CNN模型时，采用迁移学习的策略对CNN模型参数进行优化；第四单元，将SIFT特征和CNN特征进行融合，并根据相似性度量函数计算特征之间的相似性，获得参考影像和待配准影像之间的初始匹配对；第五单元，根据特征点之间的几何一致性关系剔除误匹配对，根据正确匹配点对估算参考影像和待配准影像之间的几何变换参数；第六单元，根据估算的几何变换参数对待配准影像进行几何变换，并进行重采样，获得配准影像。而且，预先训练CNN模型时，采用迁移学习的策略对CNN模型参数进行优化，包括将经自然图像训练过的网络模型作为初始模型，采用遥感样本数据集进行训练优化。而且，构建遥感样本数据集的实现方式为如下，设从待配准影像中选取N幅影像{I1,I2,...,IN}，并对每一幅影像进行k次变换{T1,T2,...,Tk}，获得相应变换后的影像当使用经典点特征检测算子，从影像Ii中提取m个特征点{xi1,xi2,...,xim},i＝1,...,N，根据上述变换关系，则从变换后的影像中获得相应特征点构成的同名特征点对为以特征点为中心，选取特征点的邻域区域，则获得对应的同名图像块实现构建遥感样本数据集。而且，第三单元中，卷积神经网络采用VGG16模型，选取第6层和第7层的全连接层输出结果作为特征表达结果，分别记为CNN特征fc6和fc7。而且，第四单元中，将SIFT特征和CNN特征进行融合前进行归一化。与现有技术相比，本专利技术提供的技术方案的有益效果为：(1)本专利技术结合了传统特征提取的底层特征和基于卷积神经网络提取的高级特征，并用于遥感影像配准，极大地提高了遥感影像配准的精度；(2)本专利技术采用了迁移学习的策略来训练CNN网络参数，使该方法具有较强的适应性。(3)本专利技术采用一种新的构建训练样本数据集方式，不依赖于外部数据。附图说明图1为本专利技术实施例的流程图。具体实施方式为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。本专利技术提出的一种基于多特征融合的遥感图像配准方法及系统，首先采用传统点特征检测算子在参考影像和待配准影像上分别提取特征点；其次采用传统局部特征描述子和本文档来自技高网...

【技术保护点】
1.一种融合SIFT特征和CNN特征的遥感图像配准方法，其特征在于，包括以下步骤：步骤a，分别对输入的参考影像和待配准影像进行特征点提取；步骤b，采用SIFT方式对特征点的邻域区域进行特征表达，获得SIFT特征；步骤c，将特征点的邻域区域作为卷积神经网络CNN的输入端，使用预先训练完成的CNN模型对输入的特征点的邻域区域进行高层特征表达，获取CNN特征；其中，预先训练CNN模型时，采用迁移学习的策略对CNN模型参数进行优化；步骤d，将SIFT特征和CNN特征进行融合，并根据相似性度量函数计算特征之间的相似性，获得参考影像和待配准影像之间的初始匹配对；步骤e，根据特征点之间的几何一致性关系剔除误匹配对，根据正确匹配点对估算参考影像和待配准影像之间的几何变换参数；步骤f，根据估算的几何变换参数对待配准影像进行几何变换，并进行重采样，获得配准影像。

【技术特征摘要】
1.一种融合SIFT特征和CNN特征的遥感图像配准方法，其特征在于，包括以下步骤：步骤a，分别对输入的参考影像和待配准影像进行特征点提取；步骤b，采用SIFT方式对特征点的邻域区域进行特征表达，获得SIFT特征；步骤c，将特征点的邻域区域作为卷积神经网络CNN的输入端，使用预先训练完成的CNN模型对输入的特征点的邻域区域进行高层特征表达，获取CNN特征；其中，预先训练CNN模型时，采用迁移学习的策略对CNN模型参数进行优化；步骤d，将SIFT特征和CNN特征进行融合，并根据相似性度量函数计算特征之间的相似性，获得参考影像和待配准影像之间的初始匹配对；步骤e，根据特征点之间的几何一致性关系剔除误匹配对，根据正确匹配点对估算参考影像和待配准影像之间的几何变换参数；步骤f，根据估算的几何变换参数对待配准影像进行几何变换，并进行重采样，获得配准影像。2.根据权利要求1所述融合SIFT特征和CNN特征的遥感图像配准方法，其特征在于：预先训练CNN模型时，采用迁移学习的策略对CNN模型参数进行优化，包括将经自然图像训练过的网络模型作为初始模型，采用遥感样本数据集进行训练优化。3.根据权利要求2所述的融合SIFT特征和CNN特征的遥感图像配准方法，其特征在于：构建遥感样本数据集的实现方式为如下，设从待配准影像中选取N幅影像{I1,I2,...,IN}，并对每一幅影像进行k次变换{T1,T2,...,Tk}，获得相应变换后的影像当使用经典点特征检测算子，从影像Ii中提取m个特征点{xi1,xi2,...,xim},i＝1,...,N，根据上述变换关系，则从变换后的影像中获得相应特征点构成的同名特征点对为以特征点为中心，选取特征点的邻域区域，则获得对应的同名图像块实现构建遥感样本数据集。4.根据权利要求1所述的融合SIFT特征和CNN特征的遥感图像配准方法，其特征在于：步骤c中，卷积神经网络采用VGG16模型，选取第6层和第7层的全连接层输出结果作为特征表达结果，分别记为CNN特征fc6和fc7。5.根据权利要求1或2或3或4所述的融合SIFT特征和CNN特征的遥感图像配准方法，其特征在于：步骤d中，将SIFT特征和CNN特征进行融合前进行归一化。6.一种融...

【专利技术属性】
技术研发人员：邵振峰，李从敏，杨珂，周维勋，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42