基于双支路神经网络的光学与SAR图像配准方法技术

本发明专利技术涉及图像配准技术领域，涉及一种基于双支路神经网络的光学与SAR图像配准方法，包括：一、提取光学和SAR图像的点特征信息，将点特征信息转化为以特征点为中心的特征图像作为输入信息；二、利用双支路神经网络训练识别输入的光学和SAR的特征图像信息的匹配关系；利用光学和SAR图像的样本数据制作样本库输入到网络中训练，分析网络模型的配准精度，迭代对网络进行训练，选出训练效果最佳的模型作为模型文件，获取光学和SAR的正确图像匹配对；三、筛选出正确匹配的图像对的特征点信息，利用匹配特征点计算光学和SAR的图像变换矩阵参数信息，获取到最终图像信息。本发明专利技术能较佳地进行光学和SAR的图像配准。地进行光学和SAR的图像配准。地进行光学和SAR的图像配准。

【技术实现步骤摘要】
基于双支路神经网络的光学与SAR图像配准方法


[0001]本专利技术涉及光学和SAR的图像配准
，具体地说，涉及一种基于双支路神经网络的光学与SAR图像配准方法。

技术介绍

[0002]随着遥感探测技术的不断发展，越来越多的遥感卫星正不断发射应用于生产生活中，不同的遥感卫星获取的数据包含多传感器、多空间分辨率、多时间分辨率和多光谱分辨率等多种不同类型，为进行各种复杂的遥感图像处理应用，单一类型的遥感数据可能无法满足数据需要，需要把多种来源的遥感数据整合提取出更全面的有效信息来处理，即实现多源遥感信息的融合处理。为了实现多源遥感信息的融合，遥感图像配准成为了解决此类问题的一个重要方法。遥感图像配准是指对不同传感器获取的不同时间的同一场景下的两幅或多幅遥感影像数据进行分析处理，并把待配准图像转换至与参考图像同一空间坐标系下的过程。由于不同类型遥感数据的多源性和成像变化的复杂性，如何将多源遥感数据快速准确的实现图像配准，成为当下遥感图像处理应用的一个热门问题。
[0003]在多源遥感图像配准中，光学图像和合成孔径雷达(SAR，Synthetic ApertureRadar)图像的配准是一个重要的研究方向。光学图像的成像波段在可见光波段和部分红外波段，SAR图像的成像波段在微波波段。光学图像含有丰富的光谱灰度信息，成像依赖于地物本身的反射能力，在一定的波谱范围和光照条件下可以获得各类地物丰富的属性信息，但光学图像在光照不佳、雨雪雾霾等条件影响下无法清晰成像。SAR图像是主动发射的遥感系统获得的图像，只记录单一波段的回波脉冲信号，无法获得丰富的光谱信息，但SAR图像可以无视雨雪雾霾天气影响，有较强的地表穿透性，对地物纹理结构信息识别好，且因主动发射电磁波的特性，具有全天时和全天候对地观测的特性。因此，针对上述光学图像和SAR图像各自的优缺点，将二者图像配准融合，既含有丰富的光谱信息，又克服天气变化对图像质量的影响，保留地物的主要纹理结构信息，具有全天时和全天候成像的特点，实现优势互补，对多源遥感图像配准和信息融合有重要的意义。
[0004]由于光学和SAR的成像传感器的不同，光学和SAR的图像纹理结构有很大的差异，如何克服成像原理不同导致的图像结构差异对光学和SAR的图像配准的影响，实现在同一个坐标系内处理光学和SAR的图像数据是光学和SAR的图像配准的难题。

技术实现思路

[0005]本专利技术的内容是提供一种基于双支路神经网络的光学与SAR图像配准方法，其能够克服现有技术的某种或某些缺陷。
[0006]根据本专利技术的一种基于双支路神经网络的光学与SAR图像配准方法，其包括以下步骤：
[0007]一、特征提取：获取光学和SAR图像各自的特征图像信息；采用特征点提取的方式提取光学和SAR图像的点特征信息，将点特征信息转化为以特征点为中心的邻域特征图像
信息作为特征匹配网络的输入信息；
[0008]二、特征匹配：利用双支路神经网络训练识别输入的光学和SAR的特征图像信息的匹配关系；其中利用光学和SAR图像的样本数据制作样本库输入到网络中训练，通过精度评价分析网络模型的配准精度，迭代对网络进行训练，选出训练效果最佳的模型作为特征匹配网络的模型文件，用以检验光学和SAR特征图像的匹配关系，获取光学和SAR的正确图像匹配对；
[0009]三、特征筛选输出：分析特征匹配网络获取的光学和SAR的匹配图像对，利用图像后处理进一步分析匹配图像对的正确匹配关系，筛选出正确匹配的图像对的特征点信息，利用匹配特征点计算光学和SAR的图像变换矩阵参数信息，实现待配准图像向参考图像的图像重采样及坐标系的统一，获取到最终配准的图像信息。
[0010]作为优选，步骤一中，特征点提取采用SIFT点特征提取算法。
[0011]作为优选，步骤一中，将点特征信息转化为以特征点为中心的邻域特征图像信息的方法为：对特征点周围区域匹配，获取到特征点周围的地物纹理信息即得特征图像。
[0012]作为优选，特征匹配包括以下步骤：
[0013]步骤1)光学图像和SAR图像在各分支内的图像特征提取，在各分支内通过卷积神经网络的层级特点提取光学和SAR的各自重要图像特征；
[0014]步骤2)提取后的光学和SAR的图像特征的融合分类，通过全连接层的层级训练提取分析融合后的图像特征，输出对光学和SAR图像的匹配判定。
[0015]作为优选，步骤1)中，分别将光学和SAR图像的输入图像块作为起始输入，分别独立输入到双支路卷积神经网络块中训练，各支路神经网络在训练中不影响光学和SAR的各自图像特征提取，通过一定的卷积和池化的层级操作，光学和SAR图像特征不产生交互关系，分别提取各自支路的重要图像特征，光学支路和SAR支路不相互作用和影响，分别获取到光学和SAR经过双支路神经网络训练后的各自图像特征。
[0016]作为优选，当特征图像输入到对应分支后，经过卷积操作初步提取特征图像的基本特征，不改变图像的输入大小，然后通过池化操作缩减图像特征，提取出重要图像特征，由池化层的步长决定图像大小的改变情况，后接的是一系列的深度残差网络块，深度残差网络块中输入特征在经过卷积和池化操作后再与本身连接作为一个深度残差网络块的输出，最后将图像特征输出为一个平铺的一维序列，这个一维序列即为最终支路输出的图像特征，完成各分支内的网络训练。
[0017]作为优选，步骤2)中，将光学和SAR两个支路的训练后的图像特征信息逐像素聚合叠加，直接将两个一维序列拼接成一个长的一维序列，从而使这两个支路完全融合成一个支路，经过全连接层的层级训练，整合卷积层和池化层综合提取的图像特征信息，提取最终的融合图像特征信息，将卷积、池化和全连接层处理后的图像特征映射到样本预设标签中，估计出一组输入图块的最终匹配分类输出的结果。
[0018]作为优选，特征筛选中，先通过双支路神经网络来筛选出正确匹配对，再通过欧氏距离下的归一化互相关指数NCC剔除出正确匹配对中一对多输出中 NCC值较小的一群图像对，筛选正确匹配对中可能识别错误的影像，获取到最终所有光学和SAR图像一对一正确匹配的图像对结果。
[0019]作为优选，通过NCC进一步筛除网络中错误识别的图像匹配对后，获取正确匹配图
像对的中心点为匹配特征点，利用RANSAC剔除可能的离群点，构建光学图像与SAR图像的正确匹配特征点对关系，获取到待配准SAR图像到参考光学图像的变换矩阵参数，在计算出变换矩阵后，由特征点的变换矩阵计算映射到所有像素点的变换矩阵计算；采用插值方式中的最邻近插值的方法将像素浮点坐标信息插值为整数坐标信息，使其能够完成像素坐标点的匹配，待配准 SAR图像的像素信息通过单应性矩阵投影变换到参考光学图像上，对应的地理空间信息也根据单应性矩阵计算变换后的SAR图像信息变换到对应的光学图像坐标系下，完成待配准图像的重采样，实现光学和SAR的图像地理空间信息的统一，完成图像配准。
[0020]本专利技术在光学和SAR的异源遥感图像配准中取得了较好本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双支路神经网络的光学与SAR图像配准方法，其特征在于：包括以下步骤：一、特征提取：获取光学和SAR图像各自的特征图像信息；采用特征点提取的方式提取光学和SAR图像的点特征信息，将点特征信息转化为以特征点为中心的邻域特征图像信息作为特征匹配网络的输入信息；二、特征匹配：利用双支路神经网络训练识别输入的光学和SAR的特征图像信息的匹配关系；其中利用光学和SAR图像的样本数据制作样本库输入到网络中训练，通过精度评价分析网络模型的配准精度，迭代对网络进行训练，选出训练效果最佳的模型作为特征匹配网络的模型文件，用以检验光学和SAR特征图像的匹配关系，获取光学和SAR的正确图像匹配对；三、特征筛选输出：分析特征匹配网络获取的光学和SAR的匹配图像对，利用图像后处理进一步分析匹配图像对的正确匹配关系，筛选出正确匹配的图像对的特征点信息，利用匹配特征点计算光学和SAR的图像变换矩阵参数信息，实现待配准图像向参考图像的图像重采样及坐标系的统一，获取到最终配准的图像信息。2.根据权利要求1所述的基于双支路神经网络的光学与SAR图像配准方法，其特征在于：步骤一中，特征点提取采用SIFT点特征提取算法。3.根据权利要求1所述的基于双支路神经网络的光学与SAR图像配准方法，其特征在于：步骤一中，将点特征信息转化为以特征点为中心的邻域特征图像信息的方法为：对特征点周围区域匹配，获取到特征点周围的地物纹理信息即得特征图像。4.根据权利要求1所述的基于双支路神经网络的光学与SAR图像配准方法，其特征在于：特征匹配包括以下步骤：步骤1)光学图像和SAR图像在各分支内的图像特征提取，在各分支内通过卷积神经网络的层级特点提取光学和SAR的各自重要图像特征；步骤2)提取后的光学和SAR的图像特征的融合分类，通过全连接层的层级训练提取分析融合后的图像特征，输出对光学和SAR图像的匹配判定。5.根据权利要求4所述的基于双支路神经网络的光学与SAR图像配准方法，其特征在于：步骤1)中，分别将光学和SAR图像的输入图像块作为起始输入，分别独立输入到双支路卷积神经网络块中训练，各支路神经网络在训练中不影响光学和SAR的各自图像特征提取，通过一定的卷积和池化的层级操作，光学和SAR图像特征不产生交互关系，分别提取各自支路的重要图像特征，光学支路和SAR支路不相互作用和影响，分别获取到光学和SAR经过双支路神经网络...

【专利技术属性】
技术研发人员：吴艳兰，杨辉，王彪，
申请(专利权)人：安徽大学，
类型：发明
国别省市：