【技术实现步骤摘要】
本专利技术涉及遥感图像匹配，具体涉及一种基于轻量化深度卷积网络的光学和sar图像匹配方法。
技术介绍
1、随着遥感技术的发展，从遥感图像上获取所需信息已经成为一种非常重要的信息获取手段。遥感图像匹配是遥感图像处理中的基础任务，图像匹配是指在两幅或多幅图像之间建立空间对应关系的过程。合成孔径雷达（synthetic aperture radar ,sar）是一种利用微波对地目标进行观测的有源成像传感器，具有全天候、大规模、强穿透等特性，适合高分辨率对地观测应用。sar遥感图像可以作为光学遥感图像的有益补充。这两种图像的结合被广泛的应用于目标识别、图像分割和分类、变化检测、图像配准和图像融合等图像处理任务中，而图像匹配是这些应用的前提。然而，由于sar图像成像的几何模型和物理的辐射机制和光学图像的不同，导致sar图像和光学图像之间存在复杂几何畸变和较大非线性辐射差异。光学与sar图像之间复杂几何畸变、非线性辐射差异和散斑点噪声使得它们之间的图像匹配变得十分的困难。对于光学图像和sar图像匹配任务的难点在于如何从异构的图像中构建鲁棒性特征。
2、为解决上述问题，研究人员提出了许多图像匹配方法，主要包括三类：基于区域特征描述符匹配方法、基于人工设计描述符匹配方法和基于学习的特征描述符匹配方法。基于区域方法直接在像素级进行图像匹配，光照变化、遮挡和图像失真会误导相似度量和匹配搜索。人工设计的特征描述符通常由局部图像区域的特征（如：点、角点、线和边缘）构建，属于低级的语义信息，无法有效的处理光学图像和sar图像间存在的局部几何畸
3、公开号为cn117036754a的专利技术专利申请公开了一种sar与光学图像的匹配方法，该专利技术提供了一种光学和sar图像的高精度模态匹配方法，但该方法主要针对光学和sar图像间存在较小的辐射和几何畸变的图像，且使用双分支网络，层数较少难以获得高级特征用于图像匹配，导致模型的泛化能力差。公开号为cn115019071a的专利技术专利公开了一种光学图像与sar图像匹配方法、装置、电子设备及介质，该专利技术有效的融合了光学和sar图像的特征，图像经过网络模型获得多个密集特征图和特征向量，该专利技术能有效地解决图像匹配存在特征点少的问题，但这也增加模型的计算复杂度，降低了模型的推理速度。公开号为cn116403011a的专利技术专利申请公开了一种基于sar-optical图像匹配的有效数据样本群的建立方法，该专利技术采用模板匹配的方法实现光学和sar遥感图像匹配，有效的提高了匹配的精度，但该专利技术的匹配结果易受到光照和噪声等的影响。公开号为cn112861672a的专利技术专利公开了一种基于光学-sar异源遥感图像匹配方法，该专利技术提供了一种基于深度学习的自适应图像细节学习的全卷积神经网络的图像匹配模型，有效的学习到了图像间的细节特征，提高遥感图像匹配的准确度和效率，但仅考虑图像间的特征未考虑全局的语义特征，同样对于光学和sar图像间存在较大的非线性辐射差异和复杂几何畸变的匹配结果不理想。公开号为cn108447016a的专利技术专利公开了一种基于直线交点的光学图像和sar图像的匹配方法，用于解决现有技术中存在的图像匹配准确度低的技术问题，该专利技术提供了一种基于直线特征的光学和sar图像的匹配方法，但直线特征属于人工设计的特征，属于低级语义信息，同样的无法处理光学和sar图像之间存在的较大的非线性辐射差异。公开号为cn107480701a的专利技术专利公开了一种基于多通道卷积神经网络的光学图像与雷达图像匹配方法，该专利技术提供了一种双通道网络的光学和sar图像的匹配方法，通过双通道的深度卷积神经网络构建特征匹配网络，有效的使用了高级的语义信息，但该方法利用分类层输出匹配结果，匹配点的定位精度低，且缺乏考虑细节特征的提取，模型的泛化能力不足。
技术实现思路
1、本专利技术的目的在于，提供一种基于轻量化深度卷积网络的光学和sar图像匹配方法，能够减少特征提取过程中关键特征的损失和实现特征的重用，能有效的结合局部和全局上下文语义信息，从具有较大的非线性辐射差异和复杂几何畸变光学和sar图像中提取到具有较强鲁棒性的深度描述符用于图像匹配，提高了匹配点的数量和准确率。
2、本专利技术采取的技术方案为：一种基于轻量化深度卷积网络的光学和sar图像匹配方法，包括如下步骤：
3、s1：对光学和sar图像进行预处理并使用fast算法进行特征点检测；
4、s2：构建深度描述符提取模型，所述深度描述符提取模型包括同时提取局部信息和全局上下文语意信息的深度倒残差全卷积神经网络和密集特征纯化模块；
5、所述深度倒残差全卷积神经网络由一个卷积层和多个重复的倒残差结构组成，倒残差结构使用全卷积层，全卷积层用于局部特征的提取和减少图像关键特征的损失，倒残差结构中内嵌的跨连接结构用于提取图像的全局和上下文信息和实现特征的重用；
6、所述密集特征纯化模块，用于将深度倒残差全卷积神经网络输出的密集特征融合到一个深度描述符中；
7、s3：利用公开的光学和sar图像的数据集对深度描述符提取模型进行训练，损失函数从深度描述符提取模型输出的深度描述符中找出与匹配深度描述符对距离最小的两个非匹配的深度描述符，并计算深度描述符之间的距离，通过距离计算损失进行反向传播，优化模型参数，完成模型训练；
8、s4：使用训练完的深度描述符提取模型根据检测到的特征点构建深度描述符，并利用最邻近匹配算法进行最邻近匹配，获得初始匹配结果；
9、s5：对步骤s4获得的初始匹配结果使用去粗取精策略剔除误匹配，所述去粗取精策略剔除误匹配包括自适应阈值约束粗筛选和双ransac算法精筛选。
10、进一步地，步骤s1中，对光学和sar图像进行预处理并使用fast算法进行特征点检测的具体方法为：
11、s101：对光学和sar图像进行图像预处理；
12、s102：本文档来自技高网...
【技术保护点】
1.一种基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，步骤S1中，对光学和SAR图像进行预处理并使用Fast算法进行特征点检测的具体方法为：
3.根据权利要求1所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，所述深度倒残差全卷积神经网络包括七个阶段，第一阶段为一个3×3卷积层，第二阶段为一个倒残差结构，第三阶段、第四阶段、第五阶段、第六阶段和第七阶段为多个倒残差结构堆叠而成，第三阶段、第四阶段、第五阶段、第六阶段和第七阶段分别对倒残差结构自身堆叠2次、3次、4次、3次和3次。
4.根据权利要求1所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，所述倒残差结构根据步长的不同分为两种结构形式；步长为2的倒残差结构分为三个阶段，第一阶段为一个1×1的卷积层对输入进行升维，后跟批归一化层BN和激活函数Relu6，第二阶段为一个3×3的DW卷积层加上批归一化层BN和激活函数Relu6，第三阶段为1×1
5.根据权利要求1或4所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，所述的密集特征纯化模块包含一个步长为1的倒残差结构、密集特征融合层和L2范数归一化；深度倒残差全卷积神经网络输出的密集特征图经过密集特征纯化模块中的倒残差结构后会输出3D张量的密集特征，记作，即；所述密集特征融合层为一个7×7的卷积层和一个批归一化层BN组成，用于将特征空间的3D张量的密集特征融合在一个3D张量中，，其中3D张量的尺寸为，计算公式表示为：
6.根据权利要求1所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，步骤S3中，损失函数从深度描述符提取模型输出的深度描述符中找出与匹配深度描述符对距离最小的两个非匹配的深度描述符，并计算深度描述符之间的距离，通过距离计算损失进行反向传播，优化模型参数的具体方法为：将深度描述符提取模型输出的深度描述符通过距离构建距离矩阵，距离计算公式为：
7.根据权利要求1所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，步骤S4中，获得初始匹配结果的具体方法为：以步骤S1中检测到的特征点为中心获得图像块，然后将图像块输入深度描述符提取模型获得深度描述符，将获得的深度描述符进行归一化处理后，利用最邻近匹配算法进行匹配，得到深度描述符所对应的初始匹配结果。
8.根据权利要求1所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，通过最邻近匹配算法得到的初始匹配结果中含有欧式距离最邻近匹配点和次邻近匹配点，所述自适应阈值约束粗筛选在筛选出正确匹配对的过程中，若最邻近匹配点的距离远小于次邻近匹配点的距离，则认为对应的匹配对质量好，自适应阈值约束通过统计所有初始匹配对的最邻近匹配点和次邻近匹配点间欧式距离均值作为是否保留对应的匹配点的判断依据，欧式距离均值的计算公式为：
9.根据权利要求8所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，所述双RANSAC算法精筛选，首先，对经过自适应阈值约束粗筛选的匹配点使用RANSAC算法采用仿射变换模型进行误匹配点剔除；然后，再次使用RANSAC算法，利用单应矩阵作为几何模型，将满足几何一致性约束的特征点作为正确匹配点保留，得到正确的匹配点。
10.根据权利要求9所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，所述RANSAC算法是从一组含有错误的匹配点的数据中正确估计数学模型参数的迭代算法，随机采样K个匹配点，对所述K个匹配点进行拟合得到几何变换模型，计算除所述K个匹配点外的其它点到几何变换模型的距离，距离大于阈值则认为是错误匹配点，距离小于阈值则判断为正确匹配点，经过多次的迭代选择正确匹配最多的模型，即获得最终的匹配点。
...【技术特征摘要】
1.一种基于轻量化深度卷积网络的光学和sar图像匹配方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于轻量化深度卷积网络的光学和sar图像匹配方法，其特征在于，步骤s1中，对光学和sar图像进行预处理并使用fast算法进行特征点检测的具体方法为：
3.根据权利要求1所述的基于轻量化深度卷积网络的光学和sar图像匹配方法，其特征在于，所述深度倒残差全卷积神经网络包括七个阶段，第一阶段为一个3×3卷积层，第二阶段为一个倒残差结构，第三阶段、第四阶段、第五阶段、第六阶段和第七阶段为多个倒残差结构堆叠而成，第三阶段、第四阶段、第五阶段、第六阶段和第七阶段分别对倒残差结构自身堆叠2次、3次、4次、3次和3次。
4.根据权利要求1所述的基于轻量化深度卷积网络的光学和sar图像匹配方法，其特征在于，所述倒残差结构根据步长的不同分为两种结构形式；步长为2的倒残差结构分为三个阶段，第一阶段为一个1×1的卷积层对输入进行升维，后跟批归一化层bn和激活函数relu6，第二阶段为一个3×3的dw卷积层加上批归一化层bn和激活函数relu6，第三阶段为1×1的卷积层和线性层加上批归一化层bn；步长为1的倒残差结构分为四个阶段，第一阶段为一个1×1的卷积层对输入进行升维，后跟批归一化层bn和激活函数relu6，第二阶段为一个3×3的dw卷积层加上批归一化层bn和激活函数relu6，第三阶段为1×1的卷积层和线性层加上批归一化层bn，第四阶段将输入特征图和第三阶段输出的特征图在特征通道上进行拼接；所述的dw卷积层为一个卷积核负责一个通道，一个通道只被一个卷积核卷积，dw卷积层能大幅减少网络的模型参数使模型轻量化；根据倒残差结构生成特征图的计算公式如下：
5.根据权利要求1或4所述的基于轻量化深度卷积网络的光学和sar图像匹配方法，其特征在于，所述的密集特征纯化模块包含一个步长为1的倒残差结构、密集特征融合层和l2范数归一化；深度倒残差全卷积神经网络输出的密集特征图经过密集特征纯化模块中的倒残差结构后会输出3d张量的密集特征，记作，即；所述密集特征融合层为一个7×7的卷积层和一个批归一化层bn组成，用于将特征空间的3d张量的密集特征融合在一个3d张量中，，其中3d张量的尺寸为，...
【专利技术属性】
技术研发人员：何海清，余师寻，夏元平，周福阳，
申请(专利权)人：东华理工大学南昌校区，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。