一种基于联合注意力孪生网络的遥感图像融合分类方法技术

本发明专利技术公开了一种基于联合注意力孪生网络的遥感图像融合分类方法，包括以下步骤：将高光谱和多光谱图像作为数据集进行处理；构建孪生网络模块，提取高光谱和多光谱图像的共性特征；将孪生网络的输出特征作为联合注意力模块的输入，实现特征降维；添加自注意力模块进行加权操作；将多层卷积网络输出的特征图与注意力模块得到的增强特征进行连接，并添加互注意力模块；将两部分多层卷积网络提取出的高光谱和多光谱图像特征进行融合，通过全连接层进行分类，获取遥感图像的分类结果。本发明专利技术的方法，可以有效提取高光谱和多光谱图像的共性特征，而且通过联合注意力模块使得图像各自的光谱和空间信息得到增强，进而提高融合分类效果。果。果。

【技术实现步骤摘要】
一种基于联合注意力孪生网络的遥感图像融合分类方法


[0001]本专利技术属于遥感图像分类应用，涉及一种基于联合注意力孪生网络的遥感图像融合分类方法。

技术介绍

[0002]遥感图像分类是指基于不同遥感图像的分类识别任务，是遥感领域的关键组成部分，被广泛应用于自然灾害预防、城乡规划等领域。现阶段遥感领域发展迅猛，多传感器并存，为遥感行业的发展提供了有力的保障。
[0003]光学遥感影像具有分辨率高、覆盖范围广和成本低等优点，利用遥感影像进行地物分类多基于光学影像，但当前的遥感应用大多基于单一数据源，未能充分利用多源传感器的综合信息。同一场景的多源遥感图像所观测的地物类型相同，但由于传感器不同，成像机制和物理含义不同，多源信息间存在差异性、冗余性、互补性和协作性，多源遥感图像的融合能够综合利用不同来源获取的地物信息，做到更全面、更具针对性的对地观测，因此多源遥感图像的融合成为遥感图像分类的热点发展方向之一。
[0004]由于存在上述问题，针对多源遥感图像融合分类依据提出一些算法，但是效果仍没有达到最佳，性能提升空间很大，因此多源遥感本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联合注意力孪生网络的遥感图像融合分类方法，其特征在于，包括以下步骤：步骤一、将同一区域的高光谱图像和多光谱图像作为数据集进行处理，并划分训练集、测试集和验证集：步骤101、对多光谱遥感图像和高光谱遥感图像进行配准和标注，并将配准好的图像和标注图像的像素点划分为k
×
k的像素块大小，利用中心点相邻的像素点特征信息来增强判别能力；步骤102、对划分好的像素块进行随机分割，构建训练集、测试集和验证集，输入到孪生网络模块；步骤二、构建孪生网络模块，提取高光谱图像和多光谱图像的共性特征：步骤201、构建卷积神经网络ResNet
‑
101，包括五个卷积模块，分别为Conv1
‑
x、Conv2
‑
x、Conv3
‑
x、Conv4
‑
x、Conv5
‑
x；步骤202、采用双分支ResNet
‑
101网络作为孪生网络，分别对高光谱图像和多光谱图像进行特征提取，生成局部特征F
h
和F
m
，特征提取器之间共享参数，使得模型能够获得更一致的特征图对，并且模型的网络参数也极大减少；步骤三、将孪生网络的输出特征作为联合注意力模块的输入，实现特征降维：步骤301、构建卷积神经网络作为联合注意力模块，共包含两部分多层卷积网络H
‑
Net和M
‑
Net，每部分均由两分支三层卷积网络组成，分别为光谱注意力分支和空间注意力分支；步骤302、F
h
作为H
‑
Net的输入，用于实现高光谱图像的特征降维，光谱注意力分支和空间注意力分支均包含Conv1
‑
h、Conv2
‑
h、Conv3
‑
h三个卷积层，通过CNN实现特征降维，输出降维后的特征图分别为C
h1
、C
h2
、C
h3
和S
h1
、S
h2
、S
h3
；步骤303、F
m
作为M
‑
Net的输入，用于实现多光谱图像的特征降维，光谱注意力分支和空间注意力分支均包含Conv1_m、Conv2_m、Conv3_m三个卷积层，通过CNN实现特征降维，输出降维后的特征图分别为C
m1
、C
m2
、C
m3
和S
m1
、S
m2
、S
m3
；步骤四、添加自注意力模块进行加权操作，使网络更多关注有效信息：步骤401、将H
‑
Net中空间注意力分支第一个卷积层的输出S
h1
作为空间注意力模块的输入，其中C为通道数，H为图像像素高度，W为图像像素宽度，通过三个卷积层得到三个新的特征Q
h1
、K
h1
和V
h1
，将维度转化为其中N＝H
×
W，N为像素数，在K
h1
和Q
h1
之间进行矩阵乘法，并通过softmax层得到空间注意力图H1，步骤402、在V
h1
和H1之间...

【专利技术属性】
技术研发人员：蒋雯，周琳，耿杰，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：