基于制造技术

本发明专利技术涉及一种基于

【技术实现步骤摘要】
基于Transformer和非局部神经网络双分支架构的高光谱图像分类方法


[0001]本专利技术涉及计算机视觉和图像处理
，尤其是一种基于
Transformer
和非局部神经网络双分支架构的高光谱图像分类方法
。

技术介绍

[0002]高光谱图像比普通图像具有更丰富的光谱空间信息
,
能充分反映地物特征
。
目前为止，高光谱图像广泛应用于环境管理
、
资源评估
、
城市发展检测
、
作物分析等领域，而高光谱图像分类则是这些应用的先决条件
。
在高光谱图像分类领域的早期研究中，主要采用机器学习方法来提取高光谱图像特征，其中包括
k
近邻法
、
贝叶斯估计法
、
多项逻辑回归法
、
支持向量机和随机森林等，此外，还发展了主成分分析
、
独立成分分析等多种降维和光谱特征提取方式，然而，这些方法忽略了像素之间在空间维度上相关性，未能充分利用空间特征
。
因此，又开发了多种形态学算子，如形态学轮廓和扩展多属性轮廓等方法，但这些机器学习方法存在一些缺陷，如特征提取能力不足和对不同高光谱图像场景的适用性差
。
[0003]近年来，深度学习的快速发展成功地打破了传统提取技术的局限性，它可以自动从数据中提取深层次特征，在计算机视觉方面取得了重大进展
。
到目前为止，已经有很多深度学习模型用于高光谱图像分类的研究，其中卷积神经网络
CNN
具有局部感知和参数共享的特点，同时在学习特征的时能保留原有结构，并大大减少网络参数的数量，正是这些显著的优势使
CNN
在高光谱图像分类任务中表现出了较好的性能，得到了广泛的关注
。
虽然基于
CNN
高光谱分类方法可以有效提取光谱和空间信息，但
CNN
的卷积操作在处理输入内容时通常呈现出一种平等的趋势，但光谱和空间特征往往对分类的贡献存在差异
。
并且
CNN
卷积操作主要关注局部邻域的特征提取，对于像素之间的长距离依赖关系能力有限
。
这使得
CNN
在处理具有复杂的空间布局和结构的高光谱图像时可能存在一定的局限性
。
[0004]总结而言，尽管深度学习方法在高光谱图像分类领域取得了显著的进展，但需要认识到高光谱图像通常具有高维度的特点
。
这导致了模型的复杂性增加，训练变得更加困难，同时需要更多的计算资源和数据才能获得令人满意的结果
。
这些挑战需要在未来的研究中得到更好的解决，以进一步推动高光谱图像分类技术的发展和应用
。

技术实现思路

[0005]为克服
CNN
无法有效处理像素之间的长距离依赖关系以及高光谱维度问题，本专利技术的目的在于提供一种有效处理像素之间的长距离依赖关系来提高中心像素识别，缓解高光谱图像的维度问题，增强模型对光谱特征的理解能力的基于
Transformer
和非局部神经网络双分支架构的高光谱图像分类方法
。
[0006]为实现上述目的，本专利技术采用了以下技术方案：一种基于
Transformer
和非局部神经网络双分支架构的高光谱图像分类方法，该方法包括下列顺序的步骤：
[0007](1)
输入高光谱图像
H∈R
h
×
w
×
b
，其中，
h、w
和
b
分别为数据集的长度
、
宽度和波段数；
[0008](2)
对输入的高光谱图像
H
进行双分支处理：先将高光谱图像
H
通过主成分分析降维为
H
pca
∈R
h
×
w
×
b'
，其中，
b'
为降维后的波段；再将
H
pca
裁剪成多个立方块
H
sp
，将多个立方块
H
sp
依次输入空间子网络；取
H
的光谱信息
H
spe
作为光谱子网络的输入；
[0009](3)
对于输入空间子网络的多个立方块
H
sp
，先经过一个二维卷积层用于保证足够的输入信息，再使用空间注意力模块实现全局与局部特征融合，最后经过全局二维平均池化得到一维空间特征；
[0010](4)
输入光谱子网络的光谱信息
H
spe
经过
Transformer
模块得到一维光谱特征；
[0011](5)
构建多层感知器模块将提取的一维空间特征和一维光谱特征进行融合，得到分类结果
。
[0012]所述步骤
(3)
具体包括以下步骤：
[0013](3a)
所述二维卷积层包括二维卷积
、
批归一化层和
Mish
激活函数，输入空间子网络的多个立方块
H
sp
先经过一个二维卷积，其卷积核为3×3；再经过批归一化层缓解梯度消失和梯度爆炸问题，增强网络的泛化能力，再经过
Mish
激活函数增加网络的非线性能力；
[0014](3b)
在二维卷积层后加入空间注意力模块以融合全局和局部特征，增强特征表示；空间注意力模块使用两个模块来提取特征，所述两个模块分别为余弦和高斯欧几里得相似自注意力模块
、
尺度信息提取模块，使用余弦和高斯欧几里得相似自注意力模块提取全局特征，然后经过尺度信息提取模块提取局部特征；
[0015](3c)
余弦和高斯欧几里得相似自注意力模块的输入为二维卷积层的输出
X∈R
s
×
s
×
c
，其中，
s
×
s
为空间大小，
c
为通道数，将
X
的中心像素表示为
X
i
∈R
1X1
×
c
，周围像素
X
i
，
t
＝
[X
i
，1，
X
i
，2，
X
i
，3，
X
i
，4，
...
，
X
i
，
n
]，
n
＝
s
×
s
；中心像素
X
i
和周围像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
Transformer
和非局部神经网络双分支架构的高光谱图像分类方法，其特征在于：该方法包括下列顺序的步骤：
(1)
输入高光谱图像
H∈R
h
×
w
×
b
，其中，
h、w
和
b
分别为数据集的长度
、
宽度和波段数；
(2)
对输入的高光谱图像
H
进行双分支处理：先将高光谱图像
H
通过主成分分析降维为
H
pca
∈R
h
×
w
×
b
′
，其中，
b
′
为降维后的波段；再将
H
pca
裁剪成多个立方块
H
sp
，将多个立方块
H
sp
依次输入空间子网络；取
H
的光谱信息
H
spe
作为光谱子网络的输入；
(3)
对于输入空间子网络的多个立方块
H
sp
，先经过一个二维卷积层用于保证足够的输入信息，再使用空间注意力模块实现全局与局部特征融合，最后经过全局二维平均池化得到一维空间特征；
(4)
输入光谱子网络的光谱信息
H
spe
经过
Transformer
模块得到一维光谱特征；
(5)
构建多层感知器模块将提取的一维空间特征和一维光谱特征进行融合，得到分类结果
。2.
根据权利要求1所述的基于
Transformer
和非局部神经网络双分支架构的高光谱图像分类方法，其特征在于：所述步骤
(3)
具体包括以下步骤：
(3a)
所述二维卷积层包括二维卷积
、
批归一化层和
Mish
激活函数，输入空间子网络的多个立方块
H
sp
先经过一个二维卷积，其卷积核为3×3；再经过批归一化层缓解梯度消失和梯度爆炸问题，增强网络的泛化能力，再经过
Mish
激活函数增加网络的非线性能力；
(3b)
在二维卷积层后加入空间注意力模块以融合全局和局部特征，增强特征表示；空间注意力模块使用两个模块来提取特征，所述两个模块分别为余弦和高斯欧几里得相似自注意力模块
、
尺度信息提取模块，使用余弦和高斯欧几里得相似自注意力模块提取全局特征，然后经过尺度信息提取模块提取局部特征；
(3c)
余弦和高斯欧几里得相似自注意力模块的输入为二维卷积层的输出
X∈R
s
×
s
×
c
，其中，
s
×
s
为空间大小，
c
为通道数，将
X
的中心像素表示为
X
i
∈R1×1×
c
，周围像素
X
i
，
t
＝
[X
i
，1，
X
i,2
，
X
i
，3，
X
i,4
，
...
，
X
i,n
】
，
n
＝
s
×
s
；中心像素
X
i
和周围像素的高斯欧几里得相似性
G
i,t
和余旋相似性
C
i
，
t
的计算公式分别为：的计算公式分别为：其中，
GESim(X
i
，
X
i,t
)
为计算高斯欧几里得相似性，
CosSim(X
i
，
X
i,t
)
为计算余弦相似性，
σ
影响相似性衰减的速率；
t
为周围像素坐标的索引；当
G
i
，
t
和
C
i
，
t
的值趋近于1时，意味着
X
i
、X
i
，
t
的相似性较高；反之，当值趋近于0时，相似性逐渐减小；再利用
softmax
函数进一步归一化，由相应的相似性矩阵分别得到高斯欧氏距离自相似注意图
GaEd∈R
s
×
s
和余弦自相似注意图
Cos∈R
...

【专利技术属性】
技术研发人员：赵晋陵，王家界，黄林生，阮超，雷雨，黄文江，梁栋，
申请(专利权)人：安徽大学，
类型：发明
国别省市：