基于可变形-扩张卷积金字塔特征的高光谱图像分类方法技术

本发明专利技术公开了一种基于可变形

【技术实现步骤摘要】
基于可变形
‑
扩张卷积金字塔特征的高光谱图像分类方法


[0001]本专利技术涉及遥感信息处理
，特别涉及一种基于可变形
‑
扩张卷积金字塔特征的高光谱图像分类方法
。

技术介绍

[0002]高光谱图像是一个包含光谱和空间信息的数据立方体，它能获得地表物体的上百个连续谱段的信息，可以提供丰富的光谱信息来增强对不同地物类型的区分能力
。
由于高光谱图像的维度高，并包含丰富的光谱信息，因此有效地利用这些信息以实现准确的分类结果是至关重要的
。
高光谱图像分类是一种将每个像素点赋予特定类别的任务，该任务属于像素级分类，在许多领域中发挥着关键作用，如遥感
、
地质勘探和环境监测等
。
随着深度学习的不断发展，三维卷积神经网络
(three
‑
dimensional convolution neural network,3DCNN)
被成功应用到高光谱图像分类中，并具有一定的优势
。
[0003]现有的高光谱图像分类方法中主要存在以下问题：
1、
由于普通卷积感受野有限且形状大小固定，往往只能提取局部特征，无法有效地提取全局特征
。2、
不能顾及到图像边缘地物的实际分布形状，提取的分类特征不能很好的描述对应地物，往往造成边缘部分有较多分类“椒盐噪声”。3、
不能有效地提取真实环境下高光谱图像的多尺度特征
。
上述问题导致高光谱图像不能得到较好的表达致使分类精度不高
。
针对以上问题，本专利技术提出一种基于可变形
‑
扩张卷积金字塔特征的高光谱图像分类方法
。
[0004]与本专利技术相关的现有技术
[0005]3DCNN
：假设高光谱图像含有
c
个不同类别的样本，每个类别中选取出一定的训练样本构成训练集
。3DCNN
的核心思想是通过堆叠的三维卷积层来构建网络，通过滑动一个三维的卷积核在高光谱图像上进行卷积操作，从而提取局部特征
。
然后，经过一系列的卷积操作后，使用全连接层将提取到的特征映射到对应的类别概率上
。
最后，通过选取预测概率最大值的类别的索引来确定高光谱图像的分类结果
。
[0006]现有技术的缺点
[0007]1、
由于普通卷积感受野有限且形状大小固定，往往只能提取局部特征，无法有效地提取全局特征
。
[0008]2、
不能顾及到图像边缘地物的实际分布形状，提取的分类特征不能很好的描述对应地物，往往造成边缘部分有较多分类“椒盐噪声”。
[0009]3、
不能有效地提取真实环境下高光谱图像的多尺度特征
。
[0010]上述问题导致高光谱图像不能得到较好的表达致使分类精度不高
。

技术实现思路

[0011]本专利技术针对现有技术的缺陷，提供了一种基于可变形
‑
扩张卷积金字塔特征的高光谱图像分类方法
。
通过应用金字塔特征提取对图像中的空间信息进行充分利用，通过在不同阶段使用由不同卷积核大小的可变形卷积和不同扩张率的扩张卷积组成的双支模块，
在卷积过程中适应地物分布形状，提取有效特征，充分实现多尺度的上下文聚合，通过利用卷积和
Transformer
结合，充分提取高光谱图像的局部和全局特征
。
[0012]为了实现以上专利技术目的，本专利技术采取的技术方案如下：
[0013]一种基于可变形
‑
扩张卷积金字塔特征的高光谱图像分类方法，包括以下步骤：
[0014]S1、
读入高光谱图像
(hyperspectral image classification,HSI)
数据
。
[0015]读入原始
HSI
数据其中
h
和
w
是空间大小，
l
是光谱带数
。
[0016]S2、
通过主成分分析
(principal components analysis,PCA)
进行降维
。
[0017]采用
PCA
来处理原始
HSI
数据，将光谱带数从
l
减少到
b
，同时保持空间维度不变
。
经过
PCA
降维之后的
HSI
数据为其中
b
是经过
PCA
之后的光谱带数量
。
[0018]S3、
对降维之后的图像进行分块处理
。
[0019]经过
PCA
降维之后，对
HSI
数据
I
pca
进行分块，其中
s
×
s
表示分块窗口大小
。
[0020]S4、
构建训练集和测试集
。
[0021]抽取一定比例的带标签的样本图像块作为训练集，剩余的带标签的样本图像块作为测试集，比例的大小可以根据实际情况设置
。
[0022]S5、
通过局部卷积模块进行预处理
。
[0023]将待处理图像块
P
process
先经过一个卷积核为3×
3、
步长为2的卷积进行下采样，然后经过一个3×3，步长为1的卷积，再经过一个3×3，步长为1的卷积进行预处理，得到输出
I
G
。
[0024]S6、
通过金字塔特征提取模型进行多尺度特征提取
。
金字塔特征提取模型包括三层不同尺度的特征提取，每层特征提取均通过由不同卷积核大小的可变形卷积块和不同扩张率的扩张卷积块构成的并行双支结构，三层特征提取的三个输出分别经过3×3卷积进行空间维度的统一，然后进行相加，最终得到金字塔特征提取模型的输出
。
[0025]S7、
通过
Transformer
模块进行全局特征提取
。
通过使用
Transformer
块对全局信息进行提取
。
[0026]S8、
通过全连接层获取类别预测概率
。Transformer
块的输出经过全局平均池化，再经过一个升维的全连接层
、GELU
激活函数
、
一个降维的全连接层，输出是数据集的地物类别数
。
[0027]S9、
模型训练及参数更新
。
将训练样本对应的图像块经过步骤
S5
至步骤
S8
处理，利用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于可变形
‑
扩张卷积金字塔特征的高光谱图像分类方法，其特征在于，包括以下步骤：
S1、
读入高光谱图像
(hyperspectral image classification,HSI)
数据；读入原始
HSI
数据其中
h
和
w
是空间大小，
l
是光谱带数；
S2、
通过主成分分析
(principal components analysis,PCA)
进行降维；采用
PCA
来处理原始
HSI
数据，将光谱带数从
l
减少到
b
，同时保持空间维度不变；经过
PCA
降维之后的
HSI
数据为其中
b
是经过
PCA
之后的光谱带数量；
S3、
对降维之后的图像进行分块处理；经过
PCA
降维之后，对
HSI
数据
I
pca
进行分块，其中
s
×
s
表示分块窗口大小；
S4、
构建训练集和测试集；抽取一定比例的带标签的样本图像块作为训练集，剩余的带标签的样本图像块作为测试集，比例的大小可以根据实际情况设置；
S5、
通过局部卷积模块进行预处理；将待处理图像块
P
process
先经过一个卷积核为3×
3、
步长为2的卷积进行下采样，然后经过一个3×3，步长为1的卷积，再经过一个3×3，步长为1的卷积进行预处理，得到输出
I
G
；
S6、
通过金字塔特征提取模型进行多尺度特征提取；金字塔特征提取模型包括三层不同尺度的特征提取，每层特征提取中均通过由不同卷积核大小的可变形卷积块和不同扩张率的扩张卷积块构成的并行双支结构，三层特征提取的三个输出分别经过3×3卷积进行空间维度的统一，然后进行相加，最终得到金字塔特征提取模型的输出；
S7、
通过
Transformer
模块对全局特征进行提取；
S8、
通过全连接层获取类别预测概率；
Transformer
块的输出经过全局平均池化，再经过一个升维的全连接层
、GELU
激活函数
、
一个降维的全连接层，输出是数据集的地物类别数；
S9、
模型训练及参数更新；将训练样本对应的图像块经过步骤
S5
至步骤
S8
处理，利用整个网络来逐步更新模型的参数，在反复迭代过程中，使用交叉熵损失函数进行监督，使用自适应矩估计对损失函数进行优化，不断更新并保存最优的模型权重；
S10、
确定样本的分类结果；使用训练得到的最佳模型权重在测试样本对应的图像块上进行预测，通过
argmax
函数寻找每个预测结果中概率最高的类别的索引，最终输出高光谱图像分类结果
Y。2.
根据权利要求1所述的一种基于可变形
‑
扩张卷积金字塔特征的高光谱图像分类方法，其特征在于：
S6
中金字塔特征提取模型的第一层特征提取，包括以下步骤：6‑1‑
1、
图像块
P
process
经过一次平均池化，得到输出
I
P1
；6‑1‑
2、
池化的输出
I
P1
和局部卷积模块的输出
I
G
进行拼接操作；6‑1‑
3、
步骤6‑1‑2的输出经过卷积核为3×3，步长为2的可变形卷积进行下采样
,
得到输出
X
D1
，如式
(1)
所示：其中表示
concat
操作，
DDown
表示可变形下采样；
6
‑1‑
4、X
D1
送入可变形扩张多尺度双支模块
A
，得到第一层特征提取的输出
3.
根据权利要求2所述的一种基于可变形
‑
扩张卷积金字塔特征的高光谱图像分类方法，其特征在于：可变形扩张多尺度双支模块
A
包括一个可变形卷积支路
A
和一个扩张卷积支路
A
，具体如下：可变形卷积支路
A
：可变形卷积支路
A
包括两个串联的可变形卷积块，可变形卷积块是由可变形卷积
、
批归一化层
、1
×1卷积
、GELU
激活函数
、1
×1卷积依次串联，同时最后一个1×1卷积的输出与卷积块的输入进行相加形成残差连接；可变形卷积
DFconv
k
可由下面式子
(2)
得到：其中，
k
表示可变形卷积的卷积核大小为
k
×
k
，
Δ
m
n
为偏移量，
n
＝
{1,
…
,N}
，其中
N
是集合
A
的元素个数，
A
定义了可变形卷积核大小，
m
n
表示卷积核
A
中的每个值，
w(m
n
)
为卷积权值，
m0表示对输入特征进行卷积的中心位置；
x(
·
)
通过双线性插值计算得到，如式
(3)
：其中，
M
＝
m0+m
n
+
Δ
m
n
，
q
表示特征
x
中的所有位置，
G(
·
)
表示一个二维函数，是两个一维函数的乘积，如式
(4)
：
G(q,M)
＝
g(q
x
,M
x
)
·
g(q
y
,M
y
)
ꢀꢀꢀꢀꢀ
(4)
其中，一维函数
g(a,b)
＝
max(0,1
‑
|a
‑
b|)
，
a
和
b 是一维函数的变量；扩张卷积支路
A
：扩张卷积支路
A
包括两个串联的扩张卷积块，扩张卷积块是由扩张卷积
、
批归一化层
、1
×1卷积
、GELU
激活函数
、1
×1卷积依次串联，同时最后一个1×1卷积的输出与卷积块的输入进行相加形成残差连接；扩张卷积
DLconv
r
可由下面式子
(5)
得到：其中，
j
枚举卷积核中的每个位置，
J
为扩张卷积核的大小，
F[j]
表示卷积权值，
r
表示卷积的扩张率；最后，可变形卷积支路
A
和扩张卷积支路
A
的输出进行相加，得到第一层特征提取的输出
4.
根据权利要求3所述的一种基于可变形
‑
扩张卷积金字塔特征的高光谱图像分类方法，其特征在于：可变形扩张多尺度双支模块
A
整个过程由下面式子
(6)
‑
(8)
表示：
DF
k
(X
D1
)
＝
X
D1
+LinearG(BN(DFconv
k
(X
D1
)))
ꢀꢀꢀꢀꢀꢀꢀ
(7)DL
r
(X
D1
)
＝
X
D1
+LinearG(BN(DLconv
r
(X
D1
)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
其中
DF
k
表示可变形卷积块，
DL
r
表示扩张卷积块，
LinearG
表示带有
GELU
的两个1×1卷积，
BN
表示批归一化层；
DFconv
k
表示卷积核大小为
k
×
k
的可变形卷积，
DLconv
r
表示扩张率为
r
的扩张卷积；在第一层特征提取，可变形卷积支路
A
串...

【专利技术属性】
技术研发人员：杨京辉，黎安奇，覃佳，
申请(专利权)人：中国地质大学北京，
类型：发明
国别省市：