【技术实现步骤摘要】
本专利技术涉及高光谱图像分类，具体涉及一种基于超级词元transformer的高光谱图像分类方法及装置。
技术介绍
1、vision transformer(vit)由于其优秀的全局建模能力在高光谱图像分类领域表现突出，然而最近的研究发现，transformer模型中浅层的全局注意力计算都集中在几个特定的词元(token)上而忽视了其它相距较远的词元，这说明transformer模型中的注意力计算是具有较高冗余度的。
2、sun等人提出spectral-spatial feature tokenization transformer(ssftt)网络用于高光谱图像分类，利用主成分分析技术(pca)将高光谱图像进行数据压缩，将压缩数据连续送入三维卷积层和二维卷积层来提取浅层特征，最后将特征图序列化后送入transformer编码器中；mei等人提出了group-aware hierarchical transformer网络，通过组像素嵌入(grouped pixel embedding，gpe)来对高光谱图像进行局部特征编码，将编码后的特征图送入到transformer编码器，重复上述过程构建了一个分层的transformer网络用于高光谱图像分类。
3、一方面，经过卷积后的特征图直接送入到transformer编码器中的做法会导致词元序列过长，从而加大计算开销。具有上百个通道的高光谱图像数据具有高度冗余的特性，将原始的光谱特征直接转换为词元序列后可能存在一定的冗余性，降低了transformer编码器提
技术实现思路
1、专利技术目的：为了克服以上不足，本专利技术的目的是提供一种基于超级词元transformer的高光谱图像分类方法及装置，利用计算词元与其周围词元的关系将多个邻近词元转换为一个超级词元，该策略大幅度减少了输入到多头自注意力计算的序列长度，使transformer模型能够捕捉到一种更高效的全局注意力关系，从而提升高光谱图像分类效率和精度。
2、一方面，本专利技术提供了一种基于超级词元transformer的高光谱图像分类方法，包括以下步骤：
3、给定原始hsi数据i，并将原始hsi数据i切分成hsi图像块x’；
4、将x’输入网络后，利用3×3卷积层调整维度得到特征图x；
5、将x输入到超级词元transformer编码器中，其中，超级词元transformer编码器包括卷积位置嵌入模块、超级词元注意力模块与卷积前馈网络模块，利用卷积位置嵌入模块将输入x进行局部信息编码，输出xout，将xout进行层标准化和平均池化得到初始超级词元s0；
6、计算xout与初始超级词元s0的关联映射矩阵q；
7、利用关联映射矩阵q对xout进行加权，得到更新后的超级词元s；
8、将超级词元s进行自注意力计算，利用关联映射矩阵q来对注意力图进行上采样，得到最终注意力图y；
9、将y进行批归一化后送入到卷积前馈网络模块中得到超级词元transformer编码器的输出z；
10、特征图z通过3×3卷积层进行下采样后再输入到下一个超级词元transformer编码器中，经过此编码器后仍通过3×3卷积层进行下采样；
11、将下采样后的特征图依次通过逐点卷积层和平均池化层后利用全连接层进行分类。
12、优选地，原始hsi数据i与hsi图像块x’还包括：
13、原始hsi数据i∈rm×n×l，其中，m×n为空间大小，l为光谱波段数；
14、hsi图像块x'∈rp×p×l，其中，p×p为输入数据空间大小，每个块的中心像素的土地覆盖类别为x’的标签。
15、优选地，通过3×3的卷积层调整hsi块x’的维度：
16、利用168个大小为3×3的卷积核来调整维度得到特征图x∈rp×p×168。
17、优选地，利用卷积位置嵌入模块对x进行局部信息编码：
18、卷积位置嵌入模块包括大小为3×3的深度可分离卷积和残差连接，计算公式为：
19、xout＝cpe(x)+x；
20、其中，x为卷积位置嵌入模块的输入，xout为输出。
21、优选地，初始超级词元s0的计算方法：
22、将xout进行层标准化后按照超级词元尺寸s1进行平均池化，计算公式为：
23、s0＝avgpool(ln(xout))；
24、其中，avgpool为平均池化操作，ln为层标准化。
25、优选地，计算xout与初始超级词元s0的关联映射矩阵q，计算公式为：
26、
27、其中，d为通道数，softmax是一种常用的类别概率分布函数，xout为输入，s0t为初始超级词元的转置。
28、优选地，通过关联映射矩阵q对xout进行加权，得到超级词元s，计算公式为：
29、s＝qtxout；
30、其中，qt为关联映射矩阵的转置矩阵。
31、优选地，将更新后的超级词元进行自注意力计算，可由下式得到：
32、
33、其中，q(s),k(s),v(s)为超级词元s分别经过三个逐点卷积后的结果，d为通道数。
34、优选地，利用关联映射矩阵q来对注意力图进行上采样得到特征图y，计算公式为：
35、y＝qattn(s)；
36、优选地，将上采样后的特征图y批归一化后通过卷积前馈网络增强局部表示,具体做法是先用逐点卷积将维度扩大四倍，再通过维度不变的深度可分离卷积，最后利用逐点卷积将维度压缩回原来的维度，可由下式得到：
37、z＝convffn(bn(y))+y；
38、其中，convffn为卷积前馈网络模块，bn为批归一化，y为卷积前馈网络输入；
39、优选地，通过3×3卷积层对z进行下采样后再次输入到下一个超级词元transformer编码器中，经过此编码器后仍通过3×3卷积层进行下采样得到特征图z’，z’依次经过逐点卷积和平均池化得到分类特征，将分类特征经过全连接层得到最终分类结果，可由下式得到：
40、zout＝mlp(avgpool(pwconv(z')))；
41、其中，pwconv为逐点卷积，zout为最终输出，mlp为全连接层。
42、另一方面，本专利技术提供了一种基于超级词元transformer的高光谱图像分类装置，包括：
43、读取单元，用于读取高光谱图像；
44、搭建单元，用于搭建实验环境与网络模型，选择adam算法作为梯度优化器本文档来自技高网...
【技术保护点】
1.一种基于超级词元Transformer的高光谱图像分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的高光谱图像分类方法，其特征在于，将原始HSI数据I切分成HSI图像块X’：
3.根据权利要求1所述的高光谱图像分类方法，其特征在于，通过3×3的卷积层调整HSI块X’的维度：
4.根据权利要求1所述的高光谱图像分类方法，其特征在于，利用卷积位置嵌入模块对X进行局部信息编码：
5.根据权利要求1所述的高光谱图像分类方法，其特征在于，初始超级词元S0的计算方法：
6.根据权利要求1所述的高光谱图像分类方法，其特征在于，计算Xout与初始超级词元S0的关联映射矩阵Q，计算公式为：
7.根据权利要求1所述的高光谱图像分类方法，其特征在于，根据关联映射矩阵Q对Xout进行加权，得到超级词元计算公式为：
8.根据权利要求1所述的高光谱图像分类方法，其特征在于，将更新后的超级词元进行自注意力计算，公式为：
9.根据权利要求1所述的高光谱图像分类方法，其特征在于，利用关联映射矩阵Q来对注
10.根据权利要求1所述的高光谱图像分类方法，其特征在于，将上采样后的特征图Y批归一化后通过卷积前馈网络增强局部表示，具体做法是先用逐点卷积将维度扩大四倍，再通过维度不变的深度可分离卷积，最后利用逐点卷积将维度压缩回原来的维度，计算公式为：
11.根据权利要求1所述的高光谱图像分类方法，其特征在于，通过3×3卷积层对Z进行下采样后再次输入到下一个超级词元Transformer编码器中，经过此编码器后仍通过3×3卷积层进行下采样得到特征图Z’，Z’依次经过逐点卷积和平均池化得到分类特征，将分类特征经过全连接层得到最终分类结果，计算公式为：
...【技术特征摘要】
1.一种基于超级词元transformer的高光谱图像分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的高光谱图像分类方法，其特征在于，将原始hsi数据i切分成hsi图像块x’：
3.根据权利要求1所述的高光谱图像分类方法，其特征在于，通过3×3的卷积层调整hsi块x’的维度：
4.根据权利要求1所述的高光谱图像分类方法，其特征在于，利用卷积位置嵌入模块对x进行局部信息编码：
5.根据权利要求1所述的高光谱图像分类方法，其特征在于，初始超级词元s0的计算方法：
6.根据权利要求1所述的高光谱图像分类方法，其特征在于，计算xout与初始超级词元s0的关联映射矩阵q，计算公式为：
7.根据权利要求1所述的高光谱图像分类方法，其特征在于，根据关联映射矩阵q对xout进行加权，得到超级词元计算公式为：
8...
【专利技术属性】
技术研发人员：孟哲，张泰政，赵凤，陈改革，梁苗苗，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。