【技术实现步骤摘要】
本专利技术涉及高光谱图像分类，特别是涉及一种结合空谱语义学习和解耦transformer的高光谱图像分类方法及产品。
技术介绍
1、高光谱图像通常是由具有高光谱成像装置的无人机等飞行器拍摄的特殊图像，比普通图像包含有更多波段数和更高的分辨率，且在某一波段内可以连续成像，包含有地物大量的空间信息和光谱信息，在对地观测领域应用广泛，在经济、农业、环境监测方面具有重要作用。
2、然而，在高光谱图像分类领域，由于高光谱图像很强的时空异质性和丰富的光谱性，很难对覆盖范围广、多时相、多光谱、多分辨率的样本进行注释，由于人工标记困难和耗时的性质，通常很难获得大量的标记样本。因此，许多研究工作都集中在利用较少的标记样本构建高光谱图像分类的深度学习模型。
3、因此，亟需一种较少标记样本构建的高光谱图像分类方法。
技术实现思路
1、本专利技术提供一种结合空谱语义学习和解耦transformer的高光谱图像分类方法及产品，以解决利用较少的标记样本构建高光谱图像分类网络的问题。
2、第一方面，本专利技术实施例提出一种结合空谱语义学习和解耦transformer的高光谱图像分类方法，所述方法包括：
3、获取高光谱图像样本数据集；
4、将所述高光谱图像样本数据集划分为训练集和测试集；
5、对所述训练集进行数据增强处理，将训练集中每个训练样本扩充出样本对，其中，所述样本对包括大小不同的第一样本块和第二样本块；
6、建立光谱空间信
7、采用高斯语义嵌入模块对所述光谱空间信息特征进行映射，得到所述光谱信息特征的语义序列；
8、将所述语义序列和可学习分类token相连后，将位置信息通过编码嵌入至所述语义序列中，得到语义标记嵌入序列，将所述语义标记嵌入序列输入至解耦transformer模块中，对语义序列的深层关系进行建模，学习高层语义序列之间的相关性，采用全局平均池化层获取所述相关性的特征向量，得到压缩后的特征；
9、采用损失函数优化待训练的高光谱图像分类网络，得到高光谱图像分类网络；
10、将所述测试集输入至所述高光谱图像分类网络中，将相同像素中心的样本对基于所述高光谱图像分类网络中孪生网络的两个分支获得的特征进行预测，计算所述特征的概率类别，以最大概率对应的类别为最终分类结果，得到高光谱图像分类结果。
11、基于第一方面，所述数据增强处理为基于所述训练集中每个训练样本的像素中心点生成大小不同的第一样本块和第二样本块，将所述每个训练样本生成的第一样本块和第二样本块随机组合成大小不同的样本对。
12、基于第一方面，所述采用高斯语义嵌入模块对所述光谱空间信息特征进行映射，得到所述光谱空间信息特征的语义序列，包括：
13、采用高斯语义嵌入将输入的所述光谱空间信息特征映射至语义组；
14、对所述语义组进行转置处理，得到转置后的语义组；
15、采用聚焦函数聚焦所述语义组中的第一语义部分；
16、将所述第一语义部分与输入的光谱空间信息特征做乘积运算，得到所述光谱空间信息特征的语义序列。
17、基于第一方面，所述语义标记嵌入序列tin，定义如下:
18、
19、式中，为可学习分类标记，[t1,t2,...,tw]为语义序列，w为语义序列数，pepos为位置信息；
20、所述压缩后的特征xout，定义如下：
21、
22、式中，tout为解耦transformer模块输出的特征，w'为特征的块宽，h'为特征的块高，i和j为窗口大小索引，压缩后的特征表示为xout∈r1×k，k表示类别数。
23、基于第一方面，所述损失函数包括加权对比损失函数和自适应交叉熵损失函数；
24、所述加权对比损失函数通过获得对偶分支中所述特征的中心向量，对所述中心向量计算权值优化所述待训练的高光谱图像分类网络；
25、所述自适应交叉熵损失函数通过自适应参数对对偶分支中的特征进行融合得到融合后的向量，基于融合后的向量定义自适应交叉熵损失函数，并优化所述待训练的高光谱图像分类网络。
26、基于第一方面，所述损失函数l定义如下：
27、l＝lctr+lcre，
28、其中，所述加权对比损失函数lctr定义如下：
29、lctr(y,dpos,dneg)＝y×(1-w)×dpos+(1-y)×w×max(m-dneg,0)，
30、其中，所述自适应交叉熵损失函数lcre定义如下：
31、
32、式中，y＝1或y＝0，dpos为正样本对之间的距离，dneg为负样本对之间的距离，w为计算出的样本余弦距离，l1∈r1×k和l2∈r1×k是由两个特征x1和x2获取的中心向量，k表示类别数，和为对偶分支获得的两个特征，m为当dneg过大时防止负样本恶化的阈值，max(·)为最大值函数，为预测类别概率，yip1+ip2＝softmax(α×yip1+β×yip2)，p1和p2分别表示两个特征的大小，和为第i个样本由p1和p2大小的特征获得的特征向量，α和β为参数，表示1×k维向量，k表示类别数，n为样本总数。
33、基于第一方面，所述高光谱图像分类网络为s4dt网络，所述s4dt网络包括孪生网络的对偶分支；
34、其中，所述对偶分支的任一分支包括光谱空间信息提取模块，高斯语义嵌入模块和解耦transformer模块。
35、第二方面，本专利技术实施例提供一种结合空谱语义学习和解耦transformer的高光谱图像分类系统，所述系统包括：
36、获取模块，用于获取高光谱图像样本数据集；
37、划分模块，用于将所述高光谱图像样本数据集划分为训练集和测试集；
38、样本扩充模块，用于对所述训练集进行数据增强处理，将训练集中每个训练样本扩充出样本对，其中，所述样本对包括大小不同的第一样本块和第二样本块；
39、光谱空间信息特征提取模块，用于建立光谱空间信息提取模块，并将所述训练集的对应样本对分别输入至所述光谱空间信息提取模块中，提取样本对的光谱空间信息特征，其中，所述光谱空间信息提取模块由一维卷积和二维卷积构成；
40、语义序列获取模块，用于采用高斯语义嵌入模块对所述光谱空间信息特征进行映射，得到所述光谱信息特征的语义序列；
41、特征获取模块，用于将所述语义序列和可学习分类token相连后，将位置信息通过编码嵌入至所述语义序列中，得到语义标记嵌入序列，将所述语义标记嵌入序列输入至解耦transformer模块中，对语义序列的深层关系进行建模，学习高层语义序列之间的相关性，本文档来自技高网...
【技术保护点】
1.一种结合空谱语义学习和解耦Transformer的高光谱图像分类方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述数据增强处理为基于所述训练集中每个训练样本的像素中心点生成大小不同的第一样本块和第二样本块，将所述每个训练样本生成的第一样本块和第二样本块随机组合成大小不同的样本对。
3.根据权利要求1所述的方法，其特征在于，所述采用高斯语义嵌入模块对所述光谱空间信息特征进行映射，得到所述光谱空间信息特征的语义序列，包括：
4.根据权利要求1所述的方法，其特征在于，所述语义标记嵌入序列Tin，定义如下:
5.根据权利要求1所述的方法，其特征在于，所述损失函数包括加权对比损失函数和自适应交叉熵损失函数；
6.根据权利要求5所述的方法，其特征在于，所述损失函数L定义如下：
7.根据权利要求6所述的方法，其特征在于，所述高光谱图像分类网络为S4DT网络，所述S4DT网络包括孪生网络的对偶分支；
8.一种结合空谱语义学习和解耦Transformer的高光谱图像分类系统，其特征
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的结合空谱语义学习和解耦Transformer的高光谱图像分类方法。
...【技术特征摘要】
1.一种结合空谱语义学习和解耦transformer的高光谱图像分类方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述数据增强处理为基于所述训练集中每个训练样本的像素中心点生成大小不同的第一样本块和第二样本块，将所述每个训练样本生成的第一样本块和第二样本块随机组合成大小不同的样本对。
3.根据权利要求1所述的方法，其特征在于，所述采用高斯语义嵌入模块对所述光谱空间信息特征进行映射，得到所述光谱空间信息特征的语义序列，包括：
4.根据权利要求1所述的方法，其特征在于，所述语义标记嵌入序列tin，定义如下:
5.根据权利要求1所述的方法，其特征在于，所述...
【专利技术属性】
技术研发人员：刘帅，高木兰，邓力玮，梅达，蒋承骥，徐佳，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。