【技术实现步骤摘要】
本专利技术涉及图像识别，具体涉及基于动态卷积transformer的高光谱图像分类方法、系统、计算机介质及计算机。
技术介绍
1、高光谱成像技术是一种能够在数百甚至数千个连续窄波段范围内捕获地物反射信息的先进成像技术；高光谱图像中每个像素点所包含的丰富光谱信息能够提供关于被观测物体化学成分、组织结构和生理状态等方面的重要信息。高光谱图像分类的主要问题是如何有效地挖掘和利用高光谱图像中复杂的光谱信息和空间信息，精确的识别图像中每一个像素对应的地物类别。
2、目前，现有的高光谱图像分类包括：
3、1、用于高光谱图像分类的混合型网络结构ssftt，该模型首先通过混合卷积架构提取浅层高光谱特征，然后将获得的特征送入transformer编码器提取更具有表示性的分类特征；首先，构建空谱特征提取模块提取浅层次特征，该模块由三维卷积层和二维卷积层组成；其次，引入高斯加权特征表征器(gwft)进行特征变换；再次，将变换后的序列特征输入到transformer编码器模块中进行特征表示和学习；最后，使用线性层识别序列中第一个可学习的分类token以获得样本标签；
4、2、利用spectralformer网络将transformer用于高光谱图像分类，该网络利用transformer的优势，使用组间光谱嵌入(gse)方法，以分组的方式从邻近的高光谱图像波段中学习局部光谱序列信息。
5、然而，目前现有的基于transformer的高光谱图像分类方法通常首先需要将高光谱图像进行序列化，然后利用transfo
6、因此，目前亟需一种能够通过联合动态卷积和高斯加权方法将高光谱图像数据转化为transformer模型能够处理的序列格式，实现内容自适应的特征提取的高光谱图像分类方法。
技术实现思路
1、专利技术目的：为了克服以上不足，本专利技术的目的是提供一种基于动态卷积transformer的高光谱图像分类方法，其基于动态卷积的token生成方法能够提取更具判别性的表示特征，实现内容自适应的特征提取。
2、为解决上述技术问题，本专利技术提供了基于动态卷积transformer的高光谱图像分类方法，包括：
3、步骤s1：根据输入的高光谱图像，提取各个滑动窗口中的图像块，进而以图像块中心像素的类标作为整个图像块的类标；
4、步骤s2：根据所有存在标签的图像块，随机选择预设比例的图像块作为训练集和测试集；
5、步骤s3：构建高光谱图像分类模型，包括：(1)通过二维卷积层对图像块进行降维处理，同时提取浅层空谱特征，进而进行批归一化操作；(2)通过动态卷积层和高斯加权完成动态卷积token嵌入，进而将深度语义token序列输入transformer编码器进行长距离特征依赖关系的挖掘；(3)通过全局平均池化层将transformer编码器提取的特征降维为一维特征向量，进而根据所述特征向量，利用全连接层进行标签预测；
6、步骤s4：训练所述高光谱图像分类模型，进而根据所述高光谱图像分类模型，对高光谱图像进行内容自适应的特征提取；
7、步骤s5：模型测试，在将模型训练完成后，使用训练好的模型来对测试样本进行预测，将测试样本输入到网络中，通过前向传播过程，得到每个样本的预测结果。
8、作为本专利技术的一种优选方式，在步骤s1中，所述方法还包括以下步骤：
9、步骤s11：根据输入的高光谱图像，以每个像素为中心，采用固定大小的滑动窗口；
10、步骤s12：提取每个滑动窗口的图像块，进而以图像块中心像素的类标作为整个图像块的类标。
11、作为本专利技术的一种优选方式，在步骤s3中，所述过程(1)的数学公式表示为：
12、y＝relu(bn(conv(x)))
13、其中，为输入的图像块，relu为激活函数，bn代表批归一化操作，代表卷积层的输出特征，c代表卷积后图像块的通道数，p为图像块的空间高度和宽度。
14、作为本专利技术的一种优选方式，在步骤s3中，所述过程(2)的方法还包括以下步骤：
15、步骤s31：通过动态卷积层提取空谱特征，以此挖掘数据中的局部上下文信息；
16、步骤s32：根据不同的输入数据分配给卷积核不同的权重，实现内容自适应的特征提取；
17、步骤s33：计算动态卷积过程，生成二维特征zdy：
18、zdy＝relu(bn(wty+b))
19、其中，为动态卷积操作生成的二维特征，c′代表动态卷积后特征通道数，和分别是权重矩阵和偏置向量，ψk示第k个卷积核的注意力权重，y为动态卷积层的输入，w和b是根据注意力权重ψk去动态聚合k个并行卷积核得到；
20、步骤s34：将动态卷积操作生成的二维特征展开成特征序列：
21、
22、其中，所述特征序列长度为pp；
23、步骤s35：将特征序列映射到语义分组，进而使用softmax函数来关注相对重要的语义部分得到语义分组a；
24、步骤s36：将语义分组进行转置，并与特征序列相乘生成语义token序列。
25、作为本专利技术的一种优选方式，在步骤s32中，所述注意力权重的计算方法为：
26、步骤s321：使用全局平均池化来压缩输入y中包含的全局空间信息；
27、步骤s322：使用全连接层和softmax函数生成注意力权重ψk，其中0<ψk<1。
28、作为本专利技术的一种优选方式，在步骤s3中，所述高斯加权的计算过程为：
29、
30、其中，为最终生成的语义token序列，其中t<pp表示生成的深度语义token数量，表示基于高斯分布初始化的权重矩阵，zdy′wa表示执行1x1点乘运算。
31、作为本专利技术的一种优选方式，在步骤s3中，所述过程(3)的方法还包括以下步骤：
32、步骤s37：根据transformer编码器，通过多头自注意力机制捕捉语义token序列中，任意语义token与其他token之间的依赖关系，提取深度特征；
33、步骤s38：通过全局平均池化层将transformer编码器提取的特征降维为一维特征向量，进而利用全连接层基于该特征向量进行标签预测。
34、作为本专利技术的一种优选方式，在步骤s4中，所述高光谱图像分类模型的训练方法为：
35、步骤s41：使用交叉熵损失函数计算分类误差：
本文档来自技高网...【技术保护点】
1.基于动态卷积Transformer的高光谱图像分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于动态卷积Transformer的高光谱图像分类方法，其特征在于，在步骤S1中，所述方法还包括以下步骤：
3.根据权利要求1所述的基于动态卷积Transformer的高光谱图像分类方法，其特征在于，在步骤S3中，所述过程(1)的数学公式表示为：
4.根据权利要求1所述的基于动态卷积Transformer的高光谱图像分类方法，其特征在于，在步骤S3中，所述过程(2)的方法还包括以下步骤：
5.根据权利要求4所述的基于动态卷积Transformer的高光谱图像分类方法，其特征在于，在步骤S32中，所述注意力权重的计算方法为：
6.根据权利要求1所述的基于动态卷积Transformer的高光谱图像分类方法，其特征在于，在步骤S3中，所述高斯加权的计算过程为：
7.根据权利要求6所述的基于动态卷积Transformer的高光谱图像分类方法，其特征在于，在步骤S3中，所述过程(3)的方法还包括以下步骤：p>
8.根据权利要求1所述的基于动态卷积Transformer的高光谱图像分类方法，其特征在于，在步骤S4中，所述高光谱图像分类模型的训练方法为：
9.基于动态卷积Transformer的高光谱图像分类系统，其特征在于，包括：
10.一种计算机介质，其特征在于，所述计算机介质上存储有计算机程序，所述计算机程序被处理器执行实现根据权利要求1-8中任一项所述的基于动态卷积Transformer的高光谱图像分类方法。
...【技术特征摘要】
1.基于动态卷积transformer的高光谱图像分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于动态卷积transformer的高光谱图像分类方法，其特征在于，在步骤s1中，所述方法还包括以下步骤：
3.根据权利要求1所述的基于动态卷积transformer的高光谱图像分类方法，其特征在于，在步骤s3中，所述过程(1)的数学公式表示为：
4.根据权利要求1所述的基于动态卷积transformer的高光谱图像分类方法，其特征在于，在步骤s3中，所述过程(2)的方法还包括以下步骤：
5.根据权利要求4所述的基于动态卷积transformer的高光谱图像分类方法，其特征在于，在步骤s32中，所述注意力权重的计算方法为：
6.根据权利要求1...
【专利技术属性】
技术研发人员：孟哲，闫芊，岳攀，赵凤，益琛，陈改革，梁苗苗，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。