本发明专利技术属于涉及一种基于注意力的掩码自监督域适应高光谱图像分类方法，包括如下步骤：步骤1：构建编码器和解码器，通过遮盖图像的编码与解码以恢复整张图像；步骤2：构建双分类器，通过编码器提取全局特征，使用双分类器对整张图像样本进行分类，对齐源域与目标域同类分布，同时增加不同类之间的距离。本发明专利技术提供的一种基于注意力的掩码自监督高光谱图像分类方法，通过注意力网络提取更有辨别性的特征，进而减小源域与目标域的域间差异。
【技术实现步骤摘要】
本专利技术公开涉及高光谱图像分类，尤其涉及一种基于注意力的掩码自监督域适应高光谱图像分类方法及系统。
技术介绍
1、高光谱图像(hyperspectral image,hsi)是遥感中的一种重要数据类型，广泛应用于与地球观测相关的应用，如智能农业和环境监测。高光谱成像技术可以获取和分析空间区域中每个点的光谱信息，通过探测单个对象在不同空间位置上的独特光谱特征，高光谱成像技术能够检测到肉眼无法区分的物质、揭示物质的隐蔽特性。hsi包含数百光谱带，因此，为准确分类提供了丰富的信息。然而，标记遥感数据非常昂贵且耗时，缺乏标记样本对hsi分类构成了相当大的挑战。此外，在不同时间或不同位置获取的hsi之间存在光谱偏移现象。因此，传统的分类模型在一幅图像上训练，而在另一幅图像上训练时会出现光谱偏移，无法获得令人满意的性能。近年来，人们提出了大量的方法，其中域适应是最流行的方法。在域适应情况下，具有足够标签的数据被称为源域，具有很少标签或没有标签的待预测数据被称为目标域。域适应方法旨在通过学习从源域(训练数据所属的域)到目标域(测试数据所属的域)的映射关系，来减小域之间的差异，从而提高模型在目标域上的性能。域适应方法将边缘分布、条件分布或两者在两个领域之间对齐，主要分为三类：基于实例、基于分类器和基于特征的方法。
2、近年来，基于特征的方法在三种域适应方法中最为流行，深度学习方法也属于这一类。基于特征的算法提取领域不变的特征表示，通过特征匹配或对抗性学习实现域适应。特征匹配方法通过最小化一些领域差异度量来减少特征分布之间的差异。</p>3、在提取特征方面，transformer针对机器翻译这一种场景做了实验，全面击败了当时的机器翻译各个benchmark上的sota。其优点除了效果好之外，由于encoder端是并行计算的，训练的时间也被大大缩短了。它开创性的思想，颠覆了以往序列建模和rnn划等号的思路，使得模型可以并行化训练，而且能够拥有全局信息。现在被广泛应用于nlp的各个领域。
4、2022年，he等人在cvpr上发布的mask autoencoder提出在训练中屏蔽随机的patches送入编码器后送入解码器重建缺失的像素，从而学习图像的特征。其在imagenet数据集上的分类效果及各种下游任务上均取得了不错的效果。说明此方法在提取语义特征方面具有极大的潜力。
5、在现有的基于无监督域适应的方法中，对于源域分布和目标域分布不同的情况，大多数方法都考虑了边缘分布对齐。通过映射到同一个特征空间，拉近两个域的分布来达到对齐的目的；或者采用对抗的思想，通过学习一个域适应的特征嵌入空间来实现对齐。通过这些方法对齐后，两个域的边缘分布大致相同。然而，边缘分布对齐可能会导致一些不相关的数据过于接近，无法准确分类。与此同时会忽略类间的关系，从而不能获得更好的性能。
6、为了更好的捕获类内信息，进行两个域的条件对齐，在源域和目标域中，对齐同一类别内相关子域的分布。
7、现有的很多基于无监督域适应的方法只从进行边缘分布对齐，将源域和目标域数据进行整体拉近，而忽略了两个域类别层面的关系，并且没有尝试提取更加具有辨别性的语义特征，从而在目标域上不能获得更好的分类性能。
技术实现思路
1、鉴于此，本专利技术公开提供了一种基于注意力的掩码自监督域适应高光谱图像分类方法及系统。以解决在现有的无监督域适应方法中未能提取语义特征的问题。
2、本专利技术提供的技术方案，具体为，本专利技术提供了一种基于注意力的掩码自监督域适应高光谱图像分类方法，包括如下步骤：
3、步骤1：构建编码器和解码器，通过遮盖图像的编码与解码以恢复整张图像；
4、步骤2：构建双分类器，通过编码器提取全局特征，使用双分类器对整张图像样本进行分类，对齐源域与目标域同类分布，同时增加不同类之间的距离。
5、进一步地，步骤1中，将图像随机遮盖后加上cls token送入编码器，再将从编码器输出的特征输入解码器；所述编码器采用transformer网络进行特征提取；所述解码器采用transformer对随机遮盖的图像进行重构，还原被遮盖的图像；
6、其中采用mse损失计算重构损失，重构损失定义如公式(1)所示：
7、
8、其中的代表被遮盖的像素,ω(.)代表被遮盖像素的数量。
9、进一步地，所述步骤2具体为：
10、将数据送入编码器后，使用classification token(cls token)提取全局特征，并将所述全局特征送入双分类器；再计算有监督损失和自监督损失；
11、度量源域分布和目标域分布时，假设源域和目标域类别一致，二者的分布不同但相关；具体为：
12、源域样本的有监督损失使用交叉墒损失，交叉墒损失如公式(2)所示
13、
14、其中，n达标样本数目，c代表类别总数。
15、进一步地，使用classifier determinacy disparity(cdd)损失来衡量目标域损失；假如目标域存在两个类，那么双分类器的预测如公式(3)所示：
16、
17、其中，p1代表分类器1对目标域的预测结果，假定目标域存在两个类，代表分类器1将样本分为类别1的概率；代表分类器1将样本分为类别2的概率；p2代表分类器2对目标域的预测结果。
18、进一步地，cdd损失如公式(4)所示：
19、
20、损失代表的是预测矩阵a除对角线元素外其余元素的和。
21、本专利技术还提供了一种基于注意力的掩码自监督域适应高光谱图像分类系统，包括编码解码结构和分类结构，所述编码解码结构由编码器与解码器构建；所述分类结构由编码器和分类器构建；所述编码器用于对随机遮盖后的图像进行编码；所述解码器用于对随机遮盖的图像进行重构；所述分类器用于对图像进行分类，对齐源域与目标域的条件分布。
22、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术的公开。
本文档来自技高网...
【技术保护点】
1.一种基于注意力的掩码自监督域适应高光谱图像分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于注意力的掩码自监督域适应高光谱图像分类方法，其特征在于，步骤1中，将图像随机遮盖后加上Cls Token送入编码器，再将从编码器输出的特征输入解码器；所述编码器采用Transformer网络进行特征提取；所述解码器采用Transformer对随机遮盖的图像进行重构，还原被遮盖的图像；
3.根据权利要求1所述的一种基于注意力的掩码自监督域适应高光谱图像分类方法，其特征在于，所述步骤2具体为：
4.根据权利要求1所述的一种基于注意力的掩码自监督域适应高光谱图像分类方法，其特征在于，使用Classifier Determinacy Disparity(CDD)损失来衡量目标域损失；假如目标域存在两个类，那么双分类器的预测如公式(3)所示：
5.根据权利要求1所述的一种基于注意力的掩码自监督域适应高光谱图像分类方法，其特征在于，CDD损失如公式(4)所示：
6.一种基于注意力的掩码自监督域适应高光谱图像分类系统，其特征在于，包括编码解码结构和分类结构，所述编码解码结构由编码器与解码器构建；所述分类结构由编码器和分类器构建；所述编码器用于对随机遮盖后的图像进行编码；所述解码器用于对随机遮盖的图像进行重构；所述分类器用于对图像进行分类，对齐源域与目标域的条件分布。
...
【技术特征摘要】
1.一种基于注意力的掩码自监督域适应高光谱图像分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于注意力的掩码自监督域适应高光谱图像分类方法，其特征在于，步骤1中，将图像随机遮盖后加上cls token送入编码器，再将从编码器输出的特征输入解码器；所述编码器采用transformer网络进行特征提取；所述解码器采用transformer对随机遮盖的图像进行重构，还原被遮盖的图像；
3.根据权利要求1所述的一种基于注意力的掩码自监督域适应高光谱图像分类方法，其特征在于，所述步骤2具体为：
4.根据权利要求1所述的一种基于注意力的掩码自监督域适应高光谱图像分类方法，...
【专利技术属性】
技术研发人员：王岩，李照奎，何文强，房卓群，王传云，李飞，毕可，曾琳琳，
申请(专利权)人：沈阳航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。