【技术实现步骤摘要】
本专利技术属于遥感图像处理，具体涉及一种基于大视觉模型的高光谱图像分类方法。
技术介绍
1、在地球观测和遥感领域中，高光谱图像的重要性日益凸显。相比于常规的彩色图像，高光谱图像通过采集大量连续的波段信息，能够提供更为丰富和详细的地物光谱信息。这种信息的丰富性使得高光谱图像在土地覆盖分类、环境监测、农业管理等领域具有广泛的应用前景。
2、然而，高光谱图像分类任务也面临诸多挑战与机遇。首先，高光谱图像的数据维度通常较高，每个像素点都包含数百甚至上千个波段，这导致了数据的复杂性和维度灾难，给特征提取和分类带来了挑战。其次，传统的基于光谱特征提取和手工设计特征的方法在面对高光谱图像时往往效果不佳，这是因为光谱特征的复杂性和多样性使得手工设计特征的过程变得十分繁琐，同时也受限于人工特征提取的局限性。在传统方法的不足之下，近年来随着深度学习技术的发展，特别是卷积神经网络 (cnn) 的兴起，高光谱图像分类任务迎来了新的机遇。cnn能够自动学习特征表示，避免了传统方法中手工设计特征的缺陷，因此在高光谱图像分类任务中取得了显著的性能提升。然而，尽管深度学习方法在高光谱图像分类中表现出色，但是仍然存在一个普遍的问题，那就是需要大量的标注数据来训练模型，而实际中获取大规模标注数据的成本往往是很高的。
3、在这样的背景下，半监督学习被提出，成为解决标注数据不足问题的有效途径之一。半监督学习通过利用未标注数据来提升模型性能，可以有效地扩充已有的标注数据集，从而提高模型的泛化能力。在高光谱图像分类任务中，半监督学习的应用也呈现出巨
4、在自然语言处理领域，大型语言模型取得了显著的成功。例如，具有数十亿参数的gpt-3等模型已经在零/少样本学习领域取得成功。在计算机视觉领域，预训练的大视觉-语言模型clip已经证明在各种下游视觉任务中具有强大的零样本泛化性能。此外，segmentanything model（sam）可以在给定图像和视觉线索（如框、点或掩码）的情况下执行类别分割。然而，由于高光谱图像的特殊性，这些大型视觉模型在直接应用高光谱分类时无法获得令人满意的结果。
技术实现思路
1、为了使得大视觉模型能够成功引用到高光谱图像的分类之中，本专利技术提出了一种基于大视觉模型的高光谱图像分类方法，基于大视觉模型sam的空间引导迭代提示选择框架，以优化伪标签的选择。具体而言，我们通过通道方式将高光谱图像输入大视觉模型sam，并使用prompt“点提示”来在半监督场景下扩展标签。随后，我们基于空间特征距离优化标签估计。我们同时使用光谱通道投票方法，迭代更新生成的伪标签，以参与后续的cnn网络训练。
2、本专利技术提出一种基于大视觉模型的高光谱图像分类方法，具体方案为，包括以下步骤：
3、第一步，通过将高光谱图像转化为三通道图像队列，利用大视觉模型sam处理高光谱图像的分类预测，生成初始的分类掩码图像队列；
4、第二步，对于大视觉模型sam输出的掩码图像队列，提出光谱投票策略，针对每个像元，使用多个光谱通道的信息进行分类，然后通过投票的方式确定最终的分类结果，从而实现标签类别的解混，生成唯一的预测掩码，获得当下轮次高置信度的伪标签；
5、第三步，结合空间信息，通过约束生成的伪标签与真实标签在特征空间的距离，对于每个像元，根据空间特征与标签空间做相似度计算，得到置信度分数，用更新后的伪标签输入大视觉模型sam，进行下一轮掩码预测；
6、第四步，将第三步中得到的伪标签联合已标注的少量标签传入2dcnn分类网络之中进行高光谱图像分类任务。
7、本专利技术具有以下有益技术效果：
8、本专利技术解决了半监督学习方法中难以生成可信度高的伪标签的困境，有效的实现了样本扩充。通过引入光谱投票策略，将大视觉模型sam成功嵌入到框架之中，充分地利用了大模型的结构先验信息；通过空间信息一致性约束，拉近了伪标签与类别标签的空间距离，进一步提高了生成伪标签的可靠性，为后续进行半监督高光谱分类提供数据支持。
本文档来自技高网...【技术保护点】
1.一种基于大视觉模型的高光谱图像分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于大视觉模型的高光谱图像分类方法，其特征在于：第一步中将转换后的三通道图像队列作为输入，利用大视觉模型SAM进行分类预测，每个像元的分类标签根据模型输出的概率分布或者阈值进行确定包括：
3.根据权利要求1所述的一种基于大视觉模型的高光谱图像分类方法，其特征在于：第二步中通过光谱投票策略，利用多个波段的信息进行像元分类，并通过投票来确定最终的分类结果，包括：
4.根据权利要求1所述的一种基于大视觉模型的高光谱图像分类方法，其特征在于：第三步中，通过在特征空间中约束生成的伪标签与真实标签的距离，包括：
5.根据权利要求1所述一种基于大视觉模型的高光谱图像分类方法，其特征在于：第四步中，将伪标签联合已标注的少量标签传入2DCNN分类网络之中进行高光谱图像分类任务，包括：
【技术特征摘要】
1.一种基于大视觉模型的高光谱图像分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于大视觉模型的高光谱图像分类方法，其特征在于：第一步中将转换后的三通道图像队列作为输入，利用大视觉模型sam进行分类预测，每个像元的分类标签根据模型输出的概率分布或者阈值进行确定包括：
3.根据权利要求1所述的一种基于大视觉模型的高光谱图像分类方法，其特征在于：第二步中通过光谱投票策略...
【专利技术属性】
技术研发人员：尹继豪，赵征，王麒雄，冯家齐，姜泓翔，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。