一种基于因果跨域小样本学习的高光谱图像分类方法技术

本发明专利技术属于模式识别技术领域，公开了一种基于因果跨域小样本学习的高光谱图像分类方法

【技术实现步骤摘要】
一种基于因果跨域小样本学习的高光谱图像分类方法


[0001]本专利技术属于模式识别
，尤其涉及一种基于因果跨域小样本学习的高光谱图像分类方法
。

技术介绍

[0002]高光谱图像分类是一种融合人工智能与卫星遥感技术的先进信息处理方法
。
利用图像丰富的空间和光谱信息，该方法实现像素点所属类别的智能识别，在生产安全
、
自然灾害预防
、
矿物开采等领域具有关键作用
。
然而，由于标记过程费时费力，高光谱图像分类研究中经常出现小样本情景
。
因此，降低高光谱分类模型对目标高光谱图像标记信息的依赖，从而在小样本情景下实现高光谱图像的准确分类具有重要研究意义
。
[0003]迁移学习能够将具有丰富标记信息的高光谱图像作为源域并利用其完成现实中待分类的目标域高光谱图像的小样本分类任务，近年来引起了研究者们的广泛关注
。
基于迁移学习的小样本分类方法大致分为基于模型微调和基于领域适应两类
。
然而，由于采集时空间区域的差异，往往会出现不同高光谱图像中的地物类别不一致的现象，该现象给迁移学习方法在小样本高光谱图像分类上的应用带来了困难
。
[0004]元学习作为一种“学会学习”的机器学习方法，能够借鉴人类从相似任务中归纳出任务共有规律的认知模式，从源域大量的小样本情景任务中学习到泛化到目标域不同类别的通用小样本分类规则
。
[0005]元迁移方法综合了元学习的知识归纳能力和迁移学习的知识迁移能力，在跨域小样本高光谱分类任务中展现出了优秀的分类性能
。
尽管现有的元迁移学习方法在小样本高光谱图像分类任务上已取得了令人印象深刻的性能，然而它们大多忽略了小样本情景下的样本选择偏差可能会诱发非因果因素与样本类别之间虚假的统计关联，进而影响模型的泛化性能
。
[0006]理想的因果因素期望满足三个性质：与非因果因素分离；因果因子联合独立；与类别语义之间具有强相关性，即包含可以解释所有统计依赖性的信息
。
因果学习可通过捕获与类别语义具有因果关联的因果因素
(
如光谱变化趋势
)
，抑制非因果因素
(
如异类像素信息和异常光谱信息
)
对模型产生的信息干扰，提升模型的泛化性能
。

技术实现思路

[0007]专利技术目的：针对上述
技术介绍
中存在的问题，本专利技术提供了一种基于因果跨域小样本学习的高光谱图像分类方法，将原始高光谱数据视作包含了因果因素和非因果因素的混合物，通过归纳学习的方式让模型学会挖掘样本特征和类别语义之间的因果因素，以实现更具泛化性的跨域小样本学习
。
[0008]
技术实现思路
：为实现上述目的，本专利技术采用的技术方案为：一种基于因果跨域小样本学习的高光谱图像分类方法，包括如下步骤：
[0009]步骤1，用主成分分析法对源域和目标域的原始高光谱数据进行降维，以获得统一
维度的训练数据；再将源域和目标域的原始高光谱图像分别划分为支持集和查询集，得到两域的支持集和查询集，即源域支持集
、
源域查询集
、
目标域支持集和目标域查询集，以构建小样本情景任务用于训练；
[0010]步骤2，分别对两域
(
源域和目标
)
原始高光谱数据进行因果干预，得到两域的支持特征和查询特征，该两域的支持特征和查询特征包含了纯净且独立因果因素的特征表示；
[0011]步骤3，将两域的支持特征和查询特征输入对抗领域适应模块以降低两域的分布差异；然后，通过度量查询样本和各类别原型在特征空间的距离进行原型匹配，进而得到查询样本的类别预测概率
。
[0012]进一步的，步骤3还包括，利用因果关联模块对查询特征及其对应的类别预测之间的互信息进行度量，并通过最大化互信息保障样本特征和类别语义之间的强因果关联，实现因果跨域小样本学习
。
[0013]进一步的，步骤2中对两域原始高光谱数据进行因果干预，包括对两域原始高光谱数据进行因果掩码，以及独立因果约束；
[0014]因果掩码是用于对原始高光谱数据中的非因果因素进行扰动，即通过将因果区域的像素替换为随机依赖像素实现对非因果因素的扰动，得到反事实高光谱样本；
[0015]独立因果约束是用于对原始高光谱图像和反事实高光谱图像特征进行约束，得到两域的支持特征和查询特征，两域的支持特征和查询特征为纯净且独立的因果因素的特征表示，缓解因非因果因素和类别语义之间的虚假统计关联造成的模型性能损害
。
[0016]进一步的，所述对原始高光谱数据中的非因果因素进行扰动，得到反事实高光谱样本，具体包括如下步骤：
[0017]步骤
2.1
，将两域原始高光谱图像输入到因果掩码网络得到因果掩码，从而将原始高光谱图像划分为和类别语义相关的因果区域和非因果区域
。
其中，因果区域对应的因果掩码为“1”，非因果区域对应的因果掩码为“0”；
[0018]步骤
2.2
，在保留原始高光谱图像因果区域像素的同时，对原始高光谱图像非因果区域像素进行置零；
[0019]步骤
2.3
，从两域原始高光谱图像中随机选择异类高光谱图像，并将位于中心位置的中心像素进行剥离，得到异类像素；
[0020]步骤
2.4
，利用所述异类像素替换原始高光谱图像中被置零的像素，得到反事实高光谱图像
。
[0021]进一步的，所述因果掩码网络包括依次连接的空间感知模块，光谱编码模块和因果掩码推理模块；所述将两域原始高光谱图像输入到因果掩码网络得到因果掩码，从而将原始高光谱图像划分为和类别语义相关的因果区域和非因果区域，具体包括如下步骤：
[0022]首先，两域的高光谱图像被输入到空间感知模块，空间感知模块利用空间掩码获得高光谱图像的中心像素，目标像素，中心局部像素和目标局部像素的光谱信息；
[0023]其中，所述中心像素是指高光谱图像中位于中心位置的待分类像素，所述目标像素是使中心像素的空间邻域像素，所述中心局部像素是指以中心像素为中心的空间局部像素集合，所述目标局部像素为以目标像素为中心的空间局部像素集合；
[0024]然后，对中心局部像素和目标局部像素进行平均池化以聚合局部空间信息得到中心局部特征和目标局部特征，并将它们和中心像素
、
目标像素一起输入光谱编码模块进行
光谱特征提取，获得空间感知特征集合
[0025]之后，将空间感知集合中的各元素视作空间
token
，添加一个可学习的嵌入向量作为
masktoken
，构成因果掩码序列；
[0026]接着，为因果掩码序列添加位置编码，并利用多头注意力机制建模空间邻域像素和中心本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于因果跨域小样本学习的高光谱图像分类方法，其特征在于，包括如下步骤：步骤1，将源域和目标域的原始高光谱图像分别划分为支持集和查询集，得到源域支持集
、
源域查询集
、
目标域支持集
、
目标域查询集，以构建小样本情景任务用于训练；步骤2，分别对两域原始高光谱数据进行因果干预，得到两域的支持特征和查询特征；步骤3，将两域的支持特征和查询特征输入对抗领域适应模块以降低两域的分布差异；然后，通过度量查询样本和各类别原型在特征空间的距离进行原型匹配，进而得到查询样本的类别预测概率
。2.
根据权利要求1所述一种基于因果跨域小样本学习的高光谱图像分类方法，其特征在于，步骤3还包括，利用因果关联模块对查询特征及其对应的类别预测之间的互信息进行度量，并通过最大化互信息保障样本特征和类别语义之间的强因果关联，实现因果跨域小样本学习
。3.
根据权利要求1所述一种基于因果跨域小样本学习的高光谱图像分类方法，其特征在于，步骤2中所述对两域原始高光谱数据进行因果干预，包括对两域原始高光谱数据进行因果掩码，以及独立因果约束；所述因果掩码是用于对原始高光谱数据中的非因果因素进行扰动，得到反事实高光谱样本；所述独立因果约束是用于对原始高光谱图像和反事实高光谱图像特征进行约束，得到因果因素的两域支持特征和查询特征
。4.
根据权利要求3所述一种基于因果跨域小样本学习的高光谱图像分类方法，其特征在于，所述对原始高光谱数据中的非因果因素进行扰动，得到反事实高光谱样本，具体包括如下步骤：步骤
2.1
，将两域原始高光谱图像输入到因果掩码网络得到因果掩码，从而将原始高光谱图像划分为和类别语义相关的因果区域和非因果区域；步骤
2.2
，在保留原始高光谱图像因果区域像素的同时，对原始高光谱图像非因果区域像素进行置零；步骤
2.3
，从两域原始高光谱图像中随机选择异类高光谱图像，并将位于中心位置的中心像素进行剥离，得到异类像素；步骤
2.4
，利用所述异类像素替换原始高光谱图像中被置零的像素，得到反事实高光谱图像
。5.
根据权利要求4所述一种基于因果跨域小样本学习的高光谱图像分类方法，其特征在于，所述因果掩码网络包括依次连接的空间感知模块，光谱编码模块和因果掩码推理模块；所述将两域原始高光谱图像输入到因果掩码网络得到因果掩码，从而将原始高光谱图像划分为和类别语义相关的因果区域和非因果区域，具体包括如下步骤：首先，两域的高光谱图像被输入到空间感知模块，空间感知模块利用空间掩码获得高光谱图像的中心像素，目标像素，中心局部像素和目标局部像素的光谱信息；然后，对中心局部像素和目标局部像素进行平均池化以聚合局部空间信息得到中心局部特征和目标局部特征，并将它们和中心像素
、
目标像素一起输入光谱编码模块进行光谱特征提取，获得空间感知特征集合；
之后，将空间感知集合中的各元素视作空间
token
，添加一个可学习的嵌入向量作为
mask token
，构成因果掩码序列；接着，为因果掩码序列添加位置编码，并利用多头注意力机制建模空间邻域像素和中心像素的依赖关系，并利用多层感知机进行掩码推理，得到各地物像素的因果掩码向量；接着，基于因果掩码向量，采用贪婪策略，选择具有较高概率的操作得到因果掩码，进而将两域高光谱图像划分为因果区域和非因果区域
。6.
根据权利要求3所述一种基于因果跨域小样本学习的高光谱图像分...

【专利技术属性】
技术研发人员：程玉虎，张威，王浩宇，王雪松，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：