一种基于双流结构的小样本遥感图像场景分类方法技术

本发明专利技术公开了一种基于双流结构的小样本遥感图像场景分类方法，该方法首先将遥感图像场景分类数据集分为训练集、验证集和测试集3部分；然后基于训练集、验证集和测试集分别构建情景集；然后构建双流结构中的全局流网络；然后构建双流结构中的局部流网络；然后基于全局流网络和局部流网络构建基于双流结构的深度近邻神经网络模型；然后基于情景集对基于双流结构的深度近邻神经网络模型进行训练及验证；然后基于情景集对训练好的基于双流结构的深度近邻神经网络模型进行测试。本发明专利技术提出了具有全局流网络和局部流网络的两个分支的双流结构，融合全局流网络和局部流网络的分类结果，减轻目标尺度变化剧烈对模型分类性能的负面影响。面影响。面影响。

【技术实现步骤摘要】
一种基于双流结构的小样本遥感图像场景分类方法


[0001]本专利技术属于图像感知领域，特别是指一种双流结构的小样本遥感图像场景分类方法，可用于对小样本遥感图像进行分类，为环境感知提供支撑。

技术介绍

[0002]遥感图像场景分类在军用以及民用领域均有重要作用。物体尺度的巨大差异也是小样本遥感图像场景分类中的一个要面临的难题。在遥感成像中，由于成像角度、运行轨道高度等传感器因素的影响，同一目标的成像结果可能存在较大差异。不同成像高度下的飞机、储油罐、火电站场景，同一类别的样本之间存在巨大的尺度差异。此外，由于场景本身的原因，场景中对象的大小也可能存在变化，比如河流场景，包含小河、小溪等几个不同的子场景。由此，可以看出重要物体所占区域大小不一且只占整个图像的一小部分，通常被大量无用的特征和无关物体所包围。直观上讲，直接用单个大物体去匹配含有多个小物体的图片，也是不合理的。

技术实现思路

[0003]为了解决
技术介绍
中的问题，本专利技术提出了基于双流结构的小样本遥感图像场景分类方法，通过构建一个全局
‑
局部双流结构实现的，该结构具有全局流网络和局部流网络的两个分支，全局流网络计算整个图片属于某类的概率，局部流网络仅计算最重要的区域所属类别的概率，最后融合两个分支的结果作为最终分类结果。为了定位整个图像中最重要的区域，本专利技术设计了一种关键区域定位来连接上述两个流，进而减轻目标尺度变化剧烈对模型分类性能的负面影响。
[0004]为了实现上述目的，本专利技术采用的技术方案为：
>[0005]一种基于双流结构的小样本遥感图像场景分类方法，包括如下步骤：
[0006]步骤1，将遥感图像场景分类数据集分为训练集、验证集和测试集；
[0007]步骤2，基于训练集、验证集和测试集分别构建情景集；
[0008]步骤3，构建双流结构中的全局流网络，分为深度嵌入模块和度量模块；
[0009]步骤4，构建双流结构中的局部流网络，将图像样本数据映射到高维空间，并通过度量模块得到分类结果；
[0010]步骤5，基于全局流网络和局部流网络构建基于双流结构的深度近邻神经网络模型，深度近邻神经网络模型通过关键区域定位方法将全局流网络中注意力图中能量高于阈值的区域映射到原图像中并提取出对应区域，然后输入到局部流网络，并综合使用全局流网络和局部流网络的分类结果得到最终分类结果；
[0011]步骤6，基于训练集和验证集对应的情景集，对基于双流结构的深度近邻神经网络模型进行训练及验证；
[0012]步骤7，基于测试集对应的情景集对训练好的基于双流结构的深度近邻神经网络模型进行测试；
[0013]完成基于双流结构的小样本遥感图像场景分类。
[0014]进一步的，步骤2所述的构建情景集的具体方式为：
[0015]2a)对于训练集、验证集和测试集，分别从中随机选取C个类别，每个类别K个样本，将抽取到的样本集合作为支持集S＝{(s
i
,y
i
)|i＝1,...,C
×
K}，其中s
i
表示支持集中的第i个样本，y
i
表示对应的标签，C和K为设定值；
[0016]2b)在C个类别中每个类别的剩余样本中，随机选取N个样本得到对应的查询集其中q
i
表示查询集中第j个样本，表示对应的标签；其中N为设定值；
[0017]2c)将1个支持集和1个查询集构成1个情景集，分别得到训练集、验证集和测试集对应的情景集。
[0018]进一步的，步骤3所述的双流结构中的全局流网络包括基于注意力机制的深入嵌入模块f
ψ
(
·
)和度量模块构建方式如下：
[0019]3a)基于注意力机制的深入嵌入模块f
ψ
(
·
)的构建方式为：
[0020]将卷积神经网络作为深度嵌入模块，用于深度描述子提取，经过深度嵌入模块提取后的深度特征f
ψ
(X
image
)为一个大小为h
×
w
×
d的张量，并表示为m个d维的深度描述子的集合：
[0021]f
ψ
(X
image
)＝[x1,x2,...,x
m
]∈R
d
×
m
[0022]式中，w，h，d分别表示提取特征图的宽度、高度和通道数，m＝h
×
w，x
i
为第i个深度描述子；
[0023]3b)为深度嵌入模块引入注意力机制，将深度描述子区分为与场景相关部分和不相干部分，即为由深度嵌入模块得到的特征图中的每一个像素点构建一个特征图来完成，具体方式为综合使用挤压激励网络作为基础模块，并使用非局部注意力机制，计算方式如下：
[0024][0025]式中，σ和δ分别表示ReLU激活函数和Sigmoid激活函数，W
z1
和W
z2
均为全连接权重，分别用于按比例缩减和扩张特征图维度，m表示特征图像素的总数，f
g
(x
i1
)＝W
g
·
x
i
，其中W
g
为权重向量，表示矩阵乘法，f
k
(x
i1
)＝Softmax(W
k
·
x
i
)，其中W
k
为特征权重；
[0026]得到每个通道的权重向量[am1,...,am
d1
]；其中，d1为特征图的通道数，am
b
表示第b个通道是否与场景类别相关，如果相关，am
b
＝1，否则，am
b
＝0，根据学习到的特征通道权值向量，进一步得到类别相关的注意力特征图，如下所示：
[0027]M(x)＝Sigmoid(∑am
b
x
i
)
[0028]把与场景相关的通道累加起来，然后经过Sigmoid函数得到各个像素位置与场景类别相关的注意力特征图；
[0029]3c)度量模块的构建方式为：
[0030]通过深度嵌入模块，每个查询图像将得到m个深度描述子，对于每个深度描述符x
i
，在某个类别c中找到k个最近邻计算对应的x
i
与之间的相似度，计算方式如下；
[0031][0032][0033]式中，表示给定的查询图像q与类别c之间的相似度，x
i
表示查询图像q的第i个深度描述子，m表示深度描述子的总数，对于每个深度描述子x
i
，本专利基于最近邻方法在类别c找到它的k个最近邻方法在类别c找到它的k个最近邻表示x
i1
在类别c中的第j个最近邻，表示x
i
的转置，c本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双流结构的小样本遥感图像场景分类方法，其特征在于，包括如下步骤：步骤1，将遥感图像场景分类数据集分为训练集、验证集和测试集；步骤2，基于训练集、验证集和测试集分别构建情景集；步骤3，构建双流结构中的全局流网络，分为深度嵌入模块和度量模块；步骤4，构建双流结构中的局部流网络，将图像样本数据映射到高维空间，并通过度量模块得到分类结果；步骤5，基于全局流网络和局部流网络构建基于双流结构的深度近邻神经网络模型，深度近邻神经网络模型通过关键区域定位方法将全局流网络中注意力图中能量高于阈值的区域映射到原图像中并提取出对应区域，然后输入到局部流网络，并综合使用全局流网络和局部流网络的分类结果得到最终分类结果；步骤6，基于训练集和验证集对应的情景集，对基于双流结构的深度近邻神经网络模型进行训练及验证；步骤7，基于测试集对应的情景集对训练好的基于双流结构的深度近邻神经网络模型进行测试；完成基于双流结构的小样本遥感图像场景分类。2.根据权利要求1所述的一种双流结构的小样本遥感图像场景分类方法，其特征在于，步骤2所述的构建情景集的具体方式为：2a)对于训练集、验证集和测试集，分别从中随机选取C个类别，每个类别K个样本，将抽取到的样本集合作为支持集S＝{(s
i
,y
i
)|i＝1,...,C
×
K}，其中s
i
表示支持集中的第i个样本，y
i
表示对应的标签，C和K为设定值；2b)在C个类别中每个类别的剩余样本中，随机选取N个样本得到对应的查询集其中q
i
表示查询集中第j个样本，表示对应的标签；其中N为设定值；2c)将1个支持集和1个查询集构成1个情景集，分别得到训练集、验证集和测试集对应的情景集。3.根据权利要求2所述的一种基于双流结构的小样本遥感图像场景分类方法，其特征在于，步骤3所述的双流结构中的全局流网络包括基于注意力机制的深入嵌入模块f
ψ
(
·
)和度量模块构建方式如下：3a)基于注意力机制的深入嵌入模块f
ψ
(
·
)的构建方式为：将卷积神经网络作为深度嵌入模块，用于深度描述子提取，经过深度嵌入模块提取后的深度特征f
ψ
(X
image
)为一个大小为h
×
w
×
d的张量，并表示为m个d维的深度描述子的集合：f
ψ
(X
image
)＝[x1,x2,...,x
m
]∈R
d
×
m
式中，w，h，d分别表示提取特征图的宽度、高度和通道数，m＝h
×
w，x
i
为第i个深度描述子；3b)为深度嵌入模块引入注意力机制，将深度描述子区分为与场景相关部分和不相干部分，即为由深度嵌入模块得到的特征图中的每一个像素点构建一个特征图来完成，具体方式为综合使用挤压激励网络作为基础模块，并使用非局部注意力机制，计算方式如下：
式中，σ和δ分别表示ReLU激活函数和Sigmoid激活函数，W
z1
和W
z2
均为全连接权重，分别用于按比例缩减和扩张特征图维度，m表示特征图像素的总数，f
g
(x
i1
)＝W
g
·
x
i
，其中W
g
为权重向量，表示矩阵乘法，f
k
(x
i1
)＝Softmax(W
k
·
x
i
)，其中W
k
为特征权重；得到每个通道的权重向量[am1,...,am
d1
]；其中，d1为特征图的通道数，am
b
表示第b个通道是否与场景类别相关，如果相关，am
b
＝1，否则，am
b
＝0，根据学习到的特征通道权值向量，进一步得到类别相关的注意力特征图，如下所示：M(x)＝Sigmoid(∑am
b
x
i
)把与场景相关的通道累加起来，然后经过Sigmoid函数得到各个像素位置与场景类别相关的注意力特征图；3c)度量模块的构建方式为：通过深度嵌入模块，每个查询图像将得到m个深度描述子，对于每个深度...

【专利技术属性】
技术研发人员：陈彦桥，雷耀麟，刘厦，宗茂，何文志，柴兴华，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：