深度特征集成学习的遥感图像目标识别泛化性方法技术

本发明专利技术属于图像信息处理技术领域，提供了一种深度特征集成学习的遥感图像目标识别泛化性方法。该方法适用于不同种类的输入源图像，均可以得到较好的预测结果。它在网络结构中使用多个子分支预测得到多个输出特征，并使用余弦相似度控制这些输出特征的多样性，实现模型的多样性；为了能够从所得的集成特征中进一步选择所需的特征，它使用一个自适应选择网络对特征进行筛选。本发明专利技术的方法充分利用遥感图像深度特征的不同表达，如色调，对比度，饱和度，图像质量/分辨率等，设计基于门控的自适应集成架构得到用于遥感图像目标识别的具有泛化性的网络模型。化性的网络模型。化性的网络模型。

【技术实现步骤摘要】
深度特征集成学习的遥感图像目标识别泛化性方法


[0001]本专利技术属于图像信息处理
，涉及遥感图像目标识别的方法，特别是一种深度特征集成学习的遥感图像目标识别泛化性方法。

技术介绍

[0002]目前，与本专利相关的方法包括两方面：第一是基于深度特征的集成学习方法；第二是基于深度学习的泛化性方法。
[0003]基于深度特征的集成学习方法主要分为两类：一类是从损失上进行设计，首先构建神经网络的多个子分支，然后使用损失函数控制这些子分支所产生结果的多样性，实现模型的多样性。Dvornik等人在文献《Diversity with cooperation:Ensemble methods for few
‑
shot classification》中提出使用余弦相似度损失控制子分支的输出，使得各个子分支的输出趋于不同，以鼓励多样性；一类是从训练数据上提升各个分支的多样性，Meshgi等人在文献《Efficient Diverse Ensemble for Discriminative Co
‑
Tracking》中使用不同的训练数据训练不同的子分支，由于使用不同训练数据进行训练会使得各个子分支的输出不同，所以可以实现多样性，从而达到集成学习的目的。
[0004]基于深度学习的域泛化性方法的目标是通过利用一个或多个可见的源域数据集来学习一个对未知目标域表现良好的广义模型。Jin等人在文献《Style normalization and restitution for generalizable person re
‑
identification》中提出了一种泛化性方法，即使用实例正则化滤除掉特征里和图像内容无关的风格信息，为了避免相关的内容信息丢失，设计了一个恢复策略，最终可以提取图像的内容特征。由于影响泛化性的主要因素就是各个图像域的风格特征不一致，所以在滤除图像的风格信息之后，网络的泛化性得到很大提升。
[0005]针对于遥感图像的目标识别，解决该问题的一种常见的方法是使用多个图像域的训练数据对网络进行训练，来获取针对不同域的适用的网络模型。但是由于遥感图像的训练数据集的图像域较少，所以无法通过这种方式提升模型的泛化性。本专利提出深度特征集成学习的遥感图像目标识别泛化性方法来解决上述问题。

技术实现思路

[0006]针对难以获得多个域对网络进行训练的问题，提出了一种基于集成学习的泛化的遥感图像目标识别方法。它可以适用于不同种类的输入源图像，均可以得到较好的预测结果。它在网络结构中使用多个子分支预测得到多个输出特征，并使用余弦相似度控制这些输出特征的多样性，实现模型的多样性；为了能够从所得的集成特征中进一步选择所需的特征，它使用一个自适应选择网络对特征进行筛选。
[0007]本专利技术的技术方案：
[0008]一种深度特征集成学习的遥感图像目标识别泛化性方法，步骤如下：
[0009]首先构建一个基础的网络模型：VGG16的前13层作为编码器，一个7层的卷积网络
作为解码器，然后使用训练数据训练好该基础网络；为了提升该网络的泛化性，提出两个策略：
[0010]策略一是在该网络模型中添加一个能去除风格信息的集成模块，该集成模块中包含实例标准化层、批标准化层和多个集成分支；实例标准化层能学习到和外观(光照，色调，对比度，饱和度，图像质量/分辨率等)无关的特征，批标准化层对于保存与内容相关的信息是必不可少的，所以结合使用实例标准化和批标准化能够提高泛化和学习性能；对于不同源的遥感图像来说，色调、对比度、饱和度、图像质量/分辨率等都会对模型产生影响，加入了实例标准化层和批标准化层则减少了这些影响，也就提升了遥感图像目标识别的泛化能力和准确性。
[0011]然而，在使用实例标准化层和批标准化层的过程中不可避免地丢弃了一些内容信息，从而影响算法的性能。所以从原始特征经过提取特征之后剩余的风格信息中进一步提取内容相关的信息，作为之前正则化得到信息的补充，则能较为完整地从输入图像中挖掘出与风格无关的内容信息。我们的做法是使用注意力图从剩余的风格信息中提取待挖掘的补充信息，则每个位置都能自适应地提取到补充的内容信息。
[0012]如果仅使用一个注意力图去提取补充信息，可能只能聚焦于某些区域，忽视了一些潜在的重要区域，所以我们提出使用集成模型即使用多个注意力图从剩余的风格信息中提取补充信息，这些注意力图关注剩余的风格信息中不同的区域，从而挖掘出不同区域的内容信息。为了达到这个目的，我们引入了多样性学习，即利用余弦相似度去控制注意力图之间的多样性，对注意力图的聚焦位置进行引导，从而能够从剩余的风格信息中提取出具有多样性的内容信息。
[0013]策略二是提出使用一个自适应选择网络从集成的特征信息中二值化地选取重要信息。网络的自适应选择通过一个门控子网络来实现，输出得到二值化的门控选择结果。由于一个全局的门控能做出更全面的决定，所以门控网络的输入是原始输入图像，经过一系列卷积输出二值化的门控选择。由于直接对集成某个分支输出的整个特征进行二值化选择过于粗糙，所以我们基于特征的每个通道进行二值化选择。如果门控没有和主网络之间的交互，那么门控的选择就会有些盲目，因为对于要选择的东西一无所知，所以将主网络中集成的输出特征作为先验信息输入到门控网络中，来提升门控的选择能力。
[0014]在网络训练阶段，我们采用端到端的方式对网络进行训练。为了控制集成模型的各个子模型输出的多样性，我们使用余弦相似度损失函数对各个子模型对应的注意力图进行控制：
[0015][0016]其中，N是各个子模型输出的多样性特征的数量，i和j表示特征的索引，cos()表示余弦相似度函数，M代表注意力图，∑()表示求和。
[0017]对于目标分类的训练，我们使用交叉熵损失函数进行训练，交叉熵损失定义如下：
[0018]L
c
＝
‑
∑
x
p(x)logq(x)(1
‑
2)
[0019]其中，x是输入图像，p(x)代表遥感图像的真值，q(x)是网络对输入的遥感图像输出的预测值，log()表示对数运算。
[0020]本专利技术的有益效果：本专利技术的深度特征集成学习的遥感图像目标识别泛化性方法
利用了集成的方式，目前常见的泛化性的算法需要使用多个域的图像训练网络结构，而这一需求一般难以满足。而本专利技术的方法不存在这个问题，充分利用遥感图像深度特征的不同表达，如色调，对比度，饱和度，图像质量/分辨率等，设计基于门控的自适应集成架构得到用于遥感图像目标识别的具有泛化性的网络模型。
附图说明
[0021]图1为网络的训练方法流程图。
[0022]图2为网络整体结构示意图。
[0023]图3为集成网络示意图。
具体实施方式
[0024]以下结合附图和技术方案，进一步说明本专利技术的具体实施方式。
[0025]图一为网络的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度特征集成学习的遥感图像目标识别泛化性方法，其特征在于，步骤如下：步骤一、首先构建一个基础的网络模型：VGG16的前13层作为编码器，一个7层的卷积网络作为解码器，然后使用训练数据训练好该基础网络；步骤二、为了提升该基础网络的泛化性，提出两个策略：策略一是在该网络模型中添加一个能去除风格信息的集成模块，该集成模块中包含实例标准化层、批标准化层和多个集成分支；实例标准化层能学习到和外观无关的特征，批标准化层用于保存与内容相关的信息；使用集成模型即使用多个注意力图从剩余的风格信息中提取补充信息，这些注意力图关注剩余的风格信息中不同的区域，从而挖掘出不同区域的内容信息；为了达到这个目的，引入多样性学习，即利用余弦相似度去控制注意力图之间的多样性，对注意力图的聚焦位置进行引导，从而从剩余的风格信息中提取出具有多样性的内容信息；策略二是提出使用一个自适应选择网络从集成的特征信息中二值化地选取信息；网络的自适应选择通过一个门控子网络来实现，输出得到二值化的门控选择结果；由于一个全局的门控能做出更全面的决定，所以门控网络的输入是原始输入...

【专利技术属性】
技术研发人员：赵文达，王明月，徐从安，姚力波，刘瑜，何友，卢湖川，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：