一种基于主动深度学习的高光谱图像分类方法技术

本发明专利技术公开了一种基于主动深度学习的高光谱图像分类方法，使用潜在样本的代表性和不确定性来选择训练集的附件样本，将代表性和不确定性两个标准集成到一个新的对象函数中实现，提出了加权增量字典学习方法，该方法在遥感高光谱图像分类中表现良好，与其他方法相比，有更高的准确度，并且需要更少的样本。

【技术实现步骤摘要】
一种基于主动深度学习的高光谱图像分类方法
本专利技术涉及图像处理
，具体来说，涉及一种基于主动深度学习的高光谱图像分类方法。
技术介绍
目前，遥感数据分类方法中引入了一种称为深度学习的半监督学习方法，这种方法可以看作是一个扩展的人工神经网络，它对复杂的分类问题有效果。然而，训练深层网络的代价是很大的，需要大量的训练样本。因为高光谱图像只有少量的训练样本是有效的并且特征空间的维数很大，所以将深层网络应用到分类是不实际的。主动学习是从未标记的子集中选择信息量最多的样本的迭代过程。这个选择基于在模型中的计算得分排名，被选择的样本被添加到训练集中，然后分类器将重新训练新样本。主动学习方法选择了更合适的样本，因此比随机选择的样本训练时更加有效；因此，主动学习方法比传统的半监督学习方法使用更少的训练样本，并且可以更快地训练深层网络。主动学习方法已经广泛地运用到遥感应用中。比如将主动学习方法与支持向量机、逻辑回归等方法相联系的运用；然而目前大部分方法与分类器的特定类型或者特定结构密切相关，并没有一个方法能很好的适用于深度信念网络。因此，研究一种基于主动深度学习的遥感图像分类方法，尤其是适用深度信念网络的方法尤为重要。
技术实现思路
针对相关技术中的上述技术问题，本专利技术提出一种基于主动深度学习的高光谱图像分类方法，包括以下步骤：步骤1：使用限制玻尔兹曼机构建深度信念网络，对图像数据集进行标注，建立初始字典；步骤2：使用稀疏表示的方法，基于深度信念网络的特征数据信息，对残差数据集进行代表性估计和不确定估计；步骤3：使用加权增量字典学习方法进行字典学习，优化数据的代表性和不确定性这两个标准的权重，使用判别函数对数据的重要性进行排序，选择前几个样本加入初始字典；步骤4：使用加权正交匹配追踪算法进行稀疏编码；分别对步骤3中选择的前几个样本进行奇异值分解，选择矩阵的第一列对应的数据加入到字典中并且将数据集中的数据删除；计算下一次迭代的残差集；步骤5：使用更新的字典进行图像分类；进行下一次迭代，直到达到所设定的循环次数。进一步的，所述步骤1使用限制玻尔兹曼机构建深度信念网络对图像数据集进行标注建立初始字典的过程中，在无监督特征学习阶段，使用贪心算法，限制波尔兹曼机通过对比散度方法一次学习一层；在监督的微调阶段，所有的初始限制波尔兹曼机被堆叠，并且通过反向传播算法进行微调。进一步的，所述步骤2中通过余弦相似度和稀疏表示进行相似度测量，将信号使用过完备字典表示并且不使用解析形式；其中，数据的不确定性使用信息熵表示。传统的字典学习应用于所有的信号或矢量数据，而加权增量字典学习方法仅仅使用当前的残差数据，因为主动学习是增量学习问题。本专利技术的有益效果：一种基于主动深度学习的高光谱图像分类方法，使用潜在样本的代表性和不确定性来选择训练集的附件样本，需要将这两个标准集成到一个新的对象函数中实现，提出了加权增量字典学习方法，该方法在遥感高光谱图像分类中表现良好，与其他方法相比，有更高的准确度，并且需要更少的样本。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术一种基于主动深度学习的高光谱图像分类方法实施例的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。根据本专利技术的实施例，提供了一种基于主动深度学习的高光谱图像分类方法，包括以下步骤：步骤1：使用限制玻尔兹曼机构建深度信念网络，对图像数据集进行标注，建立初始字典；步骤2：使用稀疏表示的方法，基于深度信念网络的特征数据信息，对残差数据集进行代表性估计和不确定估计；步骤3：使用加权增量字典学习方法进行字典学习，优化数据的代表性和不确定性这两个标准的权重，使用判别函数对数据的重要性进行排序，选择前几个样本加入初始字典；步骤4：使用加权正交匹配追踪算法进行稀疏编码；分别对步骤3中选择的前几个样本进行奇异值分解，选择矩阵的第一列对应的数据加入到字典中并且将数据集中的数据删除；计算下一次迭代的残差集；步骤5：使用更新的字典进行图像分类；进行下一次迭代，直到达到所设定的循环次数。本实施例中，所述步骤1使用限制玻尔兹曼机构建深度信念网络对图像数据集进行标注建立初始字典的过程中，在无监督特征学习阶段，使用贪心算法，限制波尔兹曼机通过对比散度方法一次学习一层；在监督的微调阶段，所有的初始限制波尔兹曼机被堆叠，并且通过反向传播算法进行微调。本实施例中，所述步骤2中通过余弦相似度和稀疏表示进行相似度测量，将信号使用过完备字典表示并且不使用解析形式；其中，数据的不确定性使用信息熵表示。具体使用时：1)限制玻尔兹曼机的计算方式为：逐层贪婪限制玻尔兹曼机是一种创建深度信念网络结构的方法，使用自适应多层编码器网络将高维数据转换为低维数据。限制玻尔兹曼机的对数形式是马尔科夫随机场的特定形式。考虑层l，将上一层hl-1的输出作为输入(可见变量)，并生成下一层hl的输出(隐藏变量)(初始的完全互连的信任网络为一个输入层h0，L-1个隐藏层，h1，…，hL-1，和输出层hL)，将可见变量和隐藏变量分别用v和h表示。网络对每个可能的可见-隐藏向量对根据能量函数分配概率其中归一化项Z通过对所有可能的可见-隐藏向量对求和得到Z＝∑v，he-E(v，h)。可见单位和隐藏单位是有条件的彼此独立，因此，条件概率p(h|v)和p(v|h)可以写为其中：条件激活概率定义为：p(hi|v)＝f(Wiv+bi)p(vj|h)＝f(W′jh+cj)其中：W是权重矩阵，b和c是偏移向量，f(·)是sigmoid函数。考虑到每层的编码和解码，参数W、b和c与限制玻尔兹曼机的能量函数E(v，h)有关，其定义为E(v，h)＝-b′v-c′h-h′Wv。此外，限制玻尔兹曼机参数的对数似然梯度得到如：其中：θ代表W、b或c，式中第一项表示数据分布的期望，第二项表示相对于模型定义的分布期望值。因为限制玻尔兹曼机中的隐藏单元之间没有直接的联系，所以很容易得到第一项的无偏差的样本；然而，获得第二项的无偏差样本更加困难。因此本专利技术提出了对比散度方法，执行吉布斯采样，并使用梯度下降过程更新参数增量。2)主动学习：相似性和不确定性的计算方式主动学习的两个标准即相似性和不确定性，使用加权增量字典学习根据这两个标准对样本的重要性进行排序，通过选择最大化上述两个标准的信息样本作为新的训练数据。第l层的输出可以被看作是N个输入特征向量X＝{x1，...，xn，...，xN}的投影。因为无监督编码阶段的深度学习可以看作是特征学习和维度降低，因此，本专利技术从最后l个隐藏层输出中选择原子；输出的数据被表述为(D∈RC×p，是一个有p个原子的字典)；D中的每个原子被归一化为单位向量，α∈Rp是稀疏向量的稀疏向量；字典假设是冗余的(p＞C)，表示中非零系数的数量表示为k＝本文档来自技高网...

【技术保护点】
1.一种基于主动深度学习的高光谱图像分类方法，其特征在于，包括以下步骤：步骤1：使用限制玻尔兹曼机构建深度信念网络，对图像数据集进行标注，建立初始字典；步骤2：使用稀疏表示的方法，基于深度信念网络的特征数据信息，对残差数据集进行代表性估计和不确定估计；步骤3：使用加权增量字典学习方法进行字典学习，优化数据的代表性和不确定性这两个标准的权重，使用判别函数对数据的重要性进行排序，选择前几个样本加入初始字典；步骤4：使用加权正交匹配追踪算法进行稀疏编码；分别对步骤3中选择的前几个样本进行奇异值分解，选择矩阵的第一列对应的数据加入到字典中并且将数据集中的数据删除；计算下一次迭代的残差集；步骤5：使用更新的字典进行图像分类；进行下一次迭代，直到达到所设定的循环次数。

【技术特征摘要】
1.一种基于主动深度学习的高光谱图像分类方法，其特征在于，包括以下步骤：步骤1：使用限制玻尔兹曼机构建深度信念网络，对图像数据集进行标注，建立初始字典；步骤2：使用稀疏表示的方法，基于深度信念网络的特征数据信息，对残差数据集进行代表性估计和不确定估计；步骤3：使用加权增量字典学习方法进行字典学习，优化数据的代表性和不确定性这两个标准的权重，使用判别函数对数据的重要性进行排序，选择前几个样本加入初始字典；步骤4：使用加权正交匹配追踪算法进行稀疏编码；分别对步骤3中选择的前几个样本进行奇异值分解，选择矩阵的第一列对应的数据加入到字典中并且将数据集中的数据删除；计算下一次迭代的残差集；步骤5：使用...

【专利技术属性】
技术研发人员：王力哲，刘鹏，舒雯，
申请(专利权)人：中国科学院遥感与数字地球研究所，
类型：发明
国别省市：北京,11