一种基于fisher信息矩阵的主动深度学习方法技术

本发明专利技术公开了一种基于fisher信息矩阵的主动深度学习方法，包括以下步骤：选取若干不同的高斯分布函数，构建训练样本和测试样本；利用稀疏自动编码器，对训练样本进行无监督自编码深度网络学习，并在进行无监督自编码深度网络学习之后，再次对训练样本进行监督自编码深度网络学习，得出训练样本分类结果；利用稀疏自动编码器，将测试样本输入深度网络，得到测试样本分类结果，并利用fisher信息矩阵算法公式，从测试样本分类结果中选取最小泛化误差样本；将选取的最小泛化误差样本加入到训练样本分类结果中。本发明专利技术对数据的分类精度有一定的提高，同时也显著的减少了所需的样本数。

【技术实现步骤摘要】

本专利技术涉及多分类高斯分布数据
，具体来说，涉及一种基于fisher信息 矩阵的主动深度学习方法。
技术介绍
许多研究表明，为了能够学习表示高阶抽象概念的复杂函数，解决目标识别，语音 感知和语音理解等人工智能相关的任务，需要引入深度学习，深度学习是通过大量的简单 神经元组成，每层的神经元接收更底层的神经元的输入、通过输入与输出之间的非线性关 系，将底层特征组合成更高层的抽象表示，并发现观测数据的分布式特征。通过自下而上的 学习形成多层的抽象表示，并多层次的特征学习是一个自动的无人干预的过程。根据学习 到的网络结构，系统将输入的样本数据映射到各种层次的特征，并利用分类器或者匹配算 法对顶层的输出单元进行分类识别等。 此外，主动学习的理论研究对于深入理解机器学习中的许多重要理论问题，例如， 如何降低样本复杂度，如何处理小样本数据集，不平衡数据的学习问题，标注数据的有效利 用，监督学习和无监督学习之间的联系等都有非常重要的指导意义。 因此，研发一种主动深度学习方法，尤其是一种基于fisher信息矩阵（费希尔信 息矩阵）的主动深度学习方法就变得尤为重要。
技术实现思路
本专利技术的目的在于提供，以克服 现有技术中的上述技术问题。 本专利技术的技术方案是这样实现的： ，包括以下步骤：选取若干不同的高斯 分布函数，构建训练样本和测试样本；利用稀疏自动编码器，对所述训练样本进行无监督自 编码深度网络学习，并在进行无监督自编码深度网络学习之后，再次对训练样本进行监督 自编码深度网络学习，得出训练样本分类结果；利用稀疏自动编码器，将所述测试样本输入 深度网络，得到测试样本分类结果，并利用fisher信息矩阵算法公式，从测试样本分类结 果中选取最小泛化误差样本；将选取的所述最小泛化误差样本加入到所述训练样本分类结 果中。 此外，所述的基于fisher信息矩阵的主动深度学习方法，还包括：在将选取的所 述最小泛化误差样本加入到所述训练样本分类结果中后，将测试样本中的该最小泛化误差 样本进行删除。 另外，所述的基于fisher信息矩阵的主动深度学习方法，还包括：在将选取的所 述最小泛化误差样本加入到所述训练样本分类结果中后，对训练样本分类结果进行分析， 并分析结果为训练样本分类结果与预定要求（可以设定为准确精度或者循环次数）相符的 情况下，终止训练，而在分析结果为训练样本分类结果与预定要求不符的情况下，循环利用 稀疏自动编码器和fisher信息矩阵算法公式对训练样本和测试样本进行训练。 在上述方案中，选取若干不同的高斯分布函数为选取至少两种不同的高斯分布函 数。 本专利技术的有益效果：通过深度学习加 fisher信息矩阵，以统计渐进理论为基础， 以最小化泛化误差为目标，建立一个有效的输入样本主动查询标准，对数据的分类精度也 有一定的提高。而在深度学习的基础上再加入主动学习，在主动学习中，学习器不再是被动 接收由用户提供的训练数据，而是主动要求用户对那些最有价值的数据进行标记，从而显 著的减少了所需的样本数。【附图说明】 为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施 例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获 得其他的附图。 图1是根据本专利技术实施例的的流 程不意图。【具体实施方式】 下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于 本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的 范围。 根据本专利技术的实施例，提供了。 如图1所示，根据本专利技术实施例的基于fisher信息矩阵的主动深度学习方法包括 以下步骤： 步骤S101、选取若干不同的高斯分布函数，构建训练样本和测试样本； 步骤S103、利用稀疏自动编码器，对所述训练样本进行无监督自编码深度网络学习，并 在进行无监督自编码深度网络学习之后，再次对训练样本进行监督自编码深度网络学习， 得出训练样本分类结果； 步骤S105、利用稀疏自动编码器，将所述测试样本输入深度网络，得到测试样本分类结 果，并利用fisher信息矩阵算法公式，从测试样本分类结果中选取最小泛化误差样本； 步骤S107、将选取的所述最小泛化误差样本加入到所述训练样本分类结果中。 此外，所述的基于fisher信息矩阵的主动深度学习方法，还包括：在将选取的所 述最小泛化误差样本加入到所述训练样本分类结果中后，将测试样本中的该最小泛化误差 样本进行删除。 另外，所述的基于fisher信息矩阵的主动深度学习方法，还包括：在将选取的所 述最小泛化误差样本加入到所述训练样本分类结果中后，对训练样本分类结果进行分析， 并分析结果为训练样本分类结果与预定要求相符的情况下，终止训练，而在分析结果为训 练样本分类结果与预定要求不符的情况下，循环利用稀疏自动编码器和fisher信息矩阵 算法公式对训练样本和测试样本进行训练。 在上述方案中，选取若干不同的高斯分布函数为选取至少两种不同的高斯分布函 数。 为了方便理解本专利技术的上述技术方案，以下通过具体原理对本专利技术的上述技术方 案进行详细说明。 具体使用时：1)基于稀疏自编码算法： 自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输 入值，比如y = X。自编码神经网络尝试学习一个hw,b(x)的函数，Ovb(X)是输入为X的假 设输出，其中包含参数w，b，该输出应当与目标值y具有相同的维数，w是权重参数，b是相 对应的偏置向量，）即尝试逼近一个恒等函数，从而使输出f接近于输入X。在隐藏层神经 元数目较多的情况下，隐藏神经元加入稀疏性限制，自编码神经网络可以学习到数据的稀 疏表示形式。此时隐含层就是输入数据的重新表示，即学习到的新特征。因此，自编码神经 网络的目标函数为：其中，J(W，b)是整体样本代价函数，它包含权重衰减项。 使用表示隐藏神经元j的激活度，使用表示在给当前第1页1 2 本文档来自技高网...

【技术保护点】
一种基于fisher信息矩阵的主动深度学习方法，其特征在于，包括以下步骤：选取若干不同的高斯分布函数，构建训练样本和测试样本；利用稀疏自动编码器，对所述训练样本进行无监督自编码深度网络学习，并在进行无监督自编码深度网络学习之后，再次对训练样本进行监督自编码深度网络学习，得出训练样本分类结果；利用稀疏自动编码器，将所述测试样本输入深度网络，得到测试样本分类结果，并利用fisher信息矩阵算法公式，从测试样本分类结果中选取最小泛化误差样本；将选取的所述最小泛化误差样本加入到所述训练样本分类结果中。

【技术特征摘要】

【专利技术属性】
技术研发人员：王力哲，刘鹏，左亚青，
申请(专利权)人：中国科学院遥感与数字地球研究所，
类型：发明
国别省市：北京;11