一种动态深度置信网络分析方法技术

本发明专利技术涉及深度学习领域的一种基于深度置信网络的动态网络结构训练分析方法。本发明专利技术的目的在于克服深度置信网络的几点不足，提供一种基于深度置信网络的由整体至特殊的动态网络结构训练分析策略。该策略参考人类识别物体时大脑的分析策略，引入细致化分析的过程。该策略针对分类问题，在训练阶段产生两种网络，包括一个全局网络和若干个针对具体的各个类别的特殊网络。在预测阶段，综合考虑两种网络的输出结果，使得整个模型的预测更加具有针对性，从而提高分类模型的准确性。

【技术实现步骤摘要】
一种动态深度置信网络分析方法
本专利技术涉及深度学习领域的一种基于深度置信网络的动态网络结构训练分析方法。技术背景●深度置信网络深度置信网络(Deepbeliefnetwork,DBN)是深度学习领域的一种概率生成模型，该模型由GeoffreyHinton在他于2006年发表的论文“AFastLearningAlgorithmForDeepBeliefNets”中提出，通常用于分类。与传统的判别模型的神经网络相对，深度置信网络用于建立一个观察数据和标签之间的联合分布。理论上，对于神经网络结构，隐藏层的层数越多，模型的表达力能也就越强。但当网络层数逐渐加深的时候，使用传统的梯度下降算法来优化参数会产生一些问题。比如当计算最前面几层网络层的误差时，梯度值会非常小，如此造成这几层链接的权重修改过小，产生所谓的“梯度消失”问题。深度置信网络通过逐层非监督地训练的方法，先求取比较接近最优解的初始权重，从而成功地避免了这类问题。这使得神经网络可以真正地增加其深度，使其性能大幅地提高。深度置信网络也真正开启了深度学习领域的研究热潮。深度置信网络由一些包含多个节点的网络层组成，这些网络层以一个输入层为起始,若干个隐藏层为中间结构，再以一个输出层为结束。每层的节点与其相邻层的节点均一一相连。可将深度置信网络看成由一堆受限的玻尔兹曼机(RestrictedBoltzmannMachines,RBMs)组成的网络，在这堆受限的玻尔兹曼机中，每个隐藏层都被当做下一个隐藏层的可见层。网络参数的训练分为两个步骤——预训练和微调。在预训练阶段，深度置信网络采用逐层无监督的方法来学习节点与节点之间连接的权重值和偏置。首先将输入层和第一个隐藏层h1视作一个受限玻尔兹曼机，其中输入层为可视层，h1为隐层。基于未标签的数据集，深度置信网络使用对比散度算法(ContrastiveDivergence，CD)去学习两个层之间链接的参数。之后将h1视为另一个受限玻尔兹曼机的可视层，将第二个隐藏层h2视为其隐层，用同样的方法训练得到h1与h2之间链接的参数。如此逐层地训练，直至除输出层外所有层之间的链接都有较好的初始权重和偏置。之后进入微调阶段，给训练好的模型加入一个输出层，基于标签好的数据集，通过反向传播算法(BackPropagation，BP)有监督训练调整整个网络的参数。最终获得完整的训练模型。深度置信网络由几点明显的不足：1、模型训练时力求寻找到整个训练集所有数据的综合最优拟合，并不考虑某些特殊类；2，整个模型训练完成后便不会再更改，所有的测试集数据都输入到一个模型里进行预测，虽然便捷但是缺乏一定的针对性。
技术实现思路
本专利技术的目的在于克服深度置信网络的几点不足，提供一种基于深度置信网络的由整体至特殊的动态网络结构训练分析策略。该策略参考人类识别物体时大脑的分析策略，引入细致化分析的过程。该策略针对分类问题，在训练阶段产生两种网络，包括一个全局网络和若干个针对具体的各个类别的特殊网络。在预测阶段，综合考虑两种网络的输出结果，使得整个模型的预测更加具有针对性，从而提高分类模型的准确性。本专利技术技术方案为：一种基于深度置信网络的动态网络结构训练分析方法，其特征在于，该训练分析策略，包括：一，训练阶段：在训练阶段，需获取一个全局网络和包含一系列特殊网络的网络池。首先，以全部的训练集有监督地训练全局网络。在训练完该全局网络后，针对每个类再基于全局网络来训练一个特殊的针对性网络，该网络去掉对该类的分类结果产生干扰的节点，从而使得这一具体的类的分类性能更加强大。这一系列特殊网络的训练基于Fisher判别函数。在训练第i类的特殊网络时，先将整个训练集重新划分为两类，即除了第i类的实例，其它实例都合并为一类，称之为非i类(记为)。将划分后的两类实例集重新输入至全局网络，则可根据每个节点的输出，计算该节点的Fisher值，第j个节点的Fisher计算式子如下：其中与分别是该节点的类间散度和类内散度，Nr是第r类实例的数量，是第r类实例在j节点所有输出的平均值，是所有实例在j节点所有输出的平均值，而Oj(xr)是实例xr在j节点的输出。一个节点的Fisher值较高则代表着该节点区分i类和类实例的能力较强，否则则能力较弱。只删除最后一层隐层中低Fisher值的节点。将该层所有节点的Fisher值求平均，则该平均值作为第i类特殊网络的阈值，所有Fisher值低于该阈值的节点及其相连的连接都被删除，以上为步骤①。进一步处理输出层，将输出层除i类的其它输出节点删除，再添加一个类的输出节点，并且将其与最后一层隐藏层的所有剩余节点相连，初始化这些新的连接，以上为步骤②。完成后，重新利用两类实例对剩余的网络结构进行再训练，最终获得第i类特殊网络，以上为步骤③。对每个类都执行一次以上三个完整步骤过程，则在训练阶段结束后将获得所有类的特殊网络。二，预测阶段：在预测阶段，采取由整体至特殊的分级的分类策略。即首先做个整体的初步分析，获得最有可能两个类。再根据结果看是否需要进一步分析，从这两个类中选择最终的分类预测结果。预测某一个实例的类别x，首先将该实例输入至全局网络。根据结果，先查看输出概率最大的类C1的概率P(y＝C1|Mg,x)是否大于设定的置信阈值(Mg即全局网络，Mc1和Mc2分别指C1和C2类的特殊网络)。若是，则证明该预测的结果是高度可信的，此时将C1作为最终的预测结果，该实例的预测阶段结束。若否，则再获取全局网络输出概率次大的类C2，再进行进一步的细致化分析。将该实例输入至C1和C2的特殊网络，得到两个输出P(y＝C1|Mc1,x)和P(y＝C2|Mc2,x)。比较这两个输出的值，哪个更大则将其代表的类别作为x的预测类别输出。本专利技术给出的基于深度置信网络的由整体至特殊的动态网络结构训练分析策略，综合考虑两种网络的输出结果，使得整个模型的预测更加具有针对性，从而提高分类模型的准确性。附图说明图1第i类特殊网络的训练过程图2动态预测分析策略流程图图3整个训练分析方法的示意图图4车牌数据库与手写数字数据库的部分实例具体实施方法为实现本专利技术目的，本专利技术给出的训练分析策略为：1，训练阶段：在训练阶段，需获取一个全局网络和包含一系列特殊网络的网络池。首先，以全部的训练集有监督地训练一个完整的深度置信网络，该网络在本专利技术中被称为全局网络。由深度置信网络原理可知，该网络的目的是最大化地区分所有类别的不同，而并没有针对某个具体的类进行优化。因此，该网络在分析某个类的具体实例时，有部分网络内节点的输出反而会成为干扰，影响最终的分类结果。为此，在训练完该全局网络后，针对每个类，再基于全局网络来训练一个特殊的针对性网络，该网络去掉对该类的分类结果产生干扰的节点，从而使得这一具体的类的分类性能更加强大。这一系列特殊网络的训练基于Fisher判别函数。在训练第i类的特殊网络时，先将整个训练集重新划分为两类，即除了第i类的实例，其它实例都合并为一类，称之为非i类(记为)。将划分后的两类实例集重新输入至全局网络，则可根据每个节点的输出，计算该节点的Fisher值，第j个节点的Fisher计算式子如下：其中与分别是该节点的类间散度和类内散度，Nr是第r类实例的数量，是第r类实例在j节点本文档来自技高网...

【技术保护点】
1.一种基于深度置信网络的动态网络结构训练分析方法，其特征在于，该训练分析策略，包括：一，训练阶段：在训练阶段，需获取一个全局网络和包含一系列特殊网络的网络池；首先，以全部的训练集有监督地训练全局网络；在训练完该全局网络后，针对每个类再基于全局网络来训练一个特殊的针对性网络，该网络去掉对该类的分类结果产生干扰的节点，从而使得这一具体的类的分类性能更加强大；这一系列特殊网络的训练基于Fisher判别函数；在训练第i类的特殊网络时，先将整个训练集重新划分为两类，即除了第i类的实例，其它实例都合并为一类，称之为非i类(记为

【技术特征摘要】
1.一种基于深度置信网络的动态网络结构训练分析方法，其特征在于，该训练分析策略，包括：一，训练阶段：在训练阶段，需获取一个全局网络和包含一系列特殊网络的网络池；首先，以全部的训练集有监督地训练全局网络；在训练完该全局网络后，针对每个类再基于全局网络来训练一个特殊的针对性网络，该网络去掉对该类的分类结果产生干扰的节点，从而使得这一具体的类的分类性能更加强大；这一系列特殊网络的训练基于Fisher判别函数；在训练第i类的特殊网络时，先将整个训练集重新划分为两类，即除了第i类的实例，其它实例都合并为一类，称之为非i类(记为)；将划分后的两类实例集重新输入至全局网络，则可根据每个节点的输出，计算该节点的Fisher值，第j个节点的Fisher计算式子如下：其中与分别是该节点的类间散度和类内散度，Nr是第r类实例的数量，是第r类实例在j节点所有输出的平均值，是所有实例在j节点所有输出的平均值，而Oj(xr)是实例xr在j节点的输出；一个节点的Fisher值较高则代表着该节点区分i类和类实例的能力较强，否则则能力较弱；只删除最后一层隐层中低Fisher值的节点；将该层所有节点的Fisher值求平均，则该平均值作为第i类特殊网络的阈值，所有Fisher值低于该阈值的节...

【专利技术属性】
技术研发人员：何良华，胡仁杰，罗裕隽，莫文闻，侍海峰，刘洪宇，王予沁，任强，刘晓洁，蔡冠羽，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31