【技术实现步骤摘要】
本专利技术涉及信息，具体讲是一种基于自主学习理论，对现有的深度置信网络进行了改进的addbn算法。
技术介绍
1、深度置信网络(deep belief networks，dbn)是由多层rbm组成，通常第一层为可见层，其余为隐含层。可见层作为输入接受层，用来接收输入信号，然后再将信号传输到隐藏层进行处理，隐藏层的层数是不固定的，由所处理数据的规模大小决定。一般来说，可见层和第一个隐藏层构成第一个rbm，第一个隐藏层和第二个隐藏层构成第二个rbm，依次连接，保证同层神经元无连接，层与层之间全连接。多个rbm组合可以提取出更合适更利于分类的特征，并最终将提取的特征数据输出。但dbn对优化后的特征缺乏好的分类处理能力。
技术实现思路
1、因此，为了解决上述不足，本专利技术在此提供一种能对特征进行自主决策的无监督学习算法；本专利技术所要解决的技术问题是：传统dbn本身的分类决策能力较弱。
2、本专利技术是这样实现的，构造一种能对特征进行自主决策的addbn算法，其特征在于；所述addbn算法既能够保留原始特征的属性并获取更利于分类的特征，同时也能对特征进行自主决策，所述addbn的步骤如下：
3、(1)确定学习目标，具体来说就是读取样本数据，并对addbn模型进行初始化操作，主要包括对样本数据的处理(归一化操作等)和划分(分为训练集和测试集)，初始化网络权值和偏移项；
4、(2)制定学习方法和学习基本原则，即对addbn模型中网络层数的选择，激励函数的选
5、(3)对addbn模型执行隐藏层神经元个数自主选择算法，确定每一层隐藏层的神经元个数；
6、(4)重新初始化网络参数，并训练dbn模型，将dbn最高隐藏层的数据输出出来；
7、(5)以(4)的输出作为输入，训练决策树模型；
8、(6)将测试样本数据输入模型，依据步骤对样本数据进行训练并输出分类结果，检验模型的泛化能力。
9、根据本专利技术所述一种能对特征进行自主决策的addbn算法，其特征在于；其中在dbn模块中，最为核心的是rbm的迭代过程：
10、rbm的可见层共有p个单元，隐藏层中有q个单元；可以得到rbm的能量函数如式(5-1)：
11、
12、其中vi和hj分别代表可见层单元和隐藏层单元，wif表示隐藏层单元和可见层单元之间的权重，ai表示可见层单元vi的偏置项，而bj则表示隐藏层单元hj的偏置项；
13、因为每一层之间都是相互独立的，所以容易得到(v,h)的联合概率分布，具体如式(5-2)：
14、
15、其中z表示可见层和隐藏层之间能量值的总和，具体计算如式5-3：
16、z＝∑v,he-e(v,h) (5-3)
17、由于层间的单元并不互相连接，所以当知道隐藏层或可见层的状态时，就可以求得隐藏层和可见层的激活概率，计算公式如5-4，5-5：
18、
19、
20、其中σ表示sigmoid函数；
21、rbm训练的核心目标就是求出模型的各个参数，可以用梯度下降法来求解，定义模型参数θ的似然函数如式5-6：
22、lnl(θ|v)＝ln∑he-e(v,h)-ln∑v,he-e(v,h) (5-6)
23、将权值和偏置项依次代入，即可得到权值和偏置项的梯度更新计算公式，分别如式5-7，5-8和5-9：
24、
25、
26、
27、计算过程中，由于联合概率分布计算量过大，故采用对比散度算法来训练rbm网络，依据公式5-7、5-8和5-9，当训练的数据样本为n时，得到权重和偏置项的参数调整公式如式5-10，5-11和5-12：
28、
29、
30、
31、其中v表示状态向量，s表示进行gibbs采样的次数。
32、本专利技术具有如下优点：本专利技术将dbn同决策树算法结合起来，组成具备自主决策能力的addbn(autonomous decidingdeep belief networks)算法。该算法首先利用深度置信网络对原始数据进行处理，提取出优化后的特征，随后利用决策树算法对提取出来的特征进行进一步分类处理，最终得到分类结果。addbn算法既能够保留原始特征的属性并获取更利于分类的特征，同时也能对特征进行自主决策。本专利技术的有益效果是：addbn算法既能够保留原始特征的属性并获取更利于分类的特征，同时也能对特征进行自主决策。
本文档来自技高网...【技术保护点】
1.一种能对特征进行自主决策的无监督学习算法，其特征在于；所述算法既能够保留原始特征的属性并获取更利于分类的特征，同时也能对特征进行自主决策，所述ADDBN的步骤如下：
2.根据权利要求1所述一种能对特征进行自主决策的无监督学习算法，其特征在于；其中在DBN模块中，最为核心的是RBM的迭代过程：
【技术特征摘要】
1.一种能对特征进行自主决策的无监督学习算法，其特征在于；所述算法既能够保留原始特征的属性并获取更利于分类的特征，同时也能对特征进行自主决策，所述addb...
【专利技术属性】
技术研发人员：邢建川，陈洋，周春文，曾凤，付鱼，辛旺，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。