一种基于人工蜂群的深度置信网络参数寻优方法及系统技术方案

本发明专利技术公开了一种基于人工蜂群的深度置信网络参数寻优方法及系统，方法包括：构建深度置信网络模型；以深度置信网络模型的学习率作为问题参数，以深度置信网络模型的能量函数作为目标函数，采用人工蜂群算法对深度置信网络模型的学习率进行迭代寻优，找出深度置信网络模型的最佳学习率和能量值最小情况下的网络参数，并以深度置信网络模型的最佳学习率和能量值最小情况下的网络参数作为深度置信网络的初始化参数。本发明专利技术利用了人工蜂群算法来进行深度置信网络参数寻优，提高了学习率的收敛速度和网络精度；以最佳学习率和能量值最小情况下的网络参数作为深度置信网络的初始化参数，提高了拟合度。本发明专利技术可广泛应用于数据挖掘领域。

A parameter optimization method and system for deep confidence network based on artificial bee colony

The invention discloses an artificial bee colony based on the depth of belief network parameter optimization and system, and method include: constructing the deep belief network model; with deep belief network model learning rate as parameters, with deep belief network model energy function as the objective function, the use of artificial bee colony algorithm optimization belief network model the depth of the learning rate, to find the optimal learning rate and energy deep belief network model under the condition of minimum value of network parameters, the optimal learning rate and energy and in a deep belief network model value network parameter minimum conditions as the depth of belief network initialization parameters. The invention uses the artificial bee colony algorithm for depth network parameter optimization and improve the learning rate of confidence, the convergence speed and the precision of the network; the best learning rate and energy values of network parameters in the case of minimal confidence as the depth of the initialization of the network parameters, improves the degree of fitting. The invention can be widely used in the field of data mining.

【技术实现步骤摘要】
一种基于人工蜂群的深度置信网络参数寻优方法及系统
本专利技术涉及数据挖掘领域，尤其是一种基于人工蜂群的深度置信网络参数寻优方法及系统。
技术介绍
随着“互联网+”时代的迅猛发展，数据快速增长，信息社会进入了大数据时代。由于大数据存在高维、复杂等特性，从数据中挖掘出有用的信息需要机器学习算法进行指导。在机器学习算法中，深度学习模拟人脑的机制解释数据，可自动通过组合低层特征形成高层的特征，在复杂函数上可以将其拆分成多步进行表达以减少复杂度。在深度学习算法中，深度置信网络(DBN)是一个含多隐层的网络模型，利用计算机模拟人脑的机制处理数据，在复杂函数的表示上只需较少的参数，且对复杂函数的泛化能力比浅层学习更强。深度置信网络具有很强的特征学习能力，通过逐层学习，自动提取特征构建新知识，使得网络分类更加简单。但是，深度置信网络在学习过程中对隐层层数以及对应的节点数、网络学习率等网络参数设定都缺乏严格的理论指导，一般依赖于人工经验，效率低，且当网络参数设定不适当时，易带来收敛速度慢或网络精度不够等问题(当网络参数设定值过大时，收敛速度较快但易造成网络不稳定；当网络参数设定值偏小时，虽可避免网络的本文档来自技高网...

【技术保护点】
一种基于人工蜂群的深度置信网络参数寻优方法，其特征在于：包括以下步骤：根据给定的训练样本和隐藏层节点数构建深度置信网络模型；以深度置信网络模型的学习率作为问题参数，以深度置信网络模型的能量函数作为目标函数，采用人工蜂群算法对深度置信网络模型的学习率进行迭代寻优，找出深度置信网络模型的最佳学习率和能量值最小情况下的网络参数，并以深度置信网络模型的最佳学习率和能量值最小情况下的网络参数作为深度置信网络的初始化参数。

【技术特征摘要】
1.一种基于人工蜂群的深度置信网络参数寻优方法，其特征在于：包括以下步骤：根据给定的训练样本和隐藏层节点数构建深度置信网络模型；以深度置信网络模型的学习率作为问题参数，以深度置信网络模型的能量函数作为目标函数，采用人工蜂群算法对深度置信网络模型的学习率进行迭代寻优，找出深度置信网络模型的最佳学习率和能量值最小情况下的网络参数，并以深度置信网络模型的最佳学习率和能量值最小情况下的网络参数作为深度置信网络的初始化参数。2.根据权利要求1所述的一种基于人工蜂群的深度置信网络参数寻优方法，其特征在于：所述以深度置信网络模型的学习率作为问题参数，以深度置信网络模型的能量函数作为目标函数，采用人工蜂群算法对深度置信网络模型的学习率进行迭代寻优，找出深度置信网络模型的最佳学习率和能量值最小情况下的网络参数，并以深度置信网络模型的最佳学习率和能量值最小情况下的网络参数作为深度置信网络的初始化参数这一步骤，具体包括：初始化深度置信网络模型的首层受限玻尔兹曼机，得到受限玻尔兹曼机模型的初始化参数W＝0,b＝0,c＝0，其中，W为可视层和隐藏层之间的权重矩阵，b为可视层偏置向量，c为隐藏层偏置向量；采用对比散度算法对首层受限玻尔兹曼机进行学习；对受限玻尔兹曼机模型的网络参数θ＝{W,b,c}进行更新,最终得到网络参数W,b,c；根据网络参数W,b,c计算受限玻尔兹曼机模型目标函数的值和适应度值；采用人工蜂群算法进行迭代优化操作，最终得到最佳学习率和能量值最小情况下的网络参数。3.根据权利要求2所述的一种基于人工蜂群的深度置信网络参数寻优方法，其特征在于：所述受限玻尔兹曼机模型的网络参数θ＝{W,b,c}的更新公式为：θn＝θn-1+η(<.>(0)-<.>(k))，其中，θn和θn-1分别为第n次和第n-1次迭代时的网络参数，η为受限玻尔兹曼机模型的学习率，<.>(0)为受限玻尔兹曼机模型的初始化参数，<.>(k)为受限玻尔兹曼机模型经过k步吉布斯采样后的结果。4.根据权利要求2所述的一种基于人工蜂群的深度置信网络参数寻优方法，其特征在于：根据网络参数W,b,c计算受限玻尔兹曼机模型目标函数的值和适应度值这一步骤，具体包括：根据网络参数W,b,c计算受限玻尔兹曼机模型目标函数的值E(v,h,θ)，所述受限玻尔兹曼机模型目标函数的值E(v,h,θ)计算公式为：E(v,h,θ)＝-cTh-bTv-vTWh，其中，v为受限玻尔兹曼机模型可视层的状态向量，h为受限玻尔兹曼机模型隐藏层的状态向量，T为转置；根据目标函数的值E(v,h,θ)计算受限玻尔兹曼机模型的适应度值，所述受限玻尔兹曼机模型的适应度值fit计算公式为：fit＝1+abs(E(v,h,θ))，其中，abs()为绝对值函数。5.根据权利要求4所述的一种基于人工蜂群的深度置信网络参数寻优方法，其特征在于：所述采用人工蜂群算法进行迭代优化操作，最终得到最佳学习率和能量值最小情况下的网络参数这一步骤，具体包括：初始化人工蜂群算法中蜂群数量SN，蜜源数量NP和最大迭代次数e；根据受限玻尔兹曼机模型的适应度值，采用人工蜂群算法通过寻找新蜜源，选择更新蜜源和观察蜂跟随来迭代求解学习率的最优解，其中，第i次迭代求解后得到的学习率的最优解中观察蜂的跟随概率pi的计算公式为：fiti为第i次迭代求解后受限玻尔兹曼机模型的适应度值；判断迭代次数是否已达到最大迭代次数e，若是，则输出最优学习率ηABC和能量值最小情况下的网络参数θABC＝{w,b,c}作为深度置信网络模型的初始化参数，反之，则返回...

【专利技术属性】
技术研发人员：潘丹，刘耿标，陈斌，吴超英，张艺楠，曾安，
申请(专利权)人：广东建设职业技术学院，
类型：发明
国别省市：广东,44