基于神经元显著性的前馈神经网络结构自组织方法技术

本发明专利技术公开了一种基于神经元显著性的前馈神经网络结构自组织方法，涉及神经网络技术领域，针对传统前馈神经网络结构选取困难的问题，本发明专利技术提出的方法根据隐含层神经元的显著性大小动态调整神经网络的网络结构。实验结果表明：改进后的算法能够降低网络结构选取的盲目性，实现了网络结构的动态优化调整，提高了网络识别的精度。其在非线性系统辨识、数据分类和工程类缺陷类型识别上均具备较高的精度。

Self organizing method of feedforward neural network structure based on neuron saliency

The invention discloses a method of self organization neural network structure based on the saliency of neurons, relates to the field of neural network technology, the traditional feedforward neural network structure selection problem, the method according to the network structure of neurons in the hidden layer was the size of a dynamic adjustment of neural network. The experimental results show that the improved algorithm can reduce the blindness of network structure selection, realize the dynamic optimization adjustment of network structure, and improve the accuracy of network identification. It has high accuracy in nonlinear system identification, data classification and engineering defect type identification.

【技术实现步骤摘要】
基于神经元显著性的前馈神经网络结构自组织方法
本专利技术涉及神经网络
，特别是涉及基于神经元显著性的前馈神经网络结构自组织方法。
技术介绍
人工神经网络，是20实际80年代以来人工智能领域兴起的研究热点。他从信息处理的角度对人脑神经元网络进行了抽象，建立起了一种类似人脑的数学模型，按不同的连接方式组成不同的网络。前馈神经网络作为一种误差反向传播网络，是目前人工神经网络研究领域应用最为广泛的网络。前馈神经网络，是一种信息正向传播，误差反向传播的一种神经网络；是一种三层或者三层以上的多层神经网络，每一个神经元都与右边的每个神经元全连接，但是上下两层的各神经元之间无连接。在前馈神经网络的具体使用过程中，需要首先对其网络的结构进行初始化，网络结构的选择取决于训练数据的复杂程度和整个系统的复杂程度。而确定网络结构的重点是确定网络的隐含层节点个数，目前最为普遍的方法为利用经验公式进行试凑选取，但此方法过于繁琐，需要进行不断尝试，而且此方法没有统一的理论作为支撑，缺乏科学性。传统的前馈神经网络有以下缺点：1、局部极小问题：传统的BP算法为一种局部搜的优化方法，它要解决一个复杂非线性化问题，网络的权值是通过沿局部改善的方向逐渐进行调整的，这样会使算法陷入局部极值，权值收敛到局部极小点，从而导致网络训练失败。2、收敛速度慢：BP算法本质为梯度下降算法，它所要优化的目标函数是非常复杂的，而且大量的训练数据使得BP算法效率低下，导致了网络收敛速度慢的现象。3、神经网络结构选择不一：神经网络结构的选择至今尚无一种统一而完整的理论指导，一般只能由经验选定。网络结构选择过大，训练中效率不高，可能出现过拟合现象，造成网络性能低，容错性下降，若选择过小，则又会造成网络可能不收敛。而网络的结构直接影响网络的逼近能力及推广性质。因此，应用中如何选择合适的网络结构是一个重要的问题。4、通用能力差：传统的神经网络结构具有唯一性，即与训练数据具有一一对应关系，这使得BP神经网络的通用性下降，限制了前馈神经网络的发展。
技术实现思路
本专利技术实施例提供了基于神经元显著性的前馈神经网络结构自组织方法，可以解决现有技术中存在的问题。一种基于神经元显著性的前馈神经网络结构自组织方法，包括以下步骤：(1)系统建模；(2)网络初始化；(3)训练网络；(4)判断当前训练得到的隐含层第j个节点是否满足增长条件，若是，进入步骤(5)，否则进入步骤(6)；(5)在隐含层中增加神经元并再次训练网络；(6)判断是否达到预设的训练次数，如果是，进入步骤(7)，否则返回步骤(3)；(7)训练网络；(8)判断当前得到的隐含层第j个节点是否满足删减条件，若是，进入步骤(9)，否则进入步骤(10)；(9)删除隐含层对应的神经元，将删除的神经元的连接权值增加到目前显著性最大的神经元，并训练网络；(10)判断是否达到预设的训练次数，如果是则进入步骤(11)，否则返回步骤(7)；(11)用新参数训练网络；(12)带入测试数据测试网络，流程结束。本专利技术实施例中的基于神经元显著性的前馈神经网络结构自组织方法存在以下优点：1、明显提升了前馈神经网络结构选取的合理性和科学性。2、通过增长算法使网络的结构更加合理化，在保证准确率的前提下明显提升了网络的收敛速度。3、通过修剪算法消除网络结构中存在的冗余节点，较小了网络误差，提高了网络的准确性。4、增长-修剪算法的提高了前馈神经网络结构的自适应能力，使网络的使用领域更宽、通用性更强。5、本方法在非线性系统辨识、模式分类和工程缺陷识别等方面具有较广泛的应用价值。结构自组织的特点使本方法在实际问题中有非常优秀的自适应能力。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为三层前馈网络的基本结构；图2为本专利技术基于神经元显著性的前馈神经网络结构自组织方法的流程图；图3为增长算法的示意图；图4为删减算法的示意图；图5为本专利技术第一实施例中隐含层神经元个数变化曲线；图6为网络测试结果示意图；图7为提取的语音信号示意图；图8为语音信号分类算法流程图；图9为本专利技术第二实施例中隐含层节点个数变化曲线；图10为网络分类误差；图11为本专利技术第三实施例中隐含层节点个数变化曲线；图12为识别结果示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在介绍本专利技术的技术方案前，先介绍一些基本知识：1、前馈神经网络简介(IntroductionofFeedforwardneuralnetwork)前馈神经网络是目前应用最广泛的神经网络模型之一，它能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的基本网络结构包含三层或者三层以上的神经元，每一个神经元都与右边的每个神经元全连接，但是上下两层的神经元之间无连接，一个三层的前馈神经网络如图1所示。2、BP算法(BPalgorithm)BP算法训练FNN的学习规则基于梯度下降算法，通过误差反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。(1)网络初始化。设输入层、隐含层、输出层神经元个数分别为：L，N，M，设训练样本集为X＝[x1，x2，…，xi，…，xL]T，期望响应h＝[h1，h2，…，hj，…，hN]T，实际输出为Y＝[y1，y2，…，yk，…，yM]T；输入层节点i到隐含层节点j的连接权值为whij，隐含层节点j到输出层节点k的连接权值为wojk。隐含层神经元的激励函数采用sigmoid函数，输入层和隐含层的神经元采用线性求和函数。(2)工作信号正向传播工作信号从输入层经隐含层处理，直至输出层产生输出信号。第n次训练时隐含层第j个神经元的输入为：隐含层第j个神经元的输出为：hj(n)＝f(uj(n))j＝1,2,…,N(2)输出层第k个神经元的输出为：输出层第k个神经元的输出误差为：ek(n)＝dk(n)-yk(n)(4)3)误差反向传播及权值调整如果在输出层不能得到期望的输出，则转入误差反向传播。根据BP反向传播的原则，权值的改变量与误差的负梯度成正比，由梯度下降算法，网络权值的更新公式为：其中，J表示训练指标如式(7)所示，sigmoid函数的求导过程由式(8)所示：h'j(n)＝hj(n)·(1-hj(n))(8)所以，第n+1次权值的更新为：wojk(n+1)＝wojk(n)+Δwojk(n)(9)whij(n+1)＝whij(n)+Δwhij(n)(10)式(1～10)为FNN的BP算法训练过程，通过多次训练，改进权值，最后得到理想的网络。参照图2，本专利技术实施例提供了一种基于神经元显著性的前馈神经网络结构自组织方法，该方法包括以下步骤：步骤100，系统建模。步骤110，网络初始化。步骤120，训练网络。步骤130，判断当前本文档来自技高网...

【技术保护点】
一种基于神经元显著性的前馈神经网络结构自组织方法，其特征在于，包括以下步骤：(1)系统建模；(2)网络初始化；(3)训练网络；(4)判断当前训练得到的隐含层第j个节点是否满足增长条件，若是，进入步骤(5)，否则进入步骤(6)；(5)在隐含层中增加神经元并再次训练网络；(6)判断是否达到预设的训练次数，如果是，进入步骤(7)，否则返回步骤(3)；(7)训练网络；(8)判断当前得到的隐含层第j个节点是否满足删减条件，若是，进入步骤(9)，否则进入步骤(10)；(9)删除隐含层对应的神经元，将删除的神经元的连接权值增加到目前显著性最大的神经元，并训练网络；(10)判断是否达到预设的训练次数，如果是则进入步骤(11)，否则返回步骤(7)；(11)用新参数训练网络；(12)带入测试数据测试网络，流程结束。

【技术特征摘要】
1.一种基于神经元显著性的前馈神经网络结构自组织方法，其特征在于，包括以下步骤：(1)系统建模；(2)网络初始化；(3)训练网络；(4)判断当前训练得到的隐含层第j个节点是否满足增长条件，若是，进入步骤(5)，否则进入步骤(6)；(5)在隐含层中增加神经元并再次训练网络；(6)判断是否达到预设的训练次数，如果是，进入步骤(7)，否则返回步骤(3)；(7)训练网络；(8)判断当前得到的隐含层第j个节点是否满足删减条件，若是，进入步骤(9)，否则进入步骤(10)；(9)删除隐含层对应的神经元，将删除的神经元的连接权值增加到目前显著性最大的神经元，并训练网络；(10)判断是否达到预设的训练次数，如果是则进入步骤(11)，否则返回步骤(7)；(11)用新参数训练网络；(12)带入测试数据测试网络，流程结束。2.如权利要求1所述的方法，其特征在于，所述的增长条件为：pj(n)>GTH(n)(1)其中，n表示第n次训练，pj(n)为增长指数，由式(2)计算得到，GTH(n)为增长阈值，由式(3)计算得到：其中，M为输出层节点个数，N为隐含层节点个数，wojk(n)为第n次训练时隐含层第j个节点到输出层第k个节点的连接权值，hj(n)为第n次训练时隐含层第j个神经元的输出；其中，α为增长分散系数。3.如权利要求2所述的方法，其特征在于，新增节点与输入层和输出层之间...

【专利技术属性】
技术研发人员：韩广，成琦，孙晓云，刘少哲，吴世星，
申请(专利权)人：石家庄铁道大学，
类型：发明
国别省市：河北,13