一种核增量型超限学习机、差分多种群灰狼混合优化方法技术

本发明专利技术属于数据分析技术领域，公开了一种核增量型超限学习机、差分多种群灰狼混合优化方法；针对核增量型超限学习机(KI‑ELM)存在学习效率较低及准确性差的冗余节点的问题；本发明专利技术首先利用差分进化算法和多种群灰狼优化算法，提出一种混合智能优化算法——差分多种群灰狼优化算法，对隐含层节点参数进行优化，确定有效的节点数量，以降低网络复杂度，提升网络的学习效率；其次将深度结构引入到核增量型超限学习机中，对输入数据进行逐层抽取，实现数据高维映射分类，提高算法的分类精度和泛化性能。仿真实验结果表明：本发明专利技术所提出的混合智能的深度核增量型超限学习机具有良好的预测精度和泛化能力，网络结构更为紧凑。

【技术实现步骤摘要】
一种核增量型超限学习机、差分多种群灰狼混合优化方法
本专利技术属于数据分析
，尤其涉及一种核增量型超限学习机、差分多种群灰狼混合优化方法。
技术介绍
目前，业内常用的现有技术是这样的：人工神经网络通过对生物神经元网络进行抽象模拟对数据进行分析，从而实现数据分类、系统辨识、函数近似以及数值估计等功能。但传统的单隐层前向神经网络(SingleHiddenLayerFeedforwardNeuralNetworks，SLFNS)训练效率低，学习能力不强，在学习算法中需要更新网络的所有参数。一种超限学习机(ExtremeLearningMachine，ELM)算法，相对于传统的神经网络，ELM中的隐层节点参数均随机产生，避免繁琐的迭代过程，并且其输出权值是通过矩阵的广义逆求解而得到。在保证网络学习性能和网络结构良好泛化性能的基础上，ELM极大的提高了训练样本的训练速度，避免了局部极小和收敛速度慢等问题。一种标准优化方法，将ELM用于分类问题，然后证明了将ELM用于任意多分类问题的可行性，取得了良好的实验结果。同时，为进一步提高ELM的性能，引入类别权值，使得ELM可以用于解决非平衡学习等复杂问题。目前，在人脸识别、语音识别、车牌识别、电力系统模式识别领域ELM得到了广泛的应用，但由于识别类别标签较多。训练样本较少、特征描述不充分等特点，使得ELM在传统分类时会出现识别准确率不理想的情况。因此，如何保证ELM自身训练速度快、学习性能好等优点的前提下，进一步提升ELM的整体分类性能和识别准确率成为目前研究的热点。传统的超限学习机通常采用较高维数的网络结构以获取较强的学习能力，但最优隐含层节点数目以及控制模型规模等问题难以解决，针对此问题，提出增量型超限学习机(IncrementalExtremeLearningMachine，I-ELM)，采用相应的增量型算法自适应选择隐含层节点数目，并且实时更新输出权值。Huang对I-ELM算法进行优化改进，利用优化算法选取有效隐层节点构造网络，提出了EnhancedIncrementalExtremeLearningMachine，EI-ELM)，一定程度上降低了ELM的网络复杂度。可是网络规模过大时，EI-ELM的循环次数大幅度增加，影响泛化能力。提出Barron优化的超限学习机(ConvexIncrementalExtremeLearningMachine，CI-ELM)，重新计算隐含层节点增加后的现有节点输出权值，以获取较高的收敛速率。一种混合增量式超限学习机，利用混沌优化算法对隐含层节点参数进行优化。然而，目前的I-ELM仍然存在一下急需解决的问题：如冗余节点过多导致网络结构过于复杂，降低了学习效率；收敛速率较低，隐含层节点数目超过学习样本数目；对新数据较为敏感，在线预测能力不强。ELM的训练速度和精度受相关参数组合方式影响，因此，如何一定程度上确定ELM的参数组合同时也成为了目前研究的热点方向。基于仿生学的智能优化算法优化组合ELM算法以提高其训练速度和精度性能已经成为当今的研究热点。基于差分进化算法提出进化超限学习机；采用自适应差分进化算法优化隐层节点参数，然后采用MP广义逆求解输出权值；采用改进的粒子群算法优化隐层节点参数；一种混合智能超限学习机，利用差分进化和粒子群算法混合优化隐层节点参数。然而混合智能优化算法存在以下两个问题：差分进化算法全局寻优能力较强但会出现早熟收敛，粒子群算法可进行局部寻优但速度较慢。目前，深度学习和ELM相结合成为ELM又一个研究热点，借鉴于深度学习优越的特征提取能力，提高ELM的参数性能。提出一种多层超限学习机，兼容深度学习优秀的特征提取能力以及ELM快速的训练能力；引入核函数，提出一种深度核超限学习机，并且将其用于航空发动机部件故障诊断，以提高诊断精度。综上所述，现有技术存在的问题是：现有的核增量型超限学习机(KI-ELM)存在学习效率较低及准确性差的冗余节点。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种核增量型超限学习机、差分多种群灰狼混合优化方法。本专利技术是这样实现的，一种核增量型超限学习机，所述核增量型超限学习机的核矩阵表示为：KELM＝HHT＝h(xi)·h(xj)＝K(xi,xj)。本专利技术的另一目的在于提供一种应用所述核增量型超限学习机的差分多种群灰狼混合优化方法，所述核增量型超限学习机的差分多种群灰狼混合优化方法首先利用差分进化算法和多种群灰狼优化算法，提出混合智能优化算法—差分多种群灰狼优化算法，对隐含层节点参数进行优化，确定有效的节点数量；其次将深度结构引入到核增量型超限学习机中，对输入数据进行逐层抽取，实现数据高维映射分类。进一步，所述核增量型超限学习机的差分多种群灰狼混合优化方法包括：步骤一：训练样本(xi,ti)，xi＝[xi1，xi2，…xin]T，ti∈R，期望的网络输出函数误差为η，输出的预测误差为神经网络的隐含层节点数L＝0，网络误差迭代次数k＝0；步骤二，设隐含层节点L＝L+λ，当λ＝1时，表示在HI-DKIELM中隐含层节点数为单一个数增加，当λ>1时，表示隐含层节点数量为组群增加；步骤你，计算预测误差：步骤四，利用差分多种群灰狼优化算法计算最优隐含层节点参数并在此基础上计算输出权值步骤五，计算输出误差：若训练终止，否则返回步骤二；步骤六，t时刻为At，t+1时刻为At+1，对参数At+1求逆；步骤七，在线更新数据，计算输出步骤八，算法终止。进一步，所述差分多种群灰狼优化算法包括：步骤一，在解空间随机产生优化问题的N个D维的解作为初始种群，初始化总进化代数Iitermax，子种群进化代数Iiter，步骤二，将种群随机平均分割成Nk个子种群；步骤三，在Nk个子种群中随机选取k个子种群，分别利用差分进化算法迭代计算Iiter代，对于剩下的Nk-k个子种群，再次分成3个灰狼种群，利用多种群灰狼优化算法迭代计算Iiter代，记录在迭代过程中整个种群的最优值变化情况；步骤四，混合Nk个子种群获得新的种群，判断子种群混合次数是否达到Cn次，如果是，算法停止，如果否，转步骤二；步骤五，算法停止。本专利技术的另一目的在于提供一种应用所述核增量型超限学习机的差分多种群灰狼混合优化方法的生物神经元网络数据分析系统。本专利技术的另一目的在于提供一种应用所述核增量型超限学习机的差分多种群灰狼混合优化方法的信息数据处理终端。综上所述，本专利技术的优点及积极效果为：在增量型核超限学习机基础上，引入深度网络，提出深度核增量型超限学习机，利用深度网络结构对数据进行多层抽取以获取有效特征，提升分类精度；本专利技术结合多种群灰狼优化算法和差分进化算法，提出一种差分多种群灰狼优化算法，对输出权值进行混合智能优化，利用多种群灰狼优化算法的全局搜索能力和差分进化算法的局部搜索能力混合智能对I-ELM中的隐含层节点参数进行优化，提升ELM的速度和分类精度。本专利技术将深度网络结构和增量型核超限学习机相结合，在实现深度核增量型核超限学习机的基础上实现数据的高维空间映射分类，提升算法的分类精度和泛化性能；基于多种群灰狼优化算法和差分进化算法，提出一种新的混合智能优化算法，将其用于优化ELM的隐层节点参数，以获取最优输出权值。本本文档来自技高网...

【技术保护点】
1.一种核增量型超限学习机，其特征在于，所述核增量型超限学习机的核矩阵表示为：KELM＝HHT＝h(xi)·h(xj)＝K(xi,xj)。

【技术特征摘要】
1.一种核增量型超限学习机，其特征在于，所述核增量型超限学习机的核矩阵表示为：KELM＝HHT＝h(xi)·h(xj)＝K(xi,xj)。2.一种应用权利要求1所述核增量型超限学习机的差分多种群灰狼混合优化方法，其特征在于，所述核增量型超限学习机的差分多种群灰狼混合优化方法首先利用差分进化算法和多种群灰狼优化算法，提出混合智能优化算法—差分多种群灰狼优化算法，对隐含层节点参数进行优化，确定有效的节点数量；其次将深度结构引入到核增量型超限学习机中，对输入数据进行逐层抽取，实现数据高维映射分类。3.如权利要求2所述的核增量型超限学习机的差分多种群灰狼混合优化方法，其特征在于，所述核增量型超限学习机的差分多种群灰狼混合优化方法包括：步骤一：训练样本(xi,ti)，xi＝[xi1，xi2，…xin]T，ti∈R，期望的网络输出函数误差为η，输出的预测误差为神经网络的隐含层节点数L＝0，网络误差迭代次数k＝0；步骤二，设隐含层节点L＝L+λ，当λ＝1时，表示在HI-DKIELM中隐含层节点数为单一个数增加，当λ>1时，表示隐含层节点数量为组群增加；步骤你，计算预测误差：步骤四，利用差分多种群灰狼优化算法计算最优隐含层...

【专利技术属性】
技术研发人员：李亚，吴迪，
申请(专利权)人：湖南工程学院，
类型：发明
国别省市：湖南,43