前馈网络的自适应动态协同粒子群优化方法技术

本发明专利技术揭示了一种前馈网络的自适应动态协同粒子群优化方法，包括：S1、对粒子进行初始化，初始化子种群；S2、记录粒子个体极值pi，每个子种群极值pn，全局极值pg；S3、以每个子种群pn优劣给子种群排序，并确定子种群的协同粒子个数；S4、子种群中的粒子向其自身极值pi和子种群极值pn学习；S5、随机从其它子种群中的选取协同粒子，协同粒子向其自身极值pi和子种群极值pn学习，并根据粒子优劣随时更新协同学习粒子的自身极值和其所在子种群的社会极值；S6、根据S4、S5依次更新粒子信息后，随机从较差子种群中选取少于两个粒子，使其成为现在较优子种群中的一员；S7、满足所有停止条件，停止计算，否则转入S2进行下一次迭代。本发明专利技术可提高网络学习能力和识别能力。

【技术实现步骤摘要】
【专利摘要】本专利技术揭示了一种，包括：S1、对粒子进行初始化，初始化子种群；S2、记录粒子个体极值pi，每个子种群极值pn，全局极值pg；S3、以每个子种群pn优劣给子种群排序，并确定子种群的协同粒子个数；S4、子种群中的粒子向其自身极值pi和子种群极值pn学习；S5、随机从其它子种群中的选取协同粒子，协同粒子向其自身极值pi和子种群极值pn学习，并根据粒子优劣随时更新协同学习粒子的自身极值和其所在子种群的社会极值；S6、根据S4、S5依次更新粒子信息后，随机从较差子种群中选取少于两个粒子，使其成为现在较优子种群中的一员；S7、满足所有停止条件，停止计算，否则转入S2进行下一次迭代。本专利技术可提高网络学习能力和识别能力。【专利说明】
本专利技术属于模式分类领域。本文设计出一种动态自适应的协同粒子群算法优化前 馈网络，在人脸识别、笑脸识别、性别识别等领域有很广泛的应用。
技术介绍
神经网络以其自学习、自组织、容错特性以及模拟非线性关系的能力使其特别适 合解决模式分类问题。Hornik证明三层前馈神经网络能够以任意精度模拟复杂的非线性关 系。神经网络上述性能的实现，依赖于在一个良好目标函数的指引下，对神经 网络结构和权值的充分训练，从而实现在有限的学习样本集中获得整个种群的规律。神经网络结构，目标函数和学习算法对网络性能具有决定性作用。为了提高神经网络的学习能力，研究者先后采用BP算法，遗传算 法和粒子群算法优化前馈网络参数。但在实际应用中，算法 往往易于陷入局部极值或学习效率不高等问题，导致神经网络的泛化能力不足。1992年， Moody通过证明，对于已经达到一定训练精度的神经网络，其网络的有效参数越少网络的性 能越优。从而为了更好的提高网络的泛化能力，研究者在网络结构中加入连 接权的开关系数，同时优化网络的连接权值和开关系数，精简网络有效参数，从而进一步提 高网络的泛化性能。同时，神经网络结构复杂性对网络的性能有很大的影 响:规模过小神经网络,处理固有复杂问题的能力不足;规模 过大神经网络，虽然具有较好的学习精度，但容易陷入“过拟合”[参考文献9]，而且需要较大的存储空间和计算时间。对于三层前馈网络结构优化算法 比较著名是隐层神经元增长型、删减型和遗传算法。对于增长型或者删减型的神经网络结构优化算法，受初始化网络结构的影响较大， 而且网络结构均朝一个方向进行寻优，容易错失最佳网络结构。同时，对于遗传算法，当其 寻优到最优解附近时，收敛速度缓慢，容易陷入局部极值，而且遗传算法的 运行时间和计算复杂度是随问题规模呈指数增长的。同遗传算法相比，粒子 群算法增加了记忆功能，算法实现更简单，寻优性能更稳定，粒子群算法越来越多的应用在 传统遗传算法求解问题中。文献成功实现了在基本粒子群算法优化网络权 值的同时，采用离散二进制粒子群算法优化网络结构。但离散二进制粒子群算法是一种间 接的优化策略，没有能充分应用粒子群算法的寻优性能。同时上述算法均以训练样本均方误差作为网络的目标函数，本身就意味着:只要 拟合曲线经过训练样本就可以了，导致算法有无穷多个相等的全局最小点(值为0)，但符 合网络拟合曲线只有一条。算法采用这种目标函数，容易陷入局部极值，从 而导致网络泛化能力不足。有鉴于此，如今迫切需要设计一种新的优化算法，以克服现有方法的上述缺陷。
技术实现思路
本专利技术所要解决的技术问题是:提供一种前馈网络的自适应动态协同粒子群优化 方法，可提高网络学习能力和识别能力。为解决上述技术问题，本专利技术采用如下技术方案:一种，其特征在于，所述方法包括如 下步骤:步骤S1、对粒子进行初始化，并由目标函数，初始化子种群；步骤S2、记录粒子个体极值Pi，每个子种群极值pn，全局极值Pg ；步骤S3、以每个子种群Pn优劣给子种群排序，并确定子种群的协同粒子个数；步骤S4、子种群中的粒子向其自身极值Pi和子种群极值pn学习；步骤S5、随机从其它子种群中选取协同粒子，协同粒子向其自身极值Pi和子种群 极值Pn学习，并根据粒子优劣随时更新协同学习粒子的自身极值和其所在子种群的社会极 值；同时每一代，粒子更新之后，重新确定每个种群的社会极值，再根据子种群中社会极值 的优劣，对其重新排列，之后根据Pn的优劣把一部分子种群设为较优子种群，另一部分设为 较差子种群；步骤S6、根据步骤S4、步骤S5依次更新粒子信息之后，随机从较差子种群并且其 子种群规模大于二的子种群中选取少于两个粒子，使其成为现在较优子种群中的一员；步骤S7、满足所有停止条件，停止计算，否则转入步骤S2进行下一次迭代。作为本专利技术的一种优选方案，步骤SI中，随机生成F个粒子，F为种群个数，每个 粒子代表优化问题的一个可行解，再根据粒子适应值按降序排列；把排序后的粒子平均分 配到m个子种群中；其中，第I个粒子分入第I个子种群中，第2个粒子分入第2个子种群， 第m个粒子分入第m个子种群，第m+1个粒子分入第I个子种群，依次类推，直到将所有的 粒子平均分入到m个子种群；再采用动态协同模型进行粒子飞行；假设下标为i的粒子为第j个子种群中成员； 采用子种群局部极值Pn作为粒子社会学习的对象；Pnj是第j个子种群内所有粒子经历过 的最佳位置；这样，可以得到:X' = X(Pi+P"j)式中j=(l，2，...，m)，X'表示粒子X向Pi和Pnj飞行后的下一个位置；第j个子 种群中的每个粒子在以Piy.为社会极值学习的同时，其它子种群中的部分粒子在Piy.的吸引 下，成为第j个子种群的协同粒子，以Pw.为社会经验学习，实现子种群间粒子信息的交流； 每个子种群的协同粒子个数以子种群总数m为基数依次递减，S卩:第一子种群的协同粒子 个数为m，第二子种群的协同粒子个数为m-1，依次类推；同时每一代，粒子更新之后，重新确定每个种群的社会极值，再根据子种群中社会 极值的优劣，对其重新排列，之后根据Pn的优劣把一半子种群设为较优子种群，另一半设为 较差子种群；较差子种群中的非社会极值粒子会受到较优子种群的吸引，而脱离该较差子 种群成为较优子种群中的粒子；为了保证种群能协同进化，每个子种群最少粒子个数不能小于2，当较差子种群的 粒子个数均为2时，粒子不脱离较差子种群；同时为了保证整个种群学习的稳定性，每代脱 离较差子种群总数不能超过两个粒子。本专利技术的有益效果在于:本专利技术提出的，可以提高网络学习能力和识别能力。神经网络的性能是由网络结构和权值共同确定的。本专利技术给出了一种动态协同粒 子群算法，兼顾PSO算法全局社会结构收敛的快速性，并加强了局部社会搜索的开发性，实 现了神经网络结构和权值同时优化，同时对目标函数采用“动态正则化”，使网络的寻优能 力和泛化能力都有很大的提高。将该模型应用到UCI标准数据集进行仿真实验，实验结果 验证了本文方法可以提高网络的学习和泛化能力。由于神经网络在学习过程中存在冗余节点，导致神经网络的学习效率低、网络性 能差。本专利技术算法实现了在训练神经网络权值的同时优化网络结构，同时在保证网络训练 精度的情况下，实现网络参数的最简化。采用一种目标函数动态正则化的方法，使网络训练 和识别相统一，提高了网络的泛化能力。为了提高算法的寻优效率，提出自适应动态协同的 粒子寻优模型，扩大了粒子的本文档来自技高网...

【技术保护点】
一种前馈网络的自适应动态协同粒子群优化方法，其特征在于，所述方法包括如下步骤：步骤S1、对粒子进行初始化，并由目标函数，初始化子种群；步骤S2、记录粒子个体极值pi，每个子种群极值pn，全局极值pg；步骤S3、以每个子种群pn优劣给子种群排序，并确定子种群的协同粒子个数；步骤S4、子种群中的粒子向其自身极值pi和子种群极值pn学习；步骤S5、随机从其它子种群中选取协同粒子，协同粒子向其自身极值pi和子种群极值pn学习，并根据粒子优劣随时更新协同学习粒子的自身极值和其所在子种群的社会极值；同时每一代，粒子更新之后，重新确定每个种群的社会极值，再根据子种群中社会极值的优劣，对其重新排列，之后根据Pn的优劣把一部分子种群设为较优子种群，另一部分设为较差子种群；步骤S6、根据步骤S4、步骤S5依次更新粒子信息之后，随机从较差子种群并且其子种群规模大于二的子种群中选取少于两个粒子，使其成为现在较优子种群中的一员；步骤S7、满足所有停止条件，停止计算，否则转入步骤S2进行下一次迭代。

【技术特征摘要】

【专利技术属性】
技术研发人员：李保印，
申请(专利权)人：闻泰通讯股份有限公司，
类型：发明
国别省市：