一种基于极值优化的分数阶深度BP神经网络优化方法技术

本发明专利技术公开了一种基于极值优化的分数阶深度BP神经网络优化方法。分数阶系统具有收敛速度快、收敛准确性高的优点，该方法利用群体极值优化算法对建立的分数阶深度BP(PEO‑FODBP)神经网络的初始权值进行择优选取，在对网络的迭代训练过程中，修正网络层级权值的同时，还迭代优化群体中的最优个体及其最优适应度值，改善初始权值对神经网络造成的不良影响。解决了现有技术存在的易陷入局部极小值、耗时长、收敛速度慢的问题。利用该优化方法，可以提高分数阶深度BP神经网络在各领域的应用性能。此外本方法中的群体极值优化方法和分数阶导数计算方法，可推广至其他更多的神经网络模型，推动神经网络的优化研究。

【技术实现步骤摘要】
一种基于极值优化的分数阶深度BP神经网络优化方法
本专利技术属于人工智能
，涉及一种基于极值优化的分数阶深度BP神经网络优化方法，具体涉及了深度BP神经网络的建模和极值优化算法的设计。
技术介绍
神经网络作为一种功能强大的数据回归和分类工具，在机器学习、统计学和计算机视觉的领域受到了研究者的广泛关注。深度BP神经网络是受生物神经组织的工作原理启发，而发展起来的由大量处理单元构成的网络体系，其具有生物神经系统的基本特征，并具有大规模并行运行、分布式处理、自适应、自学习的优点。分数阶微积分理论作为数学中的一个经典概念已有几百年的历史，它是基于任意分数阶的微分和积分，是目前流行的整数阶微积分的推广。较之传统的整数阶系统，分数阶系统具有收敛速度快、收敛准确性高的优点，因此分数阶系统在图像处理、机器学习和神经网络领域得到了广泛应用。极值优化是一种受远离自组织临界性的平衡动力学启发，而发展起来的新的优化方法，已经成功地应用于各种组合优化问题。极值优化算法的基本原理，是选择当前求解范围中适应度值最低的个体及其相关的变量进行变异，从而使系本文档来自技高网...

【技术保护点】
1.一种基于极值优化的分数阶深度BP神经网络优化方法，其特征在于：该方法具体包括以下步骤：/n步骤一、建立分数阶深度BP神经网络模型；/n建立一个L层的深度BP神经网络模型，第l层的神经元节点数为n

【技术特征摘要】
1.一种基于极值优化的分数阶深度BP神经网络优化方法，其特征在于：该方法具体包括以下步骤：
步骤一、建立分数阶深度BP神经网络模型；
建立一个L层的深度BP神经网络模型，第l层的神经元节点数为nl，l＝1,2,2,L，为神经网络第l层与第(l+1)层之间的权值，i＝1,2,2,nl,j＝1,2,2,nl+1；X为神经网络的输入样本，O为输入样本X的理想输出，为第l层神经网络的输入，Al为第l层神经网络的输出；神经网络的损失函数为其中，||·||为欧几里得范数，Σ为求和符号；
在Caputo定义下的分数阶梯度E为：



其中，δl为神经网络第l层的梯度传播项，v为分数，表示分数阶的阶数，E表示在Caputo分数阶导数定义下损失函数E对权值Wl求分数阶导数，Γ(·)为gamma函数；
神经网络各层的权值修正表达式为：



其中，t为自然数，表示神经网络的当前训练代数，μ为学习率；
步骤二、初始化参数；
初始化方法中的各项参数，包括：神经网络训练次数Imax、学习率μ、分数阶的阶数v、种群大小T、群体迭代次数G，计算个体适应度值的神经网络训练次数If、变异因子b；
步骤三、产生初始种群；
随机产生初始种群P＝{S1,S2,2,ST}，其中Sp＝{x1,x2,...,xc}，p＝1,2,...,T，表示神经网络包含的权值的总数；
步骤四、计算个体适应度；
将种群的个体Sp解码后代入FODBP神经网络作为初始权值，然后将MNIST手写体数字数据输入神经网络进行训练，根据步骤一对神经网络的权值进行修正，训练次数达到If后得到训练精度并将其作为个体的适应度函数值fp；
步骤五、选择个体；
将T个种群的个体根据其适应度函数值进行排序，使得fΠ1>fΠ2>...>fΠT，选择Π1至的个体替换至ΠT的个体，并得到最优个体Sbest＝SΠ1以及最优适应度值fbest＝fΠ1；
步骤六、产生新种群；
根据不均匀变异规则对步骤五选择后的种群进行变异操作，产生新种群PN＝{SN1,SN2,…,SNT}；
步骤七、迭代循环；
...

【专利技术属性】
技术研发人员：陈碧鹏，陈云，曾国强，佘青山，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33