结合粒子群算法的神经网络训练方法技术

本发明专利技术公开了一种结合粒子群算法的神经网络训练方法，利用小样本集评估粒子进入一个新的子空间的适应度，更新每个粒子的历史最高适应度，记录每个粒子的历史最优位置；针对当前代粒子，更新产生新一代粒子，不同适应度的粒子区别处理，具体方式为，对于适应度排名靠前三分之一的粒子，在其历史最优位置的周边空间进行小范围搜索；对于适应度排名靠后三分之一的粒子，在参数空间进行大范围搜索，并且搜索范围远离当前粒子；对于适应度排名居中的三分之一粒子，在历史最优个体周边进行中等范围搜索；针对新一代粒子，重复上述步骤。本发明专利技术大幅度降低这一环节的计算量，降低细搜成本的同时，保证了有潜力子空间的探索力度。

【技术实现步骤摘要】
结合粒子群算法的神经网络训练方法
本专利技术涉及目标检测
，具体是一种结合粒子群算法的神经网络训练方法以及基于该训练方法的YOLOv3网络训练方法。
技术介绍
神经网络主要由三个部分组成的，分别为网络架构、激活函数和找出最优权重值的参数学习算法。BP算法就是目前使用较为广泛的一种参数学习算法。BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络，学习过程由信号的正向传播(求损失)与误差的反向传播(误差回传)两个过程组成。正向传播过程中，根据输入的样本，给定初始化权重W和偏置b，计算最终输出值以及输出值与实际值之间的损失值。若损失值不在给定范围内，则进行反向传播过程；；否则停止权重W和偏置b的更新。反向传播过程中，将输出以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，该误差信号作为修正各单元权值的依据。然而，当神经网络层数较多，每一个隐含层中的神经元也较多时，会导致网络参数规模急剧膨胀，庞大规模的参数导致无法对参数进行直接求解，只能通过梯度下降法求解误差信号最小的参数最优本文档来自技高网...

【技术保护点】
1.结合粒子群算法的神经网络训练方法，其特征在于，包括以下步骤：/n步骤1，初始化粒子群各粒子的速度和位置；/n步骤2，利用小样本集评估粒子进入一个新的子空间的适应度，更新每个粒子的历史最高适应度，记录每个粒子的历史最优位置；/n步骤3，对所有粒子的历史最高适应度按照从高到低进行排序；/n步骤4，针对当前代粒子，更新产生新一代粒子，不同适应度的粒子区别处理，具体方式为，对于适应度排名靠前三分之一的粒子，在其历史最优位置的周边空间进行小范围搜索；对于适应度排名靠后三分之一的粒子，在参数空间进行大范围搜索，并且搜索范围远离当前粒子；对于适应度排名居中的三分之一粒子，在历史最优个体周边进行中等范围搜...

【技术特征摘要】
1.结合粒子群算法的神经网络训练方法，其特征在于，包括以下步骤：
步骤1，初始化粒子群各粒子的速度和位置；
步骤2，利用小样本集评估粒子进入一个新的子空间的适应度，更新每个粒子的历史最高适应度，记录每个粒子的历史最优位置；
步骤3，对所有粒子的历史最高适应度按照从高到低进行排序；
步骤4，针对当前代粒子，更新产生新一代粒子，不同适应度的粒子区别处理，具体方式为，对于适应度排名靠前三分之一的粒子，在其历史最优位置的周边空间进行小范围搜索；对于适应度排名靠后三分之一的粒子，在参数空间进行大范围搜索，并且搜索范围远离当前粒子；对于适应度排名居中的三分之一粒子，在历史最优个体周边进行中等范围搜索；
步骤5，针对新一代粒子，重复步骤2-4，直到迭代次数达到预设值，或者适应度没有明显提升为止。


2.根据权利要求1所述的神经网络训练方法，其特征在于，所述步骤4中，对于适应度排名靠前三分之一的粒子，在其历史最优位置的周边空间进行小范围搜索之前，先采用中样本集通过BP算法进行网络训练，得到当前代粒子的更优位置并更新粒子，计算更新后粒子的适应度，并更新这三分之一粒子的历史最优位置，并从中选出最优个体，更新历史最优个体。


3.根据权利要求2所述的神经网络训练方法，其特征在于，所述步骤4中，对于适应度排名靠前三分之一的粒子，在其历史最优位置的周边空间进行小范围搜索的具体操作为，先随机产生一个距离值D1，该距离值要符合一定的概率分布，使得其...

【专利技术属性】
技术研发人员：汪俊锋，邓宏平，韩钰，刘罡，
申请(专利权)人：安徽萤瞳科技有限公司，
类型：发明
国别省市：安徽;34