一种基于浮点数位变异遗传算法优化卷积神经网络的方法技术

本发明专利技术公开了一种基于浮点数位变异遗传算法优化卷积神经网络的方法，包括以下步骤：1）构建卷积神经网络和损失函数；2）初始化种群：通过参数编码构建N个个体作为种群，构建种群的适应度函数计算每个个体的适应度；3）选择操作；4）交叉操作；5）浮点数位变异操作。利用其优化卷积神经网络做人脸识别。本发明专利技术结合两者的优点，采用浮点数编码，二进制变异，尤其是利用IEEE 754浮点数来实现，这种改进提高了全局搜索能力。利用改进后的遗传算法优化卷积神经网络，应用于人脸识别。

【技术实现步骤摘要】
一种基于浮点数位变异遗传算法优化卷积神经网络的方法
本专利技术属于计算机应用领域中遗传算法的应用，具体涉及一种基于浮点数位变异遗传算法优化卷积神经网络的方法。
技术介绍
遗传算法在人工智能，参数优化等领域起很大的作用。但大部分遗传算法使用的是十进制编码进行交叉操作和变异操作。目前遗传算法进行连续函数优化主要采用浮点数编码，少数采用二进制编码，这两种编码各有优缺点，浮点数编码的交叉操作更合理，二进制编码的变异操作更优越。浮点数编码的变异操作粗粒度过大，往往使得个体只有少数变量发生变异，搜索能力不强。因此存在部分应用场景容易陷入局部最优，寻找全局最优比较困难。卷积神经网络经常用于大型的图像处理有出色的表现，优化神经网络常用方法是随机梯度下降算法，自适应梯度下降算法等梯度下降算法，但是梯度下降算法经常收敛于局部最优解上。梯度下降算法很难获得全局最优解，使模型表现效果一般。
技术实现思路
本专利技术的目的在通过改进遗传算法的变异操作，使得优化算法具有较强的全局搜索能力，从而模型不易于陷入局部最优点上的特点，并使得识别率有所提高。本专利技术提供的一种基于浮点数位变异遗传算法优化卷积神经网络的方法，包括以下步骤：(1)构建卷积神经网络和损失函数，使用IEEE754浮点数字串作为编码方式；(2)初始化种群：通过参数编码构建N个个体作为种群，构建种群的适应度函数并计算每个个体的适应度；(3)选择操作：采用轮盘赌的方式，随机选择个体重新构建种群；(4)交叉操作：首先在卷积核的通道上随机选择一个交换点；然后在交换点前面部分或者后面部分的数字串片段进行交换；(5)浮点数位变异操作：将每个个体的IEEE754浮点数展开成32位二进制位串，随机选择浮点数变异的位置并进行位翻转操作，以更新卷积神经网络的权值；(6)重复步骤(3)至步骤(5)，直至迭代次数等于设置的迭代次数，输出适应度最高的个体作。7、进一步的，所述个体为卷积神经网络的权值，个体数等于卷积神经网络的个数；每个个体的染色体为卷积核的权值展开的数字串，其中卷积核为权值矩阵，卷积核对输入的特征图即输入的图像进行卷积运算。卷积神经网络模型通过卷积核堆叠组成，即如输入图片的像素大小为29*29*3，经过第一层卷积核[3，5，5，16]，步长为2的卷积运算后得到的数据大小为12*12*16，如此类推，最后可以将其看作为非线性函数。进一步的，所述适应度函数为：F(wk)＝-LogLoss(wk)F(wk)为个体的适应度，其中k＝1，2，3......N，wk为卷积神经网络的参数权值，LogLoss(wk)为卷积神经网络的损失函数，个体适应度越高损失函数越低，卷积神经网络预测准确率越高。进一步的，所述采用轮盘赌的方式进行选择具体为：对于个体t，t＝1，2，3...，N，其被选择的概率为其中M为新建种群的个体数量，各个个体被选中的概率与其适应度大小成正比。进一步的，所述的交叉操作步骤如下：步骤一、将每个个体的染色体构建成卷积神经网络中的卷积核，构建过程为：将由n个变量组成的染色体或者染色体数组，排列成[c1，h，h，c2]的权值矩阵，其中c1为上层卷积神经网络输出的通道数量；h为卷积的尺寸；c2为该层卷积神经网络输出的通道数量；步骤二、随机选择两个个体作为交叉的父代，选择卷积核的一个通道作为交叉点，然后在交叉点前面部分或者后面部分的卷积权值进行交换，从而得到两个新个体。进一步的，所述损失函数为：其中，w为卷积神经网络参数；c为标签，即识别物体种类的个数(以人脸识别作为实验，n即为人脸的种类，即人的个数)；m为样本个数；为j标签的第i个样本图片像素点值；第i个样本是否为j标签，若是值为1，否则为0；表示以卷积神经网络作为的非线性函数；值域为[0，1]，作为预测概率，为标记为j标签的第i个样本图片通过卷积神经网络后，输出为j标签的概率，寻找最优解卷积神经网络参数权值w，使得损失函数得到最小值。进一步的，所述变异操作的步骤为：1)遍历IEEE754浮点数的位数；2)在遍历过程中，随机对当前位置进行位翻转，每次翻转需要确保反转后浮点数不会变为非数，负无穷或正无穷；若翻转后变成负无穷或正无穷的数值，不对其进行翻转；3)当前的浮点数字完成位变异操作后，需要对数值取关于参数约束区域大小的余数，以确保浮点数字经过变异后依然落在目标区域当中。4)重复步骤1)、2)和3)，直至遍历所有种群的所有个体。本专利技术的有益效果在于：本专利技术运用了遗传算法，优化卷积神经网络的权值，提高卷积神经网络获得最优解的概率，卷积神经网络的平均准确率约为72.43％。1.在遗传算法上，改进了遗传算法的变异方式，使得权值更加细致且增加了全局搜索能力。2.通过交叉操作，算法交换卷积神经网络中的特征图层。这种操作使得模型的特征图层信息交换，提高模型鲁棒性。3.采用浮点数编码，二进制变异，尤其是利用IEEE754浮点数来实现，这种提高了全局搜索能力。附图说明图1是本专利技术中遗传算法优化卷积神经网络的流程图；图2是本专利技术中卷积核交叉操作的流程图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。实施例的一种基于浮点数位变异遗传算法优化卷积神经网络的方法，如图图1所示的流程：1.构建卷积神经网络和损失函数对于卷积神经网络，使用IEEE754浮点数的表示方式将卷积核权值进行初始化并其卷积核权值作为染色体编码。损失函数如下：其中，w为卷积神经网络参数；c为标签，即识别物体种类的个数(以人脸识别作为实验，c即为人脸的种类，即人的个数)；m为样本个数；为j标签的第i个样本图片像素点值；第i个样本是否为j标签，若是值为1，否则为0；表示以卷积神经网络作为的非线性函数；值域为[0，1]，作为预测概率，为标记为j标签的第i个样本图片通过卷积神经网络后，输出为j标签的概率；通过本专利技术的浮点数位变异遗传算法寻找最优解卷积神经网络参数权值w，使得损失函数得到最小值。2.初始化种群通过参数编码构建50个个体即卷积神经网络参数作为种群，构建种群的适应度函数并计算每个个体的适应度。所述适应度函数为：F(wk)＝-LogLoss(wk)F(wk)为个体的适应度，其中k＝1，2，3......50，wk为卷积神经网络的参数权值，LogLoss(wk)为卷积神经网络的损失函数，适应度函数寻找最大值，因此需要对损失函数乘以一个负数作为适应度函数。个体适应度越高损失函数越低，卷积神经网络预测准确率越高。3.选择操作采用轮盘赌的方式，随机选择个体重新构建种群。对于个体t，其被选择的概率为其中N为种群个体数量，当前设置个体数量为50，重新构建新种群；各个个体被选中的概率与其适应度大小成正比。4.交叉操作1)随机选择个体1和个体2作为交叉的父代；2)在卷积核上，随机选择卷积核的其中一个通道作为交叉操作的交叉点即交叉卷积层权值位置；3)如图2所示，交换两个个体在交叉点前面或者后面的卷积权值。5.变异操作1)遍历每一个IEEE754浮点数的位数，一共32位，(如变量值为0.5，则其IEEE754的机器码为00111111000000000000000000000000，一共32位)；2)在遍历过程中，随机对当前位置进行位翻转(即0翻转为1，1翻转为0本文档来自技高网...

【技术保护点】
1.一种基于浮点数位变异遗传算法优化卷积神经网络的方法，其特征在于，包括以下步骤：(1)构建卷积神经网络和损失函数，使用IEEE 754浮点数字串作为编码方式；(2)初始化种群：通过参数编码构建N个个体作为种群，构建种群的适应度函数并计算每个个体的适应度；(3)选择操作：采用轮盘赌的方式，随机选择个体重新构建种群；(4)交叉操作：首先在卷积核的通道上随机选择一个交换点；然后在交换点前面部分或者后面部分的数字串片段进行交换；(5)浮点数位变异操作：将每个个体的IEEE 754浮点数展开成32位二进制位串，随机选择浮点数变异的位置并进行位翻转操作，以更新卷积神经网络的权值；(6)重复步骤(3)至步骤(5)，直至迭代次数等于设置的迭代次数，输出适应度最高的个体。

【技术特征摘要】
1.一种基于浮点数位变异遗传算法优化卷积神经网络的方法，其特征在于，包括以下步骤：(1)构建卷积神经网络和损失函数，使用IEEE754浮点数字串作为编码方式；(2)初始化种群：通过参数编码构建N个个体作为种群，构建种群的适应度函数并计算每个个体的适应度；(3)选择操作：采用轮盘赌的方式，随机选择个体重新构建种群；(4)交叉操作：首先在卷积核的通道上随机选择一个交换点；然后在交换点前面部分或者后面部分的数字串片段进行交换；(5)浮点数位变异操作：将每个个体的IEEE754浮点数展开成32位二进制位串，随机选择浮点数变异的位置并进行位翻转操作，以更新卷积神经网络的权值；(6)重复步骤(3)至步骤(5)，直至迭代次数等于设置的迭代次数，输出适应度最高的个体。2.根据权利要求1所述的方法，其特征在于，所述个体为卷积神经网络的权值，个体数等于卷积神经网络的个数；每个个体的染色体为卷积核的权值展开的数字串，卷积神经网络模型通过卷积核堆叠组成，其中卷积核为权值矩阵，卷积核对输入的特征图即输入的图像进行卷积运算。3.根据权利要求1所述的方法，其特征在于，所述适应度函数为：F(wk)＝-LogLoss(wk)F(wk)为个体的适应度，其中k＝1，2，3......N，wk为卷积神经网络的参数权值，LogLoss(wk)为卷积神经网络的损失函数，个体适应度越高损失函数越低，卷积神经网络预测准确率越高。4.根据权利要求1所述的方法，其特征在于，所述采用轮盘赌的方式进行选择具体为：对于个体t，t＝1，2，3...，N，其被选择的概率为其中N为新建种群的个体数量，各个个体被选中的...

【专利技术属性】
技术研发人员：胡劲松，邓国健，李振业，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44