【技术实现步骤摘要】
一种卷积神经网络优化方法、装置和设备
本申请涉及数据处理
，尤其涉及一种卷积神经网络优化方法、装置和设备。
技术介绍
随着大数据时代的到来，卷积神经网络凭借其特殊的网络结构和强大的学习能力，被广泛应用于图像识别、语音识别以及文本分类等领域。然而传统的卷积神经网络主要采用梯度下降算法进行学习，该算法性能的好坏受卷积神经网络的初始权重影响较大，并且通过误差反向传播算法对卷积神经网络进行训练时，容易得到局部极小值，而非全局极小值，使得训练得到的卷积神经网络预测性能较差。
技术实现思路
本申请提供了一种卷积神经网络优化方法、装置和设备，用于解决现有的卷积神经网络采用梯度下降算法进行学习，该算法性能的好坏受卷积神经网络的初始权重影响较大，并且通过误差反向传播算法对卷积神经网络进行训练时，容易得到局部极小值，而非全局极小值，使得训练得到的卷积神经网络预测性能较差的技术问题。有鉴于此，本申请第一方面提供了一种卷积神经网络优化方法，包括：输入训练样本至构建好的卷积神经网络模型；基于遗传算法对...
【技术保护点】
1.一种卷积神经网络优化方法，其特征在于，包括：/n输入训练样本至构建好的卷积神经网络模型；/n基于遗传算法对卷积神经网络模型中的卷积层和全连接层的权重进行初始化，得到优化后的初始权重；/n基于所述优化后的初始权重和所述训练样本，通过模拟退火算法对卷积神经网络模型中的参数进行优化训练，得到优化后的卷积神经网络模型。/n
【技术特征摘要】
1.一种卷积神经网络优化方法，其特征在于，包括：
输入训练样本至构建好的卷积神经网络模型；
基于遗传算法对卷积神经网络模型中的卷积层和全连接层的权重进行初始化，得到优化后的初始权重；
基于所述优化后的初始权重和所述训练样本，通过模拟退火算法对卷积神经网络模型中的参数进行优化训练，得到优化后的卷积神经网络模型。
2.根据权利要求1所述的卷积神经网络优化方法，其特征在于，所述基于遗传算法对卷积神经网络模型中的卷积层和全连接层的权重进行初始化，得到优化后的初始权重，包括：
将所述卷积神经网络模型中的卷积层和全连接层的各个权重作为个体，得到种群，并对所述种群进行初始化，得到初始种群；
通过适应度函数计算所述初始种群中个体的适应度值；
当所述适应度值满足预置条件或迭代次数达到预置次数时，输出适应度值最高的个体，得到优化后的初始权重；
当所述适应度值不满足所述预置条件或所述迭代次数未达到所述预置次数时，对所述初始种群中的个体进行选择、交叉和变异操作得到新种群，将所述新种群作为所述初始种群，并返回所述通过适应度函数计算所述初始种群中个体的适应度值的步骤。
3.根据权利要求1所述的卷积神经网络优化方法，其特征在于，所述基于所述优化后的初始权重和所述训练样本，通过模拟退火算法对卷积神经网络模型中的参数进行优化训练，得到优化后的卷积神经网络模型，包括：
S1、配置初始温度、温度衰减参数和温度阈值；
S2、在初始温度下，将所述优化后的初始权重中的最后一层全连接层的权重配置为当前解向量；
S3、在所述当前解向量的基础上扰动产生新解向量；
S4、基于所述当前解向量和所述训练样本，通过损失函数计算第一损失值，基于所述新解向量和所述训练样本，通过所述损失函数计算第二损失值；
S5、判断所述第二损失值是否小于或等于所述第一损失值时，若是，则将所述新解向量作为所述当前解向量，并返回步骤S3，若否，则以预置概率接受所述新解向量作为所述当前解向量，并返回所述步骤S3；
S6、基于所述温度衰减参数对当前温度进行衰减，并返回所述步骤S3，直至所述当前温度达到所述温度阈值，输出当前解向量，得到优化后的卷积神经网络模型。
4.根据权利要求3所述的卷积神经网络优化方法，其特征在于，所述损失函数为：
其中，n为训练样本数，y为期望输出，a＝max(0,wTx+b)为实际输出，[w,b]为解向量，x为训练样本。
5.根据权利要求3所述的卷积神经网络优化方法，其特征在于，所述在所述当前解向量的基础上扰动产生新解向量，包括：
在所述当前解向量W的基础上添加随机值ΔW，得到新解向量W′，其中...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。