模型的参数优化方法以及电子设备、计算机可读存储介质技术

本发明专利技术公开了模型的参数优化方法以及电子设备、计算机可读存储介质，其中，模型的参数优化方法包括：获取到待优化模型，对待优化模型进行预训练，得到预训练后的待优化模型的预训练参数；利用差分进化算法对预训练参数进行二次寻优，得到待优化模型的全局最优参数；将全局最优参数加载进待优化模型中。通过上述方式，本发明专利技术能够提高待优化模型的拟合能力，进而有效提高待优化模型的预测精度和准确率。而有效提高待优化模型的预测精度和准确率。而有效提高待优化模型的预测精度和准确率。

【技术实现步骤摘要】
模型的参数优化方法以及电子设备、计算机可读存储介质


[0001]本专利技术涉及模型优化的
，特别是涉及模型的参数优化方法以及电子设备、计算机可读存储介质。

技术介绍

[0002]一个良好的模型结构被设计出来后，能否达到其能力上限则取决于其是否能够经过训练学习到较优的模型参数。通常来说，对于卷积模型、BP网络、RBF网络这类神经网络主要采用监督学习的训练方式，即使用有标签的数据训练集，以最小化损失函数为优化目标，经过前向和反向传播算法的反复迭代更新参数，使模型参数逐渐逼近最优解。
[0003]在上述模型参数训练过程中，需要设置参数初始值、反向传播优化器的选择、学习率等超参数来控制参数训练的过程，而这些参数的设置往往需要在人为的经验指导下进行设置。当面对不同预测任务和不同规格的数据集时，超参数的设置也有所不同，因此很容易出现超参数设置不合理而导致训练后的模型拟合能力不足，例如，若学习率设置过大，模型参数在训练过程中会在全局最优解两侧来回振荡，导致模型难以收敛；若学习率设置过小，模型收敛速度会变慢，也很容易陷入局部最优且难以跳出局部最优，从而影响模型最终的应用能力。
[0004]因此，模型的参数训练效果需要得到提高。

技术实现思路

[0005]本专利技术提供了模型的参数优化方法以及电子设备、计算机可读存储介质，以解决目前存在的模型的参数训练效果不足的问题。
[0006]为解决上述技术问题，本专利技术提供一种模型的参数优化方法，包括：获取到待优化模型，对待优化模型进行预训练，得到预训练后的待优化模型的预训练参数；利用差分进化算法对预训练参数进行二次寻优，得到待优化模型的全局最优参数；将全局最优参数加载进待优化模型中。
[0007]其中，利用差分进化算法对预训练参数进行二次寻优，得到待优化模型的全局最优参数，包括：基于预训练参数得到当前种群；响应于当前种群不满足寻优停止条件，基于差分进化算法对当前种群进行更新，并将更新后的种群作为当前种群，直至当前种群满足寻优停止条件；将各种群中的预测效果最好的个体作为全局最优个体，并将全局最优个体对应的参数确定为全局最优参数。
[0008]其中，响应于当前种群不满足寻优停止条件，基于差分进化算法对当前种群进行更新，并将更新后的种群作为当前种群，直至当前种群满足寻优停止条件，包括：计算得到当前种群的预测效果，并将当前种群中预测效果最好的个体确定为种群最优个体；将种群最优个体与更新前的当前最优个体中，预测效果更好的个体确定为新的当前最优个体；将各种群中的预测效果最好的个体作为全局最优个体，包括：响应于当前更新后的当前种群满足寻优停止条件，得到当前更新后的当前种群中的预测效果最好的个体；将当前更新后
的种群中的预测效果最好的个体与当前最优个体中预测效果更好的个体确定为全局最优个体。
[0009]其中，响应于当前种群不满足寻优停止条件，基于差分进化算法对当前种群进行更新，并将更新后的种群作为当前种群，直至当前种群满足寻优停止条件，包括：响应于当前种群不满足寻优停止条件，计算得到当前种群的适应度；利用差分进化算法基于适应度依次对当前种群进行变异、交叉和选择的更新操作，得到更新后的当前种群。
[0010]其中，利用差分进化算法基于适应度依次对当前种群进行变异、交叉和选择的更新操作，得到更新后的当前种群，包括：对当前种群中各个体依次随机选择三个不同的其他个体；对其中两个其他个体对应的向量进行差值计算，得到差分矢量；基于差分矢量与另一个其他个体对应的向量进行求和，得到个体对应的实验个体；基于实验个体与个体进行交叉处理，得到交叉处理后的子代个体；基于当前种群的各个体以及其对应的子代个体的适应度选择更新后的种群的个体，得到更新后的当前种群。
[0011]其中，基于实验个体与个体进行交叉处理，得到交叉处理后的子代个体，包括：针对个体生成一个随机数；响应于随机数小于或等于差分进化算法的交叉概率，基于个体的实验个体得到子代个体；响应于随机数大于差分进化算法的交叉概率，基于个体得到子代个体；其中，基于当前种群的各个体以及其对应的子代个体的适应度选择更新后的种群的个体，得到更新后的种群，包括：分别判断当前种群的各个体与其对应的子代个体之间适应度的大小；选择适应度大的个体或子代个体作为更新后的当前种群的个体。
[0012]其中，基于预训练参数得到当前种群，包括：将预训练参数确定为种群，并进行初始化，得到预训练参数对应的当前种群。
[0013]其中，将预训练参数确定为种群，并进行初始化，得到预训练参数对应的当前种群，包括：将预训练参数转换成向量表示形式，得到预训练参数对应的预训练参数向量；将预训练参数向量作为均值向量，基于高斯分布生成满足差分进化算法的当前种群。
[0014]其中，待优化模型应用于图像识别；获取到待优化模型，对待优化模型进行预训练，得到预训练后的待优化模型的预训练参数的步骤包括：获取到样本图像以及样本图像对应的识别标签；将样本图像输入到待优化模型中进行预测，得到样本图像的预测识别结果；响应于预测识别结果与识别标签之间的相似度满足预设要求时，得到预训练后的待优化模型的预训练参数；将全局最优参数加载进待优化模型中的步骤还包括：将全局最优参数加载进待优化模型中，得到图像识别模型；获取到待识别图像，基于图像识别模型对待识别图像进行识别，得到待识别图像的识别结果。
[0015]为解决上述技术问题，本专利技术还提供了一种电子设备，包括：相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述任一项的模型的参数优化方法。
[0016]为解决上述技术问题，本专利技术还提供了一种计算机可读存储介质，程序指令被处理器执行时实现上述任一项的模型的参数优化方法。
[0017]本专利技术的有益效果是：区别于现有技术的情况，本专利技术通过先获取到待优化模型，对待优化模型进行预训练，得到预训练后的待优化模型的预训练参数，再利用差分进化算法对预训练参数进行二次寻优，得到待优化模型的全局最优参数，最后将全局最优参数加
载进待优化模型中。从而能够通过对训练得到的预训练参数进行二次寻优来进一步提高待优化模型的拟合能力，减少因超参数设置不合理而导致训练后的模型拟合能力不足的情况发生，进而有效提高待优化模型的预测精度和准确率，提高模型的参数训练效果。
附图说明
[0018]图1是本专利技术模型的参数优化方法一实施例的流程示意图；图2是本专利技术模型的参数优化方法另一实施例的流程示意图；图3是图2实施例中种群进行更新的具体步骤的流程图；图4是图2实施例中二次寻优的一实施例的流程示意图；图5是本专利技术电子设备一实施例的结构示意图；图6是本专利技术计算机可读存储介质一实施例的结构示意图。
具体实施方式
[0019]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型的参数优化方法，其特征在于，所述模型的参数优化方法包括：获取到待优化模型，对所述待优化模型进行预训练，得到预训练后的待优化模型的预训练参数；利用差分进化算法对所述预训练参数进行二次寻优，得到所述待优化模型的全局最优参数；将所述全局最优参数加载进所述待优化模型中。2.根据权利要求1所述的模型的参数优化方法，其特征在于，所述利用差分进化算法对所述预训练参数进行二次寻优，得到所述待优化模型的全局最优参数，包括：基于所述预训练参数得到当前种群；响应于所述当前种群不满足寻优停止条件，基于所述差分进化算法对所述当前种群进行更新，并将更新后的种群作为当前种群，直至当前种群满足所述寻优停止条件；将各种群中的预测效果最好的个体作为全局最优个体，并将所述全局最优个体对应的参数确定为所述全局最优参数。3.根据权利要求2所述的模型的参数优化方法，其特征在于，所述响应于所述当前种群不满足寻优停止条件，基于所述差分进化算法对所述当前种群进行更新，并将更新后的种群作为当前种群，直至当前种群满足所述寻优停止条件，包括：计算得到所述当前种群的预测效果，并将所述当前种群中预测效果最好的个体确定为种群最优个体；将所述种群最优个体与更新前的当前最优个体中，预测效果更好的个体确定为新的当前最优个体；所述将各种群中的预测效果最好的个体作为全局最优个体，包括：响应于当前更新后的当前种群满足所述寻优停止条件，得到当前更新后的当前种群中的预测效果最好的个体；将所述当前更新后的种群中的预测效果最好的个体与所述当前最优个体中预测效果更好的个体确定为全局最优个体。4.根据权利要求2或3所述的模型的参数优化方法，其特征在于，所述响应于所述当前种群不满足寻优停止条件，基于所述差分进化算法对所述当前种群进行更新，并将更新后的种群作为当前种群，直至当前种群满足所述寻优停止条件，包括：响应于所述当前种群不满足寻优停止条件，计算得到所述当前种群的适应度；利用差分进化算法基于所述适应度依次对所述当前种群进行变异、交叉和选择的更新操作，得到更新后的当前种群。5.根据权利要求4所述的模型的参数优化方法，其特征在于，所述利用差分进化算法基于所述适应度依次对所述当前种群进行变异、交叉和选择的更新操作，得到更新后的当前种群，包括：对所述当前种群中各个体依次随机选择三个不同的其他个体；对其中两个所述其他个体对应的向量进行差值计算，得到差分矢量；基于所述差分矢量与另一个其他个体对应的向量进行求和，得到所述个体对应的实验个体；基于所述实验个体与所述个体进行交叉处理，得到交叉处理后的子代个体；

【专利技术属性】
技术研发人员：徐瑾，孙志亮，罗亮，黄鹏，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：