【技术实现步骤摘要】
基于种群的迭代寻优方法、装置和存储介质
[0001]本申请涉及计算机
，尤其涉及一种基于种群的迭代寻优方法、装置和存储介质。
技术介绍
[0002]随着人工智能技术的发展，在人工智能领域中许多问题通常可以描述为模型优化问题，例如神经网络训练中优化网络参数，虽然相关技术可以采用梯度下降类算法或进化类算法求解此类优化问题。但采用梯度下降类算法时，会产生全局最优值难以寻得、收敛速度缓慢等问题，往往无法找到全局最优值，还会出现神经网络训练不收敛、问题解不精准等现象，故而需要多次选定数据集进行独立试验，但也无法保证真正找到全局最优值。以及，采用进化类算法时，由于无法利用梯度的信息，收敛速度不如梯度下降类算法，且进化类算法很少有理论上的收敛分析，也即不能保证种群收敛到全局最优值。
技术实现思路
[0003]有鉴于此，提出了一种基于种群的迭代寻优方法、装置和存储介质。
[0004]第一方面，本申请的实施例提供了一种基于种群的迭代寻优方法，该方法包括：获取待寻找全局最优值的目标模型，以及所述目标模型对应的第n代...
【技术保护点】
【技术特征摘要】
1.一种基于种群的迭代寻优方法，其特征在于，包括：获取待寻找全局最优值的目标模型，以及所述目标模型对应的第n代种群，所述第n代种群中包括多个样本，n为正整数；其中，当n＝1时，第1代种群为预设的初代种群；当n大于或等于1时，对第n代种群进行以下处理，得到第n+1代种群：根据所述第n代种群中的多个样本，确定所述第n代种群对应的梯度下降方向以及待引入所述第n代种群中的随机噪声；根据所述梯度下降方向以及所述随机噪声，对所述第n代种群中的多个样本进行更新，得到更新后的第n代种群；确定所述更新后的第n代种群中每个样本对所述目标模型的适应度；基于所述更新后的第n代种群中每个样本对所述目标模型的适应度，对所述更新后的第n代种群中的多个样本进行重采样，得到第n+1代种群；在所述第n+1代种群满足预设的寻优停止条件的情况下，基于所述第n+1代种群，确定所述目标模型对应的全局最优值。2.根据权利要求1所述的方法，其特征在于，所述根据所述第n代种群中的多个样本，确定所述第n代种群对应的梯度下降方向以及待引入所述第n代种群中的随机噪声，包括：根据所述第n代种群中的多个样本，确定预条件算子，所述预条件算子包括所述多个样本之间的协方差；基于所述预条件算子，确定所述第n代种群对应的梯度下降方向以及待引入所述第n代种群中的随机噪声。3.根据权利要求2所述的方法，其特征在于，所述基于所述预条件算子，确定所述第n代种群对应的梯度下降方向以及待引入所述第n代种群中的随机噪声，包括：针对第n代种群中的第i个样本，确定所述目标模型在所述第i个样本处的梯度，并根据所述预条件算子以及所述目标模型在所述第i个样本处的梯度，确定所述第i个样本对应的梯度下降方向，i∈[1,N]，N为第n代种群中的样本总数；根据所述预条件算子以及预设的噪声调节参数，对从噪声样本集中随机抽取的噪声样本进行调整，得到第i个样本对应的随机噪声，其中，所述噪声样本集是独立同分布的。4.根据权利要求1所述的方法，其特征在于，所述根据所述第n代种群中的多个样本，确定所述第n代种群对应的梯度下降方向，包括：在所述目标模型是回归任务模型的损失函数的情况下，确定所述回归任务模型对第n代种群中第i个样本的预测值与对所述第i个样本所标注的真实值之间的第一差值，i∈[1,N]，N为第n代种群中的样本总数；确定所述回归任务模型对所述第n代种群中的每个样本的预测值与所述回归任务模型对第n代种群中多个样本的预测值的平均值之间的第二差值；根据所述第i个样本对应的第一差值、所述第n代种群中的每个样本以及每个样本对应的第二差值，确定所述第i个样本对应的梯度下降方向。5.根据权利要求1所述的方法，其特征在于，所述确定所述更新后的第n代种群中每个样本对所述目标模型的适应度，包括：对所述目标模型进行单调性变换，得到所述目标模型对应的检验模型；...
【专利技术属性】
技术研发人员：吕俊龙，陈志堂，吕文龙，莫恺，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。