【技术实现步骤摘要】
基于Adam的优化方法、系统以及终端
本专利技术涉及模型参数优化领域，特别是涉及一种基于Adam的优化方法、系统以及终端。
技术介绍
模型参数的求解很多情况下都离不开优化器的使用。优化算法的好坏对最终模型的性能有着十分重要的影响。近些年来，随着机器学习，特别是深度学习的发展，对复杂的非线性、非凸模型参数的优化算法的需求在不断提升。人们对对这一方面的研究也在不断的加深。随着模型变得日益复杂，因此对优化算法的收敛速度、优化效果等多个方面都提出了更高的要求。另外，优化算法也能帮助人们更好的理解模型的学习过程，对模型的可解释性和我们认识模型的本质都有非常大的意义。Adam算法是一种十分高效的优化算法，经过人们的不断验证，在很多任务上都能取得不错的性能。Adam算法是通过对之前优化算法的改进而来，具备很多优异的特性，比如参数更新的大小不随着梯度大小的缩放而变化，计算时基于目标函数的一阶导数，保证了相对较低的计算量。但是，随着数据量不断的增大，现有的Adam算法还不能满足高准确率以及更快的收敛速度的要求。专利技术...
【技术保护点】
1.一种基于Adam的优化方法，其特征在于，包括：/n将训练样本输入至具有一或多个模型参数的待优化Adam模型，获得预测结果；/n将所述预测结果与真实结果进行对比，分别获得各模型参数的更新梯度，以与各模型参数的历史参数梯度下的自身大小信息分别结合，获得各模型参数在更新梯度下的自身大小信息；/n根据与所述训练样本以及优化Adam模型相关的学习力度值，获得对应所述优化Adam模型的修正系数；/n根据所述在各模型参数的更新梯度下的自身大小信息以及所述修正系数分别获得各模型参数的修正更新量，以获得用于得到优化预测结果的Adam优化模型。/n
【技术特征摘要】
1.一种基于Adam的优化方法，其特征在于，包括：
将训练样本输入至具有一或多个模型参数的待优化Adam模型，获得预测结果；
将所述预测结果与真实结果进行对比，分别获得各模型参数的更新梯度，以与各模型参数的历史参数梯度下的自身大小信息分别结合，获得各模型参数在更新梯度下的自身大小信息；
根据与所述训练样本以及优化Adam模型相关的学习力度值，获得对应所述优化Adam模型的修正系数；
根据所述在各模型参数的更新梯度下的自身大小信息以及所述修正系数分别获得各模型参数的修正更新量，以获得用于得到优化预测结果的Adam优化模型。
2.根据权利要求1中所述的基于Adam的优化方法，其特征在于，所述将所述预测结果与真实结果进行对比，分别获得各模型参数的更新梯度，以与在历史参数梯度下的自身大小信息分别结合，获得在各模型参数的更新梯度下的自身大小信息，包括：
将所述预测结果与真实结果进行对比，获得偏差值；
基于所述偏差值以及预设的损失函数获得各模型参数的更新梯度；
将各模型参数的更新梯度与在历史参数梯度下的自身大小信息分别结合，获得在各模型参数的更新梯度下的自身大小信息。
3.根据权利要求1或2中所述的基于Adam的优化方法，其特征在于，所述自身大小信息包括：一阶矩以及二阶矩。
4.根据权利要求1中所述的基于Adam的优化方法，其特征在于，所述学习力度值包括：与模型训练阶段相关的训练次数值、学习速度值以及学习顺序值中的一种或多种；其中，所述模型训练阶段包括：模型训练前阶段以及模型训练后阶段。
5.根据权利要求1中所述的基于Adam的优化方法，其特征在于，所述根据所述在各模型参数的更新梯度下的自身大小信息以及所述修正系数分别获得各模型参数的修正更新量，以获得用于得到优化预测结果的Adam优化模型，包括：
所述根据所述在各模型参数的更新梯度下的自身大小信息、所述修正系数以及设定学习率分别获得各模...
【专利技术属性】
技术研发人员：谷宇章，邱守猛，袁泽强，张晓林，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。