模型训练方法、终端及存储介质技术

技术编号:26173040 阅读:54 留言:0更新日期:2020-10-31 13:53
本申请实施例公开了一种模型训练方法、终端及存储介质,该模型训练方法包括:在通过训练数据训练预测模型时,配置第i权重;其中,第i权重用于对预测模型进行第i轮训练;i为大于0的整数;将训练数据输入至预测模型,获得第i损失值,并根据第i损失值和偏差下限阈值确定第i学习率;其中,第i损失值用于确定预测模型输出的预测值与真实值之间的偏差程度;根据第i学习率配置第(i+1)权重,并根据第(i+1)权重对预测模型进行第(i+1)轮训练,直到获得完成训练的预测模型;使用完成训练的预测模型对待预测对象进行预测处理。

Model training method, terminal and storage medium

【技术实现步骤摘要】
模型训练方法、终端及存储介质
本专利技术涉及神经网络
,尤其涉及一种模型训练方法、终端及存储介质。
技术介绍
在使用梯度下降法进行模型训练时,可以通过对学习率的调整来实现对权重的更新。由于合适的学习率会加快模型的收敛速度,而不理想的学习率可能会使目标函数的损失值急剧上升,无法完成模型的训练。因此,选择一个合适的学习率,对于模型的训练将至关重要。目前,常见的学习率的调整方法主要包括离散下降、指数减缓以及分数减缓等,具体地,上述调整方法均是随着训练轮数的增加按照一定的规律对学习率进行递减的调整,而这种依赖训练轮数的调整方法并不能获得最为合适的学习率,进而降低了模型的收敛速度。
技术实现思路
本申请实施例提供了一种模型训练方法、终端及存储介质,在进行模型训练时,能够及时更新学习率,获得最为合适的学习率,从而提升了模型的收敛速度。本申请实施例的技术方案是这样实现的:第一方面,本申请实施例提供了一种模型训练方法,所述方法包括:在通过训练数据训练预测模型时,配置第i权重;其中,所述第i权重用于对所述本文档来自技高网...

【技术保护点】
1.一种模型训练方法,其特征在于,所述方法包括:/n在通过训练数据训练预测模型时,配置第i权重;其中,所述第i权重用于对所述预测模型进行第i轮训练;所述i为大于0的整数;/n将所述训练数据输入至所述预测模型,获得第i损失值,并根据所述第i损失值和偏差下限阈值确定第i学习率;其中,所述第i损失值用于确定所述预测模型输出的预测值与真实值之间的偏差程度;/n根据所述第i学习率配置第(i+1)权重,并根据所述第(i+1)权重对所述预测模型进行第(i+1)轮训练,直到获得完成训练的预测模型;/n使用所述完成训练的预测模型对待预测对象进行预测处理。/n

【技术特征摘要】
1.一种模型训练方法,其特征在于,所述方法包括:
在通过训练数据训练预测模型时,配置第i权重;其中,所述第i权重用于对所述预测模型进行第i轮训练;所述i为大于0的整数;
将所述训练数据输入至所述预测模型,获得第i损失值,并根据所述第i损失值和偏差下限阈值确定第i学习率;其中,所述第i损失值用于确定所述预测模型输出的预测值与真实值之间的偏差程度;
根据所述第i学习率配置第(i+1)权重,并根据所述第(i+1)权重对所述预测模型进行第(i+1)轮训练,直到获得完成训练的预测模型;
使用所述完成训练的预测模型对待预测对象进行预测处理。


2.根据权利要求1所述的方法,其特征在于,所述根据所述第i损失值和偏差下限阈值确定第i学习率,包括:
根据所述第i损失值和偏差下限阈值确定第i误差;
若所述第i误差不满足预设误差要求,则根据所述第i误差确定所述第i学习率。


3.根据权利要求2所述的方法,其特征在于,
在对所述预测模型进行第一轮训练之前,初始化第一权重值、调节参数、第一学习率以及所述偏差下限阈值;其中,所述调节参数用于进行学习率的更新。


4.根据权利要求3所述的方法,其特征在于,
在根据所述第一权重对所述预测模型进行第一轮训练之后,获得第一损失值;
根据所述第一损失值和所述偏差下限阈值确定第一误差;
若所述第一误差不满足所述预设误差要求,则根据所述第一学习率确定第二权重,并根据所述第二权重对所述预测模型进行第二轮训练。


5.根据权利要求3或4所述的方法,其特征在于,所述调节参数包括比例调节系数、积分调节系数以及微分调节系数;
相应地,所述调节参数通过比例调节、积分调节以及微分调节中的至少一种调节方式进行学习率的更新。


6.根据权利要求5所述的方法,其特征在于,所述根据所述第i误差确定第i学习率,包括:
根据所述调节参数和所述第i误差计算所述第i学习率。


7.根据权利要求5所述的方法,其特征在于,所述根据所述第i误差确定所述第i学习率,包括:
按照所述第i误差调整所述调节参数,获得调整后的调节参数;
根据所述调整后的调节参数和所述第i误差计算所述第i学习率。


8.根据权利要求5所述的方法,其特征在于,所述初始化所述调节参数包括:
将所述...

【专利技术属性】
技术研发人员:刘君
申请(专利权)人:OPPO广东移动通信有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1