一种模型训练方法、装置、设备及介质制造方法及图纸

技术编号:43892079 阅读:12 留言:0更新日期:2025-01-03 13:06
本发明专利技术公开了一种模型训练方法、装置、设备及介质,包括:获取模型需求信息,并基于模型需求信息创建待训练模型、初始参数辅助表及初始训练状态表;根据预设数据集、初始参数辅助表及初始训练状态表对待训练模型进行训练,确定本次训练的当前损失函数及偏差参数;基于偏差参数更新初始训练状态表,得到下一训练状态表;根据当前损失函数,确定动态梯度信息结合预设波动阈值对初始参数辅助表进行更新;根据下一训练状态表及下一参数辅助表对待训练模型进行迭代训练,直至满足训练结束条件,得到最终训练模型。通过将训练过程记录于表中,确定参数动态梯度信息及损失函数的变化情况进行动态调整,自适应地调整参数,提升了训练速度及模型的准确率。

【技术实现步骤摘要】

本专利技术涉及数据库,尤其涉及一种模型训练方法、装置、设备及介质


技术介绍

1、梯度下降是机器学习中常用的优化算法,原理是通过最小化损失函数来达到更新模型参数的优化算法,传统方法中用户指定的学习率决定了每次参数更新的步长。在每一次迭代中计算损失函数对各个参数的梯度,由反向传播将梯度传播到输入层,用于指导梯度下降的参数更新过程,以减小损失函数的值。

2、现如今各厂商在使用传统方法处理大规模数据集和非平稳数据集时,将学习率作为固定的超参值加入训练的初始化参数,每次迭代的步长大小也随之固定。

3、因此,传统的数据库集成机器学习方法在处理大规模数据集和非平稳数据集时,通常很耗时且无法及时适应训练数据的变化。由于传统方法的固定学习率、离线参数更新和离线数据集批处理方式,导致初始化参数的学习率并不一定适用于原始数据集或后续的增量数据,机器学习无法实时调整模型参数和适应数据的变化,使得最终训练的模型在这些情况下准确率和效率较低。


技术实现思路

1、本专利技术提供了一种模型训练方法、装置、设备及介质本文档来自技高网...

【技术保护点】

1.一种模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据预设数据集、所述初始参数辅助表及所述初始训练状态表对待训练模型进行训练,确定本次训练的当前损失函数及偏差参数,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于所述偏差参数更新所述初始训练状态表,得到下一训练状态表,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述当前损失函数,确定动态梯度信息结合预设波动阈值对所述初始参数辅助表进行更新,得到下一参数辅助表,包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述当前梯度值...

【技术特征摘要】

1.一种模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据预设数据集、所述初始参数辅助表及所述初始训练状态表对待训练模型进行训练,确定本次训练的当前损失函数及偏差参数,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于所述偏差参数更新所述初始训练状态表,得到下一训练状态表,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述当前损失函数,确定动态梯度信息结合预设波动阈值对所述初始参数辅助表进行更新,得到下一参数辅助表,包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述当前梯度值、所述预设...

【专利技术属性】
技术研发人员:向宜航陈琦宁亮
申请(专利权)人:武汉达梦数据库股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1