模型训练方法、装置、设备、存储介质制造方法及图纸

本公开实施例公开了一种模型训练方法、装置、设备、存储介质，其中，所述方法包括：优化器构造接口基于优化器构造参数，构建优化器；响应于基于深度学习模型的反向传播梯度计算完成，可学习参数更新接口基于所述优化器和所述深度学习模型中可学习参数和所述可学习参数对应的梯度信息，确定更新后的可学习参数；所述可学习参数更新接口基于更新后的可学习参数，得到参数更新后的深度学习模型。得到参数更新后的深度学习模型。得到参数更新后的深度学习模型。

【技术实现步骤摘要】
模型训练方法、装置、设备、存储介质


[0001]本公开涉及但不限于数据处理
，尤其涉及一种模型训练方法、装置、设备、存储介质。

技术介绍

[0002]在深度学习模型训练的过程中，为了使深度学习模型输出更接近真实标签，提升深度学习模型的准确度，需要构建优化器来优化更新深度学习模型中可学习参数的值。

技术实现思路

[0003]有鉴于此，本公开实施例至少提供一种模型训练方法、装置、设备、存储介质及程序产品。
[0004]本公开实施例的技术方案是这样实现的：
[0005]一方面，本公开实施例提供一种模型训练方法，其特征在于，所述方法包括：
[0006]优化器构造接口基于优化器构造参数，构建优化器；
[0007]响应于基于深度学习模型的反向传播梯度计算完成，可学习参数更新接口基于所述优化器和所述深度学习模型中可学习参数和所述可学习参数对应的梯度信息，确定更新后的可学习参数；
[0008]所述可学习参数更新接口基于更新后的可学习参数，得到参数更新后的深度学习模型。
[0009]另一方面，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：优化器构造接口基于优化器构造参数，构建优化器；响应于基于深度学习模型的反向传播梯度计算完成，可学习参数更新接口基于所述优化器和所述深度学习模型中可学习参数和所述可学习参数对应的梯度信息，确定更新后的可学习参数；所述可学习参数更新接口基于更新后的可学习参数，得到参数更新后的深度学习模型。2.根据权利要求1所述的方法，其特征在于，所述优化器构造参数包括优化算法和优化参数；所述优化器构造接口基于优化器构造参数，构建优化器，包括：所述优化器构造接口基于优化算法和优化参数，构建优化器；所述优化器用于基于所述优化算法和所述优化参数确定的优化策略对所述深度学习模型中可学习参数进行更新；其中，所述优化参数包括以下至少之一：基础学习率，动量系数和参数衰减系数。3.根据权利要求2所述的方法，其特征在于，所述可学习参数更新接口基于所述优化器和所述深度学习模型中可学习参数和所述可学习参数对应的梯度信息，确定更新后的可学习参数，包括：所述可学习参数更新接口基于所述优化算法、所述优化参数、所述深度学习模型中可学习参数和所述可学习参数对应的梯度信息，确定所述更新后的可学习参数。4.根据权利要求2或3所述的方法，其特征在于，所述优化器构造接口基于优化算法和优化参数，构建优化器，包括：所述优化器构造接口对所述优化算法和所述优化参数进行校验，得到构造参数校验结果；在所述构造参数校验结果表征校验成功的情况下，所述优化器构造接口基于优化器构造请求中携带的优化方法标识和优化参数，构建所述优化器；在所述构造参数校验结果表征校验失败的情况下，所述优化器构造接口生成构建失败异常信息。5.根据权利要求1至4任一项所述的方法，其特征在于，所述可学习参数更新接口基于所述优化器和所述深度学习模型中可学习参数和所述可学习参数对应的梯度信息，确定更新后的可学习参数，包括：所述可学习参数更新接口接收所述深度学习模型和回调函数；所述深度学习模型包括所述可学习参数、所述可学习参数对应的梯度信息；所述可学习参数更新接口基于所述优化器对应的优化策略、所述可学习参数和所述可学习参数对应的梯度信息，确定更新后的可学习参数；所述可学习参数更新接口基于更新后的可学习参数，得到参数更新后的深度学习模型，包括：所述可学习参数更新接口基于所述更新后的可学习参数，得到中间深度学习模型；所述可学习参数更新接口通过所述回调函数对所述中间深度学习模型进行至少一次参数微调过程，将进行所述至少一次参数微调过程后的中间深度模型确定为所述参数更新后的深度学习模型；其中，所述参数微调过程包括基于所述中间深度学习模型的确定新的损失函数值，并
基于所述新的损失函数值对所述中间深度学习模型的模型参数进行调整。6.根据权利要求1或5所述的方法，其特征在于，所述方法还包括：所述可学习参数更新接口响应于对所述深度学习模型解析失败，生成第一模型定义错误异常信息；所述可学习参数更新接口响应于对所述深度学习模型中可以学习参数对应的梯度信息获取失败，生成模型梯度异常信息；所述可学习参数更新接口响应于对所述深度学习模型中可学习参数更新失败，生成参数更新异常信息。7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：可学习参数梯度清零接口响应于得到更新网络参数后的深度学习模型，基于所述优化器对所述更新网络参数后的深度学习模型的梯度信息进行清零，得到目标深度学习模型。8.根据权利要求7所述的方法，其特征在于，所述可学习参数梯度清零接口基于所述优化器对所述更新网络参数后的深度学习模型的梯度信息进行清零，包括：所述可学习参数梯度清零接口接收所述更新网络参数后的深度学习模型；所述更新网络参数后的深度学习模型包括所述更新后的可学习参数，和所述更新后的可学习参数对应的梯度信息；所述可学习参数梯度清零接口对所述更新后的可学习参数对应的梯度信息进行清零，基于所述更新后的可学习参数和所述更新后的可学习参数对应的清零后的梯度信息，确定所述目标深度学习模型。9.根据权利要求7或8所述的方法，其特征在于，所述方法还包括：所述可学习参数更新接口响应于对所述更新网络参数后的深度学习模型...

【专利技术属性】
技术研发人员：罗培超，张行程，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：