模型训练方法、电子设备、存储介质和程序产品技术

本发明专利技术提供一种模型训练方法、电子设备、存储介质和程序产品，所述方法包括：基于调度器，确定模型每个训练轮次的采样数量，调度器用于表征首个训练轮次的采样数量为第一预设数量，末个训练轮次的采样数量为第二预设数量，第一预设数量小于第二预设数量；基于各训练轮次的采样数量，生成各训练轮次的扰乱张量；基于各训练轮次的扰乱张量，对模型进行迭代训练。本发明专利技术提供的模型训练方法、电子设备、存储介质和程序产品，通过调度器来动态确定每个训练轮次的采样数量，从而能够在训练初期不耗费额外计算资源下实现损失函数的正常收敛，并在训练中后期使用少量的额外计算就能保证模型的性能。

【技术实现步骤摘要】

本专利技术涉及模型训练，尤其涉及一种模型训练方法、电子设备、存储介质和程序产品。

技术介绍

1、前向模型训练是一种只需要计算模型到目标损失函数的前向过程即可进行模型参数更新(即模型训练)的方法。前向模型训练不需要进行反向传播(backpropagation)也可求出损失函数对应的梯度，其核心的机制是通过生成扰乱向量来获取损失函数对应的梯度信息。

2、目前，相关技术中在每一训练轮次只生成一个扰乱向量求解损失函数对应的梯度，但该方法求解出的梯度与真实梯度相差较大，进而导致模型训练收敛速度变慢。相关技术中也有在每一训练轮次生成多个扰乱向量求解损失函数对应的梯度，但该方法会造成计算量与扰乱向量数量成正比的额外开销。

技术实现思路

1、本专利技术提供一种模型训练方法、电子设备、存储介质和程序产品，用以解决现有技术中模型训练收敛速度较慢或计算量较大的缺陷。

2、本专利技术提供一种模型训练方法，包括：

3、基于调度器，确定模型每个训练轮次的采样数量，所述调度器用于表征首个训练轮次的采样数本文档来自技高网...

【技术保护点】

1.一种模型训练方法，其特征在于，包括：

2.根据权利要求1所述的模型训练方法，其特征在于，所述基于调度器，确定模型每个训练轮次的采样数量，包括：

3.根据权利要求2所述的模型训练方法，其特征在于，所述调度器基于如下步骤确定：

4.根据权利要求3所述的模型训练方法，其特征在于，所述函数表达式为单调递增函数表达式。

5.根据权利要求1至4任一项所述的模型训练方法，其特征在于，所述基于各训练轮次的扰乱张量，对所述模型进行迭代训练，包括：

6.根据权利要求5所述的模型训练方法，其特征在于，所述基于各训练轮次的扰乱张量，确定各训练轮次对...

【技术特征摘要】

1.一种模型训练方法，其特征在于，包括：

2.根据权利要求1所述的模型训练方法，其特征在于，所述基于调度器，确定模型每个训练轮次的采样数量，包括：

3.根据权利要求2所述的模型训练方法，其特征在于，所述调度器基于如下步骤确定：

4.根据权利要求3所述的模型训练方法，其特征在于，所述函数表达式为单调递增函数表达式。

5.根据权利要求1至4任一项所述的模型训练方法，其特征在于，所述基于各训练轮次的扰乱张量，对所述模型进行迭代训练，包括：

6.根据权利要求5所述的模型训练方法，其特征在于，所述基于各训练轮次的扰乱张量，确定各训练轮次对应损失函数的估计梯度，包括：

7.根...

【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，
申请(专利权)人：上海壁仞科技股份有限公司，
类型：发明
国别省市：