一种模型训练方法技术

本说明书公开了一种模型训练方法

【技术实现步骤摘要】
一种模型训练方法、装置、存储介质及电子设备


[0001]本说明书涉及计算机
和人工智能领域，尤其涉及一种模型训练方法
、
装置
、
存储介质及电子设备
。

技术介绍

[0002]人工智能（
Artificial Intelligence
，
AI
）在近些年得到了大力的发展，而在
AI
技术发展中的关键因素是
AI
模型的训练效率，高能效的
AI
模型训练方法，不仅可以缩短训练时间，还可以节约硬件资源，从而大幅度降低训练大模型需要的能耗和成本
。
[0003]目前，在
AI
模型训练过程中，训练数据和模型参数通常存储在存储节点，而模型需要在计算节点中进行训练，在进行模型训练过程中，需要进行跨节点的数据访问，来获得训练模型所需要的数据
。
[0004]但是，当存储区中存储的数据过多时，执行模型训练的节点就需要等待（如：等待存储空间的满足要求
、r/>等待数据传输完本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种模型训练方法，其特征在于，待训练模型部署在本地节点的计算区，所述本地节点部署有高速缓存区，所述计算区中还部署有数据生成模型，包括：接收训练指令；根据所述训练指令，确定待使用的训练数据的数据标识；判断所述高速缓存区中是否缓存有所述数据标识对应的训练数据；若否，则将所述数据标识输入到预先训练的所述数据生成模型中，以通过所述数据生成模型，生成所述数据标识对应的训练数据，作为生成数据；将所述生成数据发送给部署在所述计算区中的待训练模型，以通过所述生成数据，对所述待训练模型进行训练
。2.
如权利要求1所述的方法，其特征在于，所述方法还包括：从预设的存储区中查询出所述数据标识对应的训练数据，作为真实数据；以最小化所述真实数据与所述生成数据之间的偏差为优化目标，对所述数据生成模型进行再训练
。3.
如权利要求1所述的方法，其特征在于，通过所述生成数据，对所述待训练模型进行训练，具体包括：确定对待训练模型进行训练时所使用的数据，作为目标数据，所述目标数据包括所述生成数据以及所述待训练模型中包含的各网络层的网络参数；根据所述高速缓存区的剩余存储空间，判断所述高速缓存区是否能够存储所述目标数据；若是，将所述目标数据存储在所述高速缓存区中，以在所述待训练模型的模型训练过程中，通过调用所述高速缓存区中缓存的所述目标数据，对所述待训练模型进行训练；若否，则将所述高速缓存区中的至少部分缓存空间进行清空，以将至少部分目标数据存储在所述高速缓存区中，以通过调用所述高速缓存区中缓存的所述至少部分目标数据，对所述待训练模型进行训练
。4.
如权利要求3所述的方法，其特征在于，将所述高速缓存区中的至少部分缓存空间进行清空，以将至少部分所述目标数据存储在所述高速缓存区中，具体包括：确定所述目标数据对应的需求顺序信息，所述需求顺序信息用于表示所述目标数据中包含的各项数据在所述待训练模型的训练过程中被使用的先后顺序；根据所述需求顺序信息，将所述高速缓存区中的至少部分缓存空间进行清空，以将至少部分所述目标数据存储在所述高速缓存区中
。5.
如权利要求4所述的方法，其特征在于，所述需求顺序信息中包含有所述待训练模型在训练过程中所使用的各项数据的使用顺序；根据所述需求顺序信息，将所述高速缓存区中的至少部分缓存空间进行清空，以将至少部分所述目标数据存储在所述高速缓存区中，具体包括：根据所述需求顺序信息中包含的所述待训练模型在训练过程中所使用的各项数据的使...

【专利技术属性】
技术研发人员：程稳，曾令仿，李勇，侯瑞峥，刘懿，滕会刚，
申请(专利权)人：之江实验室，
类型：发明
国别省市：