一种训练图像分类模型的系统、方法、装置、介质及设备制造方法及图纸

本说明书公开了一种训练图像分类模型的系统、方法、装置、介质及设备，代理节点通过数据分发模型确定训练数据的分发策略，根据分发策略为各训练节点分发训练数据。各训练节点缓存训练数据，在接收到训练任务时，先从本地缓存中获取执行训练任务所需要的训练数据，当本地缓存中的训练数据不能与执行训练任务所需要的训练数据匹配时，再获取执行训练任务所需要的且未在本地缓存的其他训练数据，从而完成训练任务。各训练节点在执行训练任务时，可确定本地缓存命中率并返回给代理节点。代理节点基于各训练节点的本地缓存命中率调整数据分发模型的参数，从而优化分发策略，以提高训练节点中训练数据的本地缓存命中率，提高图像分类模型的训练效率。

【技术实现步骤摘要】

本申请涉及计算机，尤其涉及一种训练图像分类模型的系统、方法、装置、介质及设备。

技术介绍

1、随着科技的发展，图像分类模型的应用越来越广泛。在对图像分类模型进行分布式训练时，其中一种训练方式为存算分离，在存算分离的分布式训练方式中，可包括管理节点、存储节点以及多个训练节点，管理节点可向各训练节点分发训练任务，存储节点可存储训练数据，也即样本图像和样本图像对应的类别标签，各训练节点可执行训练任务。通常各训练节点接收到的训练任务不同，在训练图像分类模型时，各训练节点可基于管理节点分发的训练任务，从存储节点中获取与训练任务对应的训练数据，再基于获取到的训练数据执行训练任务。

2、目前，为了解决各训练节点从存储节点中，获取与训练任务对应的训练数据时的数据传输延迟问题，通常在各训练节点上部署缓存系统，用于缓存训练数据。而由于缓存系统的缓存空间的大小远小于存储节点存储的训练数据的大小，因此各训练节点在没有接收到训练任务之前，存储节点可预先向各训练节点分发部分训练数据，各训练节点可通过缓存系统存储该部分训练数据。在各训练节点接收到训练任务之后，可先从缓存系统本文档来自技高网...

【技术保护点】

1.一种训练图像分类模型的系统，其特征在于，所述系统包括管理节点、代理节点以及多个训练节点；

2.如权利要求1所述的系统，其特征在于，所述系统还包括：存储节点；

3.如权利要求1所述的系统，其特征在于，所述多个训练节点具体用于，当所述本地缓存命中率大于第一预设阈值时，从所述初始训练数据中获取目标训练数据，并基于获取到的目标训练数据，执行所述训练任务；当所述本地缓存命中率不大于第一预设阈值时，根据所述初始训练数据以及所述目标训练数据，确定未缓存的目标训练数据，并获取未缓存的目标训练数据，基于所述初始训练数据以及获取到的未缓存的目标训练数据，得到全量的目标训练数据；并...

【技术特征摘要】

1.一种训练图像分类模型的系统，其特征在于，所述系统包括管理节点、代理节点以及多个训练节点；

2.如权利要求1所述的系统，其特征在于，所述系统还包括：存储节点；

3.如权利要求1所述的系统，其特征在于，所述多个训练节点具体用于，当所述本地缓存命中率大于第一预设阈值时，从所述初始训练数据中获取目标训练数据，并基于获取到的目标训练数据，执行所述训练任务；当所述本地缓存命中率不大于第一预设阈值时，根据所述初始训练数据以及所述目标训练数据，确定未缓存的目标训练数据，并获取未缓存的目标训练数据，基于所述初始训练数据以及获取到的未缓存的目标训练数据，得到全量的目标训练数据；并基于得到的全量的目标训练数据，执行所述训练任务。

4.如权利要求1所述的系统，其特征在于，所述代理节点具体用于，确定大于第二预设阈值的本地缓存命中率的数量；根据所述数量，确定奖励值；其中，所述奖励值与所述数量呈正相关。

5.一种训练图像分类模型的方法，其特征在于，所述方...

【专利技术属性】
技术研发人员：刘晓宇，曾令仿，胡陈枢，韩珂，刘懿，
申请(专利权)人：之江实验室，
类型：发明
国别省市：