【技术实现步骤摘要】
本公开涉及模型训练领域，尤其涉及一种训练数据的预加载方法、装置、计算机设备及存储介质。
技术介绍
1、在实际应用中，可以通过人工预配置方式将远端存储中的部分数据缓存至本地的缓存节点内，进而提升数据的读写速度。
2、相关技术中，模型训练过程通常耗时较长，期间缓存节点可能发生故障，而为保障模型训练任务持续运行，通常会在缓存节点异常后，将模型训练任务重新调度至其他缓存节点以恢复训练。然而，缓存节点故障具有不可预测性，新承接任务的缓存节点往往未能提前加载所需训练数据，因此，在该缓存节点首次读取训练数据时仍会面临访问延迟高、读取速度慢的问题，影响训练任务的恢复效率。
技术实现思路
1、有鉴于此，本公开实施例提供了一种训练数据的预加载方法、装置、计算机设备及存储介质，以解决相关技术中存在的问题。
2、本公开实施例的第一方面，提供了一种训练数据的预加载方法，该方法包括：在检测到当前缓存节点发生故障的情况下，获取目标集群中多个可用缓存节点的节点信息和当前缓存节点包括的训练数据；分别...
【技术保护点】
1.一种训练数据的预加载方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述训练数据包括多个，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述节点信息包括所述可用缓存节点中的已缓存数据，所述根据所述训练数据从多个所述可用缓存节点中确定出至少一个候选可用缓存节点，包括：
4.根据权利要求1所述的方法，其特征在于，所述节点信息包括所述可用缓存节点中的已缓存数据和剩余缓存空间，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述已缓存数据包括多个缓存任务对应的数据，所述根据所述训...
【技术特征摘要】
1.一种训练数据的预加载方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述训练数据包括多个，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述节点信息包括所述可用缓存节点中的已缓存数据，所述根据所述训练数据从多个所述可用缓存节点中确定出至少一个候选可用缓存节点，包括：
4.根据权利要求1所述的方法，其特征在于，所述节点信息包括所述可用缓存节点中的已缓存数据和剩余缓存空间，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述已缓存数据包括多个缓存任务对应的数据，所述根据所述训练数据的数据量从所述候选可用缓存节点中的已缓存数据中...
【专利技术属性】
技术研发人员：洪冬冬，顾昌晟，李莉，李杰亮，施成龙，侯雁，
申请(专利权)人：中移苏州软件技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。