一种数据集缓存方法及相关装置制造方法及图纸

本申请公开了一种数据集缓存方法，包括接收用户创建训练任务时传入的配置参数；基于所述配置参数生成YAML配置文件；利用容器编排系统，根据所述YAML配置文件创建得到数据集缓存容器；启动所述数据集缓存容器并在所述数据集缓存容器内调用并执行预置的数据集缓存脚本进行数据集缓存。该数据集缓存方法能够简化数据集缓存的业务过程，提高训练任务的提交效率。本申请还公开了一种数据集缓存装置、设备以及计算机可读存储介质，均具有上述技术效果。

A data set caching method and related devices

【技术实现步骤摘要】
一种数据集缓存方法及相关装置
本申请涉及数据存储
，特别涉及一种数据集缓存方法；还涉及一种数据集缓存装置、设备以及计算机可读存储介质。
技术介绍
机器学习、深度学习等模型被不同领域广泛应用，而在使用机器学习、深度学习等模型前，首先需要对其进行训练。其中，数据集是进行机器学习、深度学习等训练的基础，训练任务启动前首先需要缓存该训练任务所需的数据集，进而在完成数据集缓存后启动训练任务。数据集缓存的业务过程关乎提交训练任务的效率。因此，如何简化数据集缓存的业务过程，提高训练任务的提交效率已成为本领域技术人员亟待解决的技术问题。
技术实现思路
本申请的目的是提供一种数据集缓存方法，能够简化数据集缓存的业务过程，提高训练任务的提交效率；本申请的另一目的是提供一种数据集缓存装置、设备以及计算机可读存储介质，均具有上述技术效果。为解决上述技术问题，本申请提供了一种数据集缓存方法，包括：接收用户创建训练任务时传入的配置参数；基于所述配置参数生成YAML配置文件；利用容器编排系统，根据所述YAML配置文件本文档来自技高网...

【技术保护点】
1.一种数据集缓存方法，其特征在于，包括：/n接收用户创建训练任务时传入的配置参数；/n基于所述配置参数生成YAML配置文件；/n利用容器编排系统，根据所述YAML配置文件创建得到数据集缓存容器；/n启动所述数据集缓存容器并在所述数据集缓存容器内调用并执行预置的数据集缓存脚本进行数据集缓存。/n

【技术特征摘要】
1.一种数据集缓存方法，其特征在于，包括：
接收用户创建训练任务时传入的配置参数；
基于所述配置参数生成YAML配置文件；
利用容器编排系统，根据所述YAML配置文件创建得到数据集缓存容器；
启动所述数据集缓存容器并在所述数据集缓存容器内调用并执行预置的数据集缓存脚本进行数据集缓存。


2.根据权利要求1所述的数据集缓存方法，其特征在于，所述执行预置的所述数据集缓存脚本进行数据集缓存包括：
执行预置的所述数据集缓存脚本将目标数据集缓存至共享存储系统或本地节点。


3.根据权利要求1所述的数据集缓存方法，其特征在于，还包括：
配置数据集缓存方式，以执行所述数据集缓存脚本时将目标数据集缓存至所述数据集缓存方式对应的存储位置。


4.根据权利要求1所述的数据集缓存方法，其特征在于，还包括：
判断数据集缓存是否完成；
若数据集缓存完成，则启动所述训练任务。


5.根据权利要求4所述的数据集缓存方法，其特征在于，所述基于所述配置参数生成YAML配置文件前，还包括：
检测用户创建训练任务时传入的所述配置参数是否有效，并当存在无效的配置参数时进行异常提示。


6.一种数据集缓存装置，其特征在于，包括：
配置参...

【专利技术属性】
技术研发人员：郑玉会，
申请(专利权)人：广东浪潮大数据研究有限公司，
类型：发明
国别省市：广东;44