一种模型训练的全流程管理方法及系统技术方案

本发明专利技术提供了一种模型训练的全流程管理方法及系统，方法包括响应于用户输入或周期设置，基于预创建的工作流，产生工作流任务；根据工作流定义中的数据处理属性，形成基于所述工作流任务的若干子任务；为子任务配置执行依赖，顺序执行各子任务；训练处理子任务运行完成后，产生训练模型并保存。本发明专利技术在现有人工智能产品的基础上，增加了工作流管理功能，在执行工作流任务之前，对工作流进行定义，包括数据输入、数据处理、训练发起、模型输出及模型导入的完整过程，同时在任务的执行过程中进行调度管理，使训练任务、算法管理、模型管理和数据集管理联通，实现任务的全自动执行，提高模型训练效率，节省人力。节省人力。节省人力。

【技术实现步骤摘要】
一种模型训练的全流程管理方法及系统


[0001]本专利技术涉及人工智能
，尤其是一种模型训练的全流程管理方法及系统。

技术介绍

[0002]随着人工智能的快速发展，各功能模块逐步增加，传统的模型训练需要人工进行一步一步执行，繁琐且耗时，所以如何将各功能模块流程自动化的进行管理与执行显示尤为重要。
[0003]目前人工智能产品支持训练任务、算法管理、模型管理、数据集管理功能，但各功能模块相对独立，如果需要完整执行模型训练任务直至保存模型文件需要用户手动执行，不能快速，便捷的自动执行流程。

技术实现思路

[0004]本专利技术提供了一种模型训练的全流程管理方法及系统，用于解决现有人工智能产品在模型训练过程中需要人工介入，自动化程度低的问题。
[0005]为实现上述目的，本专利技术采用下述技术方案：
[0006]本专利技术第一方面提供了一种模型训练的全流程管理方法，所述方法包括以下步骤：
[0007]响应于用户输入或周期设置，基于预创建的工作流，产生工作流任务；
[0008]根据工作流定义本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练的全流程管理方法，其特征是，所述方法包括以下步骤：响应于用户输入或周期设置，基于预创建的工作流，产生工作流任务；根据工作流定义中的数据处理属性，形成基于所述工作流任务的若干子任务；为子任务配置执行依赖，顺序执行各子任务，所述子任务包括数据处理子任务和/或训练处理子任务；训练处理子任务运行完成后，产生训练模型并保存。2.根据权利要求1所述模型训练的全流程管理方法，其特征是，所述方法在响应于用户输入或周期设置之前还包括步骤：创建工作流，并设置工作流定义。3.根据权利要求1所述模型训练的全流程管理方法，其特征是，所述工作流定义中包括参数的设置，具体为：工作流名称、周期运行属性，数据处理中选取的数据集、数据处理过程、资源配置、镜像、数据处理输出目录，算法训练中选取的算法、训练参数、资源配置及部署类型，以及模型输出中的路径、模型归档信息。4.根据权利要求3所述模型训练的全流程管理方法，其特征是，所述数据处理属性为开启或不开启；若开启，则子任务包括数据处理子任务和训练处理子任务；若不开启，则子任务包括训练处理子任务。5.根据权利要求3所述模型训练的全流程管理方法，其特征是，所述工作流定义时，通过设置存储路径参数选取数据集，在执行工作流任务时，从设置的存储路径下获取对应的数据集。6.根据权利要求3所述模型训练的全流程管理方法，其特征是，所述方法还包括步骤；监控当前执行子任务的运行状态，在当前子任务执行失败时，重启子任务进度；在当前子任务执行成功后，推进下一子任...

【专利技术属性】
技术研发人员：左聪越，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：