分布式深度学习任务处理系统、方法、设备及存储介质技术方案

本申请公开了一种分布式深度学习任务处理系统、方法、设备及存储介质，该系统包括任务配置模块，用于响应用户对组件的拖拽操作，在前端页面上形成深度学习流水线，并将所述深度学习流水线传入后端进行解析，得到有向无环图；任务执行模块，用于将所述有向无环图中的每一个组件打包为容器文件，并形成流水线任务后在kubernetes中运行；任务调度模块，用于配置深度学习任务的定时运行的时间或者周期；模型部署模块，用于根据用户输入的指令，对训练好的深度学习任务模型进行一站式部署。该系统可将算法研发人员从重复劳动中解放出来，降低了人工成本。本申请可广泛应用于人工智能技术领域内。领域内。领域内。

【技术实现步骤摘要】
分布式深度学习任务处理系统、方法、设备及存储介质


[0001]本申请涉及人工智能
，尤其是一种分布式深度学习任务处理系统、方法、设备及存储介质。

技术介绍

[0002]分布式深度学习当前已成为人工智能最热门的研究领域之一，随着大数据的逐渐兴起，数据开始发生爆炸式的增长，传统的深度学习在单机上进行庞大的数据存储和计算相对来说比较困难。基于以上情况，将深度学习模型部署到多台设备上进行分布式计算，是目前常用的一种解决方法。
[0003]相关技术中，现有的分布式深度学习系统无法对深度学习工作流进行统一的管理和定时部署，也无法在模型训练结束后直接进行模型预测，而目前很多用户都对该应用场景有较大的需求。因此，上述缺陷极大地影响了用户的使用效率和体验。
[0004]综上，相关技术存在的问题亟需得到解决。

技术实现思路

[0005]本申请的目的在于至少一定程度上解决相关技术中存在的技术问题之一。
[0006]为此，本申请实施例的一个目的在于提供一种分布式深度学习任务处理系统、方法、设备及存储介质。
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式深度学习任务处理系统，其特征在于，包括：任务配置模块，用于响应用户对组件的拖拽操作，在前端页面上形成深度学习流水线，并将所述深度学习流水线传入后端进行解析，得到有向无环图；任务执行模块，用于将所述有向无环图中的每一个组件打包为容器文件，并形成流水线任务后在kubernetes中运行；任务调度模块，用于配置深度学习任务的定时运行的时间或者周期；模型部署模块，用于根据用户输入的指令，对训练好的深度学习任务模型进行一站式部署。2.根据权利要求1所述的一种分布式深度学习任务处理系统，其特征在于，所述任务执行模块具体用于：将所述有向无环图中的每一个组件，通过Docker引擎打包为镜像文件；通过kubeflow将各个所述镜像文件组合成流水线任务，通过kubernetes对所述镜像文件进行容器编排，以将流水线任务调度至对应的节点上，并基于工作流信息对流水线任务的节点进行运算。3.根据权利要求1所述的一种分布式深度学习任务处理系统，其特征在于，所述组件包括预处理组件、数据清洗组件和模型训练组件。4.根据权利要求1
‑
3中任一项所述的一种分布式深度学习任务处理系统，其特征在于，所述系统还包括：任务管理模块，用于接收用户的查询指令，在前端页面上显示深度学习任务的工作流信息。5.一种分布式深度学习任务处理方法，其特征在于，包括以下步骤：响应用户对组件的拖拽操作，在前端页面上形成深度学习流水线，并将所述深度学习流水线传入后端进行解析，得到有向无...

【专利技术属性】
技术研发人员：张姝彦，朱明，丁霞，王世杰，张峰，
申请(专利权)人：天翼物联科技有限公司，
类型：发明
国别省市：