分布式深度学习任务处理系统、方法、设备及存储介质技术方案

本申请公开了一种分布式深度学习任务处理系统、方法、设备及存储介质，该系统包括任务配置模块，用于响应用户对组件的拖拽操作，在前端页面上形成深度学习流水线，并将所述深度学习流水线传入后端进行解析，得到有向无环图；任务执行模块，用于将所述有向无环图中的每一个组件打包为容器文件，并形成流水线任务后在kubernetes中运行；任务调度模块，用于配置深度学习任务的定时运行的时间或者周期；模型部署模块，用于根据用户输入的指令，对训练好的深度学习任务模型进行一站式部署。该系统可将算法研发人员从重复劳动中解放出来，降低了人工成本。本申请可广泛应用于人工智能技术领域内。领域内。领域内。

【技术实现步骤摘要】
分布式深度学习任务处理系统、方法、设备及存储介质


[0001]本申请涉及人工智能
，尤其是一种分布式深度学习任务处理系统、方法、设备及存储介质。

技术介绍

[0002]分布式深度学习当前已成为人工智能最热门的研究领域之一，随着大数据的逐渐兴起，数据开始发生爆炸式的增长，传统的深度学习在单机上进行庞大的数据存储和计算相对来说比较困难。基于以上情况，将深度学习模型部署到多台设备上进行分布式计算，是目前常用的一种解决方法。
[0003]相关技术中，现有的分布式深度学习系统无法对深度学习工作流进行统一的管理和定时部署，也无法在模型训练结束后直接进行模型预测，而目前很多用户都对该应用场景有较大的需求。因此，上述缺陷极大地影响了用户的使用效率和体验。
[0004]综上，相关技术存在的问题亟需得到解决。

技术实现思路

[0005]本申请的目的在于至少一定程度上解决相关技术中存在的技术问题之一。
[0006]为此，本申请实施例的一个目的在于提供一种分布式深度学习任务处理系统、方法、设备及存储介质。
[0007]为了达到上述技术目的，本申请实施例所采取的技术方案包括：
[0008]一方面，本申请实施例提供了一种分布式深度学习任务处理系统，包括：
[0009]任务配置模块，用于响应用户对组件的拖拽操作，在前端页面上形成深度学习流水线，并将所述深度学习流水线传入后端进行解析，得到有向无环图；
[0010]任务执行模块，用于将所述有向无环图中的每一个组件打包为容器文件，并形成流水线任务后在kubernetes中运行；
[0011]任务调度模块，用于配置深度学习任务的定时运行的时间或者周期；
[0012]模型部署模块，用于根据用户输入的指令，对训练好的深度学习任务模型进行一站式部署。
[0013]另外，根据本申请上述实施例的一种分布式深度学习任务处理系统，还可以具有以下附加的技术特征：
[0014]进一步地，在本申请的一个实施例中，所述任务执行模块具体用于：
[0015]将所述有向无环图中的每一个组件，通过Docker引擎打包为镜像文件；
[0016]通过kubeflow将各个所述镜像文件组合成流水线任务，通过kubernetes对所述镜像文件进行容器编排，以将流水线任务调度至对应的节点上，并基于工作流信息对流水线任务的节点进行运算。
[0017]进一步地，在本申请的一个实施例中，所述组件包括预处理组件、数据清洗组件和模型训练组件。
[0018]进一步地，在本申请的一个实施例中，所述系统还包括：
[0019]任务管理模块，用于接收用户的查询指令，在前端页面上显示深度学习任务的工作流信息。
[0020]另一方面，本申请实施例提供一种分布式深度学习任务处理方法，所述方法包括以下步骤：
[0021]响应用户对组件的拖拽操作，在前端页面上形成深度学习流水线，并将所述深度学习流水线传入后端进行解析，得到有向无环图；
[0022]将所述有向无环图中的每一个组件打包为容器文件，并形成流水线任务后在kubernetes中运行，得到训练好的深度学习任务模型；
[0023]根据用户输入的指令，对训练好的深度学习任务模型进行一站式部署。
[0024]另外，根据本申请上述实施例的一种分布式深度学习任务处理方法，还可以具有以下附加的技术特征：
[0025]进一步地，在本申请的一个实施例中，所述将所述深度学习流水线传入后端进行解析，得到有向无环图，包括：
[0026]对所述深度学习流水线进行解析，得到工作流json串；
[0027]将所述工作流json串中的节点列表转换为节点id，并将所述工作流json串中的连接线列表转换为键值对；
[0028]遍历所述节点id和所述键值对，构建得到有向无环图。
[0029]进一步地，在本申请的一个实施例中，所述组件包括预处理组件、数据清洗组件和模型训练组件。
[0030]进一步地，在本申请的一个实施例中，所述方法还包括以下步骤：
[0031]接收用户的查询指令，在前端页面上显示深度学习任务的工作流信息。
[0032]另一方面，本申请实施例提供了一种计算机设备，包括：
[0033]至少一个处理器；
[0034]至少一个存储器，用于存储至少一个程序；
[0035]当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的分布式深度学习任务处理方法。
[0036]另一方面，本申请实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，上述处理器可执行的程序在由处理器执行时用于实现上述的分布式深度学习任务处理方法。
[0037]本申请的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到：
[0038]本申请实施例所公开的一种分布式深度学习任务处理系统，包括：任务配置模块，用于响应用户对组件的拖拽操作，在前端页面上形成深度学习流水线，并将所述深度学习流水线传入后端进行解析，得到有向无环图；任务执行模块，用于将所述有向无环图中的每一个组件打包为容器文件，并形成流水线任务后在kubernetes中运行；任务调度模块，用于配置深度学习任务的定时运行的时间或者周期；模型部署模块，用于根据用户输入的指令，对训练好的深度学习任务模型进行一站式部署。该系统使得用户可以方便地对分布式深度学习工作流进行统一的管理，且方便对历史训练任务进行溯源对比，对任务的管理不再杂
乱无杂，并且能够支持定时任务部署，一定程度上将算法研发人员从重复劳动中解放出来，降低了人工成本。
附图说明
[0039]为了更清楚地说明本申请实施例或者现有技术中的技术方案，下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本专利技术的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
[0040]图1为本申请实施例中提供的一种分布式深度学习任务处理系统的实施环境示意图；
[0041]图2为本申请实施例中提供的一种分布式深度学习任务处理系统的结构示意图；
[0042]图3为本申请实施例中提供的一种分布式深度学习任务处理方法的流程示意图；
[0043]图4为本申请实施例中提供的一种计算机设备的结构示意图。
具体实施方式
[0044]下面结合说明书附图和具体的实施例对本申请进行进一步的说明。所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0045]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式深度学习任务处理系统，其特征在于，包括：任务配置模块，用于响应用户对组件的拖拽操作，在前端页面上形成深度学习流水线，并将所述深度学习流水线传入后端进行解析，得到有向无环图；任务执行模块，用于将所述有向无环图中的每一个组件打包为容器文件，并形成流水线任务后在kubernetes中运行；任务调度模块，用于配置深度学习任务的定时运行的时间或者周期；模型部署模块，用于根据用户输入的指令，对训练好的深度学习任务模型进行一站式部署。2.根据权利要求1所述的一种分布式深度学习任务处理系统，其特征在于，所述任务执行模块具体用于：将所述有向无环图中的每一个组件，通过Docker引擎打包为镜像文件；通过kubeflow将各个所述镜像文件组合成流水线任务，通过kubernetes对所述镜像文件进行容器编排，以将流水线任务调度至对应的节点上，并基于工作流信息对流水线任务的节点进行运算。3.根据权利要求1所述的一种分布式深度学习任务处理系统，其特征在于，所述组件包括预处理组件、数据清洗组件和模型训练组件。4.根据权利要求1
‑
3中任一项所述的一种分布式深度学习任务处理系统，其特征在于，所述系统还包括：任务管理模块，用于接收用户的查询指令，在前端页面上显示深度学习任务的工作流信息。5.一种分布式深度学习任务处理方法，其特征在于，包括以下步骤：响应用户对组件的拖拽操作，在前端页面上形成深度学习流水线，并将所述深度学习流水线传入后端进行解析，得到有向无...

【专利技术属性】
技术研发人员：张姝彦，朱明，丁霞，王世杰，张峰，
申请(专利权)人：天翼物联科技有限公司，
类型：发明
国别省市：