一种多类型AI任务动态调度方法技术

本发明专利技术提供一种多类型AI任务动态调度方法，涉及人工智能技术领域。该多类型AI任务动态调度方法，具体包括以下步骤：S1.物理机标记；S2.拆分功能节点；S3.识别可用物理机排列优先级；S4.任务节点执行。本发明专利技术提供一种多类型AI任务动态调度方法，该多类型AI任务动态调度方法能够应用在物理机的预识别、“任务节点拓扑序列”中的各种类检测，且能够对物理机进行预识别，满足不同功能设备所组件集群的调度，同时，本方案中对物理机进行的预识别，在工作流中存在的多分支情况下，一定程度上帮助分布式处理集群的物理机资源合理分配，识别任务与流程创建任务、流程节点执行任务并行处理，不会占用流程处理时间。不会占用流程处理时间。不会占用流程处理时间。

【技术实现步骤摘要】
一种多类型AI任务动态调度方法


[0001]本专利技术涉及人工智能
，具体为一种多类型AI任务动态调度方法。

技术介绍

[0002]数据爆发导致单机性能不再满足计算要求，分布式系统应运而生，分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。其目的是利用更多的机器，处理更多的数据。
[0003]为保证系统可靠性，现有领域分布式系统采用中心化思想，即系统集群中每一机器，拥有相同处理功能，但上述方法受限于实际情况，大多数系统不能保证集群中每一台设备拥有相同功能。无法根据深度学习任务自动调取各个任务所需要的计算资源。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了一种多类型AI任务动态调度方法，解决了现有分布式系统中，无法根据深度学习任务自动调取各个任务所需要计算资源的问题。
[0006](二)技术方案
[0007]为实现以上目的，本专利技术通过以下技术方案予以实现：一种多类型AI任务动态调度方法，具体包括以下步骤：
[0008]S1.对物理机进行标记：
[0009]定义分类标识，并根据所述分类标识对集群以及集群中各物理机进行分类标记，其中，所述分类标识包括：第一类标识、第二类标识、第三类标识和第四类标识；
[0010]S2.对工作流中的任务节点进行标记，并生成任务节点拓扑序列：<br/>[0011]接收所述工作流的执行指令，对所述工作流中的任务节点进行拆分，为各个所述任务节点添加任务节点种类标识，并根据各个所述任务节点的连接关系，生成任务节点拓扑序列，并获取各个所述任务节点的入度；
[0012]S3.识别可用物理机并确定优先级：
[0013]根据所述任务节点种类标识和所述分类标识，识别并选择所述工作流可用的集群，以及各个所述任务节点可用的物理机，并对可用的物理机进行优先度排序，形成与各个所述任务节点对应的物理机表；
[0014]S4.任务节点执行：
[0015]S41根据所述任务节点拓扑序列从所有所述任务节点中识别出首个入度为0的任务节点，根据所述物理机表确定和调用与所述入度为0的任务节点对应的优先度较高的所述可用的物理机，并执行所述入度为0的任务节点，返回第一执行结果；
[0016]S42根据所述任务节点拓扑序列和所述物理机表，将所述第一执行结果发送至下一个任务节点对应的优先度较高的所述可用的物理机，返回第二执行结果；
[0017]S43重复执行步骤S42的操作，直到所述任务节点拓扑序列中的最后一个任务节点执行完毕，获取并返回工作流执行结果。
[0018]其中，在所述步骤S1中，所述第一类标识为集群可执行功能节点的种类的集群的标记；所述第二类标识为执行任务节点任务的物理机的标记。
[0019]可选择地，在所述步骤S1中，所述第三类标识为集群中只提供单一功能的物理机的标记；所述第四类标识为集群中可提供多种功能的物理机的标记。
[0020]另外，在所述步骤S2还包括：
[0021]S21创建工作流并发送执行指令：用户根据数据处理需求从功能节点库中选取对应的任务节点，确定并根据各个任务节点的节点编号，以及各个任务节点之间的连接关系，形成和创建工作流，并发送所述工作流的执行指令；
[0022]S22为任务节点添加标识：接收所述工作流的执行指令，依据所述工作流的有向无环图序列顺序，对所述工作流中的任务节点进行拆分，为各个所述任务节点添加任务节点种类标识，并识别出各个任务节点的连接关系；
[0023]S23生成拓扑序列：根据各个任务节点的连接关系，生成所述任务节点拓扑序列，并获取各个所述任务节点的入度；
[0024]其中，
[0025]所述功能节点库中包含一个或两个以上的任务节点，可根据用户的数据处理需求预先设置；
[0026]所述任务节点种类标识与所述第一类标识相对应；
[0027]所述任务节点的入度为任务节点在所述任务节点拓扑序列中连接的作为输入节点上一个任务节点的数量。
[0028]其中，所述步骤S3具体为：
[0029]S31识别并确定可用的集群：将所述工作流中全部任务节点的任务节点种类标识与所述第一类标识进行对比，如果所述第一类标识包括所述工作流中全部任务节点的任务节点种类标识，则将所述第一类标识对应的集群确定为可用的集群；
[0030]否则，所述第一类标识对应的集群为不可用的集群；
[0031]S32识别并确定可用的物理机：
[0032]根据所述工作流中各个任务节点的任务节点种类标识、所述第二类标识、所述第三类标识和所述第四类标识，识别并确定各个所述任务节点可用的物理机，并对所述可用的物理机进行优先度排序，形成与各个所述任务节点对应的物理机表。
[0033]在上述步骤S3中，形成各功能种类对应的物理机表为：
[0034]在收到工作流执行指令时，对工作流中功能节点种类、前述第1项物理机的第一类标识进行对比判断，当第一类标识中包括全部工作流功能节点种类时，根据第三、四类标识筛选出可执行工作流中各功能类型节点的物理机；
[0035]其中，对筛选出的物理机进行使用优先度排序，针对具有相同第二类标识的物理机，将其中具有第三类标识的物理机优先度设为高，针对具有相同第二类标识且同时具有第四类标识的物理机，识别其所能够处理的其他功能节点类别，若其他功能节点类别未包含在当前工作流功能节点种类中，则将该物理机优先度设为中，否则，将该物理机优先度设为低。
[0036]可选地，所述步骤S32识别并确定可用的物理机还包括：
[0037]将同时具有所述第二类标识和所述第三类标识所述可用的物理机的优先度设置为高；
[0038]同时具有所述第二类标识和所述第四类标识所述可用的物理机，如果所述可用的物理机能够处理的任务节点在当前任务节点拓扑序列中，则将所述可用的物理机的优先度设置为中，否则，将所述可用的物理机的优先度设置为低。
[0039]此外，所述步骤S3中还包括滞后调度处理的步骤，具体为：
[0040]a.对于可处理当前工作流中的一种类型任务节点的任务，同时也可处理其他工作流中其他类型任务节点的任务的物理机进行滞后调度，从在同一时间为其他工作流的执行节约资源；
[0041]b.对于可同时处理当前工作流中多种类型任务节点的任务的物理机进行滞后调度。
[0042](三)有益效果
[0043]本专利技术的一种多类型AI任务动态调度方法在使用时相比较去中心化分布式系统，本方案依据使用者集群现实情况，对物理机进行预识别，满足不同功能设备所组建集群的调度，同时，本方案中对物理机进行的预识别，在工作流中存在的多分支情况下，一定程度上帮助分布式处理集群的物理机资源合理分配，识别任务与流程创建任务、流程节点执行任务并行处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多类型AI任务动态调度方法，其特征在于，具体包括以下步骤：S1.对物理机进行标记：定义分类标识，并根据所述分类标识对集群以及集群中各物理机进行分类标记，其中，所述分类标识包括：第一类标识、第二类标识、第三类标识和第四类标识；S2.对工作流中的任务节点进行标记，并生成任务节点拓扑序列：接收所述工作流的执行指令，对所述工作流中的任务节点进行拆分，为各个所述任务节点添加任务节点种类标识，并根据各个所述任务节点的连接关系，生成任务节点拓扑序列，并获取各个所述任务节点的入度；S3.识别可用物理机并确定优先级：根据所述任务节点种类标识和所述分类标识，识别并选择所述工作流可用的集群，以及各个所述任务节点可用的物理机，并对可用的物理机进行优先度排序，形成与各个所述任务节点对应的物理机表；S4.任务节点执行S41根据所述任务节点拓扑序列从所有所述任务节点中识别出首个入度为0的任务节点，根据所述物理机表确定和调用与所述入度为0的任务节点对应的优先度较高的所述可用的物理机，并执行所述入度为0的任务节点，返回第一执行结果；S42根据所述任务节点拓扑序列和所述物理机表，将所述第一执行结果发送至下一个任务节点对应的优先度较高的所述可用的物理机，返回第二执行结果；S43重复执行步骤S42的操作，直到所述任务节点拓扑序列中的最后一个任务节点执行完毕，获取并返回工作流执行结果。2.根据权利要求1所述的一种多类型AI任务动态调度方法，其特征在于，所述步骤S1中：所述第一类标识为集群可执行功能节点的种类的集群的标记；所述第二类标识为执行任务节点任务的物理机的标记。3.根据权利要求1所述的一种多类型AI任务动态调度方法，其特征在于，所述步骤S1中：所述第三类标识为集群中只提供单一功能的物理机的标记；所述第四类标识为集群中可提供多种功能的物理机的标记。4.根据权利要求1所述的一种多类型AI任务动态调度方法，其特征在于，所述步骤S2还包括：S21创建工作流并发送执行指令：用户根据数据处理需求从功能节点库中选取对应的任务节点，确定并根据各个任务节点的节点编号，以及各个任务节点之间的连接关系，形成和创建工作流，并发送所述工作流的执行指令；S22为任务节点添加标识：接收所述工作流的执行指令，依据所述工作流的有向无环图序列顺序，对所述工作流中的任务节点进行拆分，为各个所述任务节点添加任务节点种类标识，并识别出各个任务节点的连接关系；S23生成拓扑序列：根据各个任务节点的连接关系，生成所述任务节点拓扑序列，并获取各个所述任务节点的入度；其中，
所述功能节点...

【专利技术属性】
技术研发人员：易水寒，刘睿民，
申请(专利权)人：北京柏睿数据技术股份有限公司，
类型：发明
国别省市：