【技术实现步骤摘要】
本专利技术涉及算力资源调度，尤其涉及一种基于混沌麻雀算法的ai训推平台任务调度方法和系统。
技术介绍
1、随着数组经济的发展，以云计算、人工智能(ai)和算力网络为代表的新一代技术对数字经济的发展起到了重要的推动作用，ai应用领域的扩增，使得ai训推平台的也得到了快速发展。ai训推平台能够提供ai训练所需要的计算资源，支持使用各种单机以及分布式算力资源训练模型，随着项目里的训练和推理任务越来越多，对任务进行合理调度，提高资源利用率也越发重要。
2、在相关的任务调度方法中，例如基于线程管理的任务调度框架quartz，以及基于批量工作流任务调度器的azkaban，在出现大量任务的情况下会发生计算资源抢占的问题，导致性能变差甚至计算资源不可用。
技术实现思路
1、本专利技术提供一种基于混沌麻雀算法的ai训推平台任务调度方法和系统，用以解决现有技术中相关的任务调度方法在出现大量任务的情况下会发生计算资源抢占的问题，导致性能变差甚至计算资源不可用的缺陷，通过选取最优的执行节点执行任务，达到减少任务的总执行时间和费用，降低发生计算资源抢占事件的概率的效果。
2、本专利技术提供一种基于混沌麻雀算法的ai训推平台任务调度方法，包括：
3、步骤一：获取任务对应的容器组的资源需求和调度请求；
4、步骤二：获取所述调度请求对应的目标执行节点的可用资源的信息，在所述目标执行节点的可用资源满足所述资源需求的情况下，进入步骤四；在所述目标执行节点的可用资源不满足
5、步骤三：筛选出可用资源能够满足所述资源需求的所有备选执行节点，以预设的性能参数为依据，通过混沌麻雀算法从所述备选执行节点中选出所述性能参数最优的节点作为所述目标执行节点；
6、步骤四：将所述容器组调度至所述目标执行节点，以使所述目标执行节点启动所述容器组中的容器，完成所述容器组对应的任务。
7、根据本专利技术提供的一种基于混沌麻雀算法的ai训推平台任务调度方法，以预设的性能参数为依据，通过混沌麻雀算法从所述备选执行节点中选出所述性能参数最优的节点作为所述目标执行节点，包括：
8、以适应度作为依据，通过混沌麻雀算法对满足所述资源需求的所有所述备选执行节点进行适应度计算；
9、将适应度最低的所述备选执行节点作为所述容器组的所述目标执行节点。
10、根据本专利技术提供的一种基于混沌麻雀算法的ai训推平台任务调度方法，通过混沌麻雀算法对满足所述资源需求的所有所述备选执行节点进行适应度计算，包括：
11、设定所述容器组的数量为n，所述容器组分为k种类型，满足所述资源需求的所述备选执行节点的数量为m，计算第i个所述容器组在第j个所述备选执行节点上执行所消耗的时间etij：
12、
13、其中，ti表示第i个所述容器组执行需要消耗的资源量，sj表示第j个所述备选执行节点所能提供的最大资源量，表示第k种类型的所述容器组在第j个所述备选执行节点上执行时单位时间内消耗的资源量；
14、第j个所述容器组的执行时间stj的计算方法如下：
15、
16、总执行时间makespan为所有的所述执行时间stj中的最长值，计算方法如下：
17、makespan＝max{stj|j＝1，2，3...m}；
18、所述容器组在执行的时候产生费用，总费用budget由所有的所述容器组产生的费用相加得到，计算方法如下：
19、
20、其中bpsj表示第j个所述容器组在单位时间内执行任务产生的费用；
21、所述容器组的适应度fitness由所述总执行时间makespan和所述总费用budget通过如下方法计算得到：
22、fitness＝α×makespan+β×budget
23、其中α和β为预设值。
24、根据本专利技术提供的一种基于混沌麻雀算法的ai训推平台任务调度方法，在将所述容器组调度至所述目标执行节点之后，还包括：
25、监控所述目标执行节点的运行状态，在所述目标执行节点处于不可用或者可用资源不足的情况下，进入所述步骤三。
26、根据本专利技术提供的一种基于混沌麻雀算法的ai训推平台任务调度方法，筛选出可用资源能够满足所述资源需求的所有备选执行节点，包括：
27、通过数据接口获取所有所述备选执行节点的可用资源的信息，将各个所述备选执行节点的可用资源与所述资源需求进行对比，在所述备选执行节点的可用资源大于或等于所述资源需求的情况下，将所述备选执行节点作为能够满足所述资源需求的所述备选执行节点。
28、根据本专利技术提供的一种基于混沌麻雀算法的ai训推平台任务调度方法，将所述容器组调度至所述目标执行节点，包括：
29、在所述目标执行节点中与所述资源需求相关的计算资源进入就绪状态后，将所述容器组与所述目标执行节点进行接口绑定。
30、本专利技术还提供一种基于混沌麻雀算法的ai训推平台任务调度装置，包括：需求获取模块，用于获取任务对应的容器组的资源需求和调度请求；
31、资源监控模块，用于获取所述调度请求对应的目标执行节点的可用资源的信息，在所述目标执行节点的可用资源满足所述资源需求的情况下，进入调度模块；在所述目标执行节点的可用资源不满足所述资源需求的情况下，进入节点选取模块；
32、节点选取模块，用于筛选出可用资源能够满足所述资源需求的所有备选执行节点，以预设的性能参数为依据，通过混沌麻雀算法从所述备选执行节点中选出所述性能参数最优的节点作为所述目标执行节点；
33、调度模块，用于将所述容器组调度至所述目标执行节点，以使所述目标执行节点启动所述容器组中的容器，完成所述容器组对应的任务。
34、本专利技术还提供一种基于混沌麻雀算法的ai训推平台任务调度系统，包括主节点、执行节点和调度模块；
35、所述主节点用于获取任务对应的容器组的资源需求和调度请求，获取所述调度请求对应的执行节点的可用资源，在所述目标执行节点的可用资源满足所述资源需求的情况下，将所述容器组调度至所述目标执行节点，以使所述目标执行节点启动所述容器组中的容器，完成所述容器组对应的任务；在所述目标执行节点的可用资源不满足所述资源需求的情况下，筛选出可用资源能够满足所述资源需求的所有备选执行节点，以预设的性能参数为依据，通过混沌麻雀算法从所述备选执行节点中选出所述性能参数最优的节点作为所述目标执行节点，将所述容器组调度至所述目标执行节点，以使所述目标执行节点启动所述容器组中的容器，完成所述容器组对应的任务；
36、所述调度模块用于以预设的性能参数为依据，从所述备选执行节点中选出所述性能参数最优的所述备选执行节点作为所述目标执行节点；
37、所述执行节点用于在获取到所述容器组的情况下启动所述容器组中的容器，完成所述容器组本文档来自技高网...
【技术保护点】
1.一种基于混沌麻雀算法的AI训推平台任务调度方法，其特征在于，包括：
2.根据权利要求1所述的基于混沌麻雀算法的AI训推平台任务调度方法，其特征在于，以预设的性能参数为依据，通过混沌麻雀算法从所述备选执行节点中选出所述性能参数最优的节点作为所述目标执行节点，包括：
3.根据权利要求2所述的基于混沌麻雀算法的AI训推平台任务调度方法，其特征在于，通过混沌麻雀算法对满足所述资源需求的所有所述备选执行节点进行适应度计算，包括：
4.根据权利要求1所述的基于混沌麻雀算法的AI训推平台任务调度方法，其特征在于，在将所述容器组调度至所述目标执行节点之后，还包括：
5.根据权利要求1-4任一项所述的基于混沌麻雀算法的AI训推平台任务调度方法，其特征在于，筛选出可用资源能够满足所述资源需求的所有备选执行节点，包括：
6.根据权利要求1-4任一项所述的基于混沌麻雀算法的AI训推平台任务调度方法，其特征在于，将所述容器组调度至所述目标执行节点，包括：
7.一种基于混沌麻雀算法的AI训推平台任务调度装置，其特征在于，包括：>
8.一种基于混沌麻雀算法的AI训推平台任务调度系统，其特征在于，包括主节点、执行节点和调度模块；
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的基于混沌麻雀算法的AI训推平台任务调度方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于混沌麻雀算法的AI训推平台任务调度方法。
...【技术特征摘要】
1.一种基于混沌麻雀算法的ai训推平台任务调度方法，其特征在于，包括：
2.根据权利要求1所述的基于混沌麻雀算法的ai训推平台任务调度方法，其特征在于，以预设的性能参数为依据，通过混沌麻雀算法从所述备选执行节点中选出所述性能参数最优的节点作为所述目标执行节点，包括：
3.根据权利要求2所述的基于混沌麻雀算法的ai训推平台任务调度方法，其特征在于，通过混沌麻雀算法对满足所述资源需求的所有所述备选执行节点进行适应度计算，包括：
4.根据权利要求1所述的基于混沌麻雀算法的ai训推平台任务调度方法，其特征在于，在将所述容器组调度至所述目标执行节点之后，还包括：
5.根据权利要求1-4任一项所述的基于混沌麻雀算法的ai训推平台任务调度方法，其特征在于，筛选出可用资源能够满足所述资源需求的所有备选执行节点，...
【专利技术属性】
技术研发人员：梁秉豪，张传刚，袁明明，吴雨琪，
申请(专利权)人：浪潮通信信息系统有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。