智能动态大数据平台资源调度方法及系统技术方案

本发明专利技术公开了智能动态大数据平台资源调度方法及系统，涉及智能资源管理技术领域，包括收集待调度任务的信息，构造有向无环图DAG，并按照负载均衡原则进行任务拆分；对DAG进行拓扑排序，确定任务优先级顺序，按所述优先级顺序对任务分配可用资源；将所述DAG转换为图神经网络输入，利用图卷积网络输出优先增强值，按照预设权重将优先增强值与排序融合重新调整任务优先级；当新任务加入和任务执行失败时触发增量重调度，图卷积网络计算受影响的子图节点的任务优先级，在原有调度表中进行局部重新分配。本发明专利技术所述方法显著提升对任务全局瓶颈的感知与优化能力，实现对资源分配的智能决策与自适应调整，有效缩短任务总完成时间并提高资源利用率。

【技术实现步骤摘要】

本专利技术涉及智能资源管理，具体为智能动态大数据平台资源调度方法及系统。

技术介绍

1、随着大数据和云计算技术的快速发展，越来越多的行业开始依托大规模分布式计算平台对多源异构数据进行高效处理与分析。尤其是在金融、电信、交通、制造等对数据时效性和计算资源利用率要求极高的场景下，任务调度和资源管理已成为平台架构设计中的核心问题。近年来，yarn、kubernetes、apachemesos等资源调度框架的出现，使得集群管理和任务调度得以自动化、弹性化，支持多租户和多类型任务的高效运行。同时，随着人工智能和机器学习在大数据平台调度决策中的应用日益增多，调度策略正从传统的静态分配逐步向智能化、自适应和预测性方向演进。例如，部分研究提出结合历史负载特征的预测调度，或利用深度学习实现动态任务分级与资源优选分配，进一步提升了系统整体吞吐量和资源利用效率。

2、然而，现有的大数据平台调度技术在面对大规模动态、异构的计算环境时，仍存在诸多不足。首先，传统基于规则或静态优先级的调度方法难以适应任务间复杂的依赖关系和多变的资源供给，往往无法对dag(有向无环图)任务本文档来自技高网...

【技术保护点】

1.智能动态大数据平台资源调度方法，其特征在于，包括：

2.如权利要求1所述的智能动态大数据平台资源调度方法，其特征在于：所述按照负载均衡原则进行任务拆分包括，计算待调度任务的平均执行水平，依据平均执行水平设定拆分阈值；遍历有向无环图DAG中的任务，判断任务在所有资源上的平均执行时长是否超过阈值；若未超过，则保留任务原状；若超过，则将任务切分为多个均衡子任务；

3.如权利要求2所述的智能动态大数据平台资源调度方法，其特征在于：所述对DAG进行拓扑排序包括，对DAG执行遍历搜索，生成满足依赖约束的拓扑序列；

4.如权利要求3所述的智能动态大数据平台资源调...

【技术特征摘要】

1.智能动态大数据平台资源调度方法，其特征在于，包括：

2.如权利要求1所述的智能动态大数据平台资源调度方法，其特征在于：所述按照负载均衡原则进行任务拆分包括，计算待调度任务的平均执行水平，依据平均执行水平设定拆分阈值；遍历有向无环图dag中的任务，判断任务在所有资源上的平均执行时长是否超过阈值；若未超过，则保留任务原状；若超过，则将任务切分为多个均衡子任务；

3.如权利要求2所述的智能动态大数据平台资源调度方法，其特征在于：所述对dag进行拓扑排序包括，对dag执行遍历搜索，生成满足依赖约束的拓扑序列；

4.如权利要求3所述的智能动态大数据平台资源调度方法，其特征在于：所述对任务分配可用资源包括，进行增量调度决策，确定当前任务最早可启动时机，加上当前任务在待分配资源上预计需要的运行时长，评估完成时间；将当前任务与可分配资源进行对比，将当前任务分配给最早可完成的资源；

5.如权利要求4所述的智能动态大数据平台资源调度方法，其特征在于：所述利用图卷积网络输出优先增强值包括，对每个节点提取在计算资源上单平均执行时间、前驱任务数量、后继任务数量、剩余工作量排名，规范化处理后组合为节点特征；对于每条依赖边，记录对应任务间的数据传输时间和常数标记，规范化处理后作为边特征；

6.如权利要求5所述的智...

【专利技术属性】
技术研发人员：彭辽原，崔姝婷，张永飞，秦文文，杨洋，
申请(专利权)人：北京中宇泰诺数据科技有限公司，
类型：发明
国别省市：