多维度分布式任务调度的方法、装置、设备及存储介质制造方法及图纸

技术编号：43376951 阅读：22 留言：0更新日期：2024-11-19 17:55

本发明专利技术提供了一种多维度分布式任务调度的方法、装置、设备及存储介质，通过接收由用户提交的多种编程语言任务，并基于多种编程语言任务获取相关的配置信息，配置信息包括任务的执行逻辑、资源需求、依赖关系、日志级别、以及优先级信息；基于任务配置信息分析每个任务的资源需求，并将任务按优先级和依赖关系对任务进行分类，生成初步任务调度方案；根据初步任务调度方案将任务分配到相应的执行引擎集群节点，同时监控执行引擎节点的资源使用信息，并监听任务的执行信息；在根据资源使用信息和执行信息判监控到任务执行异常时，触发容错机制，重新分配任务资源或将任务转移到其他健康节点，解决了在面对不同编程语言任务时无法统一调度的问题。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及任务调度，特别涉及一种多维度分布式任务调度的方法、装置、设备及存储介质。

技术介绍

1、随着互联网和物联网技术的迅速发展，数据量呈现出指数级增长，尤其是在大数据、人工智能和机器学习领域。传统的任务调度系统难以应对大规模数据处理、实时计算、以及复杂的机器学习模型训练任务。现有的分布式任务调度系统在处理大数据实时采集、清洗、实时计算任务、以及大规模机器学习模型训练等复杂场景时，常常受到编程语言的限制、容错性不足以及监控手段单一等问题的困扰。例如，不同编程语言（如flink、spark、tensorflow、python等）的任务无法统一调度，容错机制无法应对不同编程语言任务的故障，监控系统不能实时反馈任务状态和资源使用情况。

2、有鉴于此，提出本申请。

技术实现思路

1、本专利技术公开了一种多维度分布式任务调度的方法、装置、设备及存储介质，旨在解决在面对不同编程语言任务时无法统一调度的问题。

2、本专利技术第一实施例提供了一种多维度分布式任务调度的方法，包括：

3本文档来自技高网...

【技术保护点】

1.一种多维度分布式任务调度的方法，其特征在于，包括：

2.根据权利要求1所述的一种多维度分布式任务调度的方法，其特征在于，所述初步任务调度方案能够对多种编程语言任务进行统一调度，其中，编程语言包括Flink、Spark、TensorFlow、Python和Shell，任务类型包括实时任务、离线任务、以及脚本任务。

3.根据权利要求1所述的一种多维度分布式任务调度的方法，其特征在于，所述初步任务调度方案被配置为基于执行引擎集群节点的实时负载信息进行优化，其中，所述负载信息包括CPU使用率、内存使用率、磁盘I/O、网络流量和任务队列长度。