一种基于Spark任务标识的任务调度方法技术

本发明专利技术涉及计算机技术领域，尤其涉及一种基于Spark任务标识的任务调度方法，该方法包括为每个Spark任务定义唯一的标识符，将标识后的Spark任务存储到待执行任务队列中；根据待执行任务队列中单个任务执行完成的时间与所述单个任务存在依赖关系的其他任务数量确定任务的优先级；根据执行任务调度时集群资源的空闲资源内存以及待执行任务队列中最高优先级任务的优先级确定各任务的执行顺序；将调度的任务发送给可用的Spark集群执行并检测任务的完成状态，将任务的完成状态信息存储到数据库中；根据Spark任务执行时集群资源的空闲资源占比小于预设占比的时长以及任务完成合格程度确定任务调度参数的调整量。

【技术实现步骤摘要】

本专利技术涉及计算机，尤其涉及一种基于spark任务标识的任务调度方法。

技术介绍

1、近年来，随着社交网络和物联网等技术的飞速发展，许多领域中如银行业务、医疗保健、商业预测和科学探索等，都存在大量数据分析需求，大数据处理已变得至关重要，spark框架已经被广泛应用于大数据处理中，但spark任务在任务执行过程中存在处于空闲状态的节点负载不均衡问题，从而导致整体任务时间跨度高，任务执行效率低，集群计算资源利用不充分的情况。

2、中国专利申请公开号：cn112948066a公开了一种基于异构资源的spark任务调度方法。该方法包括：master节点根据收集到的spark集群中各计算节点上的片上系统信息，对每个cpu核级别的计算能力进行分析；master节点根据待执行任务的运算量与cpu核级别的计算能力进行匹配，将任务分配给slave计算节点并向slave节点指示所分配的cpu核标识；slave计算节点根据master节点所指定分配的cpu核标识，将任务绑定在相应的cpu核上执行。该专利技术的方法能够提高任务执行效率，尤其能够减少关键任务的执行时间本文档来自技高网...

【技术保护点】

1.一种基于Spark任务标识的任务调度方法，其特征在于，包括：

2.根据权利要求1所述的基于Spark任务标识的任务调度方法，其特征在于，在确定单个任务的优先级时，包括：

3.根据权利要求2所述的基于Spark任务标识的任务调度方法，其特征在于，所述预设任务数量根据待调度任务队列中与各任务存在依赖关系的任务数量的平均值与一的差值确定。

4.根据权利要求3所述的基于Spark任务标识的任务调度方法，其特征在于，所述确定各任务的执行顺序，包括：

5.根据权利要求4所述的基于Spark任务标识的任务调度方法，其特征在于，所述最高优先级任务的执行...

【技术特征摘要】

1.一种基于spark任务标识的任务调度方法，其特征在于，包括：

2.根据权利要求1所述的基于spark任务标识的任务调度方法，其特征在于，在确定单个任务的优先级时，包括：

3.根据权利要求2所述的基于spark任务标识的任务调度方法，其特征在于，所述预设任务数量根据待调度任务队列中与各任务存在依赖关系的任务数量的平均值与一的差值确定。

4.根据权利要求3所述的基于spark任务标识的任务调度方法，其特征在于，所述确定各任务的执行顺序，包括：

5.根据权利要求4所述的基于spark任务标识的任务调度方法，其特征在于，所述最高优先级任务的执行所需内存根据所述最高优先级任务执行占用内存的历史平均值确定。

6.根据权利要求5所述的基于spark任务标识的任务调度方法，其特征在于，将调度的任务发送给可用的spark集...

【专利技术属性】
技术研发人员：高经郡，高海玲，李栋，
申请(专利权)人：北京科杰科技有限公司，
类型：发明
国别省市：