分布式计算系统中资源调度的方法和装置制造方法及图纸

本申请提供了提供一种分布式计算系统中资源调度的方法和装置，该方法包括：获取所述分布式计算系统中待处理的批任务中每个spark任务的累积分配资源；根据所述批任务中每个spark任务的累积分配资源，为所述批任务中每个spark任务分配执行器。在本申请实施例中，基于批任务中每个spark任务的累积分配资源，为所述批任务中每个spark任务分配执行器，有利于缩短分布式计算系统处理批任务的时间。避免了传统的资源分配时，仅基于工作节点的处理能力为批任务分配执行器。导致小任务被分配的执行器的规格较高，大任务被分配的规格较小，导致小的任务早早被处理完成，大的任务还在被执行，总体上使得批任务的处理时间较长。

【技术实现步骤摘要】
分布式计算系统中资源调度的方法和装置
本申请涉及信息
，并且更具体地，涉及分布式计算系统中资源调度的方法和装置。
技术介绍
Spark提供的弹性分布式数据集(ResilientDistributedDataset，RDD)技术可以在内存中的迭代计算，与MapReduce相比性能大幅度提升，成为非常流行的开源分布式计算框架。Spark通常与hadoop一起部署，替代hadoop中的MapReduce组件提供计算功能，同时利用hadoop的分布式文件系统(HadoopDistributedFileSystem，HDFS)做为存储组件，利用hadoop的另一种资源协调者(YetAnotherResourceNegotiator，Yarn)做资源管理组件，以此提供分布式计算服务。通常，在用户提交一个Spark作业之后，这个Spark作业就会启动一个对应的驱动(driver)进程。驱动进程需要向集群管理器申请运行Spark作业的执行器(executor)。相应地，集群管理器会根据用户为Spark作业设置的资源参数，在集群中的各个工作节点上，本文档来自技高网...

【技术保护点】
1.一种分布式计算系统中资源调度的方法，其特征在于，包括：/n获取所述分布式计算系统中待处理的批任务中每个spark任务的累积分配资源；/n根据所述批任务中每个spark任务的累积分配资源，为所述批任务中每个spark任务分配执行器。/n

【技术特征摘要】
1.一种分布式计算系统中资源调度的方法，其特征在于，包括：
获取所述分布式计算系统中待处理的批任务中每个spark任务的累积分配资源；
根据所述批任务中每个spark任务的累积分配资源，为所述批任务中每个spark任务分配执行器。


2.如权利要求1所述的方法，其特征在于，所述分布式计算系统包括第一任务集合和第二任务集合，所述第一任务集合中的任务通过第一执行器集合中的执行器执行，所述第二任务集合中的任务通过第二执行器集合中的执行器执行，所述第一执行器集合中的执行器的规格与所述第二执行器集合中执行器的规格不同，
所述根据所述批任务中每个spark任务的累积分配资源，为所述批任务中每个spark任务分配执行器，包括：
根据所述批任务中每个spark任务的累积分配资源，将所述批任务中每个spark任务划分至所述第一任务集合或所述第二任务集合，使得所述第一任务集合中每个spark任务的累积分配资源高于所述第二任务集合中每个spark任务的累积分配资源；
从所述第一执行器集合中为所述第一任务集合中的spark任务分配执行器；
从所述第二执行器集合中为所述第一任务集合中的spark任务分配执行器。


3.如权利要求2所述的方法，其特征在于，所述方法还包括：
获取目标任务集合中spark任务的任务特征，所述目标任务集合为所述第一任务集合或所述第二任务集合；
根据所述目标任务集合中spark任务的任务特征，以及预配置的多个候选资源配置参数，通过Q-learning模型确定所述目标任务集合的资源配置参数。


4.如权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：
若所述批任务中的第一spark任务执行失败，将所述第一spark任务存储到逃逸队列中。


5.一种分布式计算系统中资源调度的方法，其特征在于，包括：
获取所述分布式计算系统中待执行的第一spark任务的计算资源消耗趋势，所述计算资源消耗趋势用于指示所述第一spark任务在执行过程中消耗的所述分布式计算系统的计算资源的使用量随时间的变化；
在所述第一spark任务的执行过程中，根据所述第一spark任务的所述计算资源消耗趋势，调整为所述第一spark任务分配的分布式系统的计算资源。


6.如权利要求5所述的方法，其特征在于，所述计算资源消耗趋势包括所述目标spark任务在执行过程中消耗的所述分布式计算系统的计算资源的使用量的波峰和波谷，其中，在所述波峰出现的第一时间段内为所述spark任务分配的所述分布式系统的第一计算资源大于在所述波谷出现的第二时间段内为所述spark任务分配的所述分布式系统的第二计算资源。


7.如权利要求6所述的方法，其特征在于，所述根据所述第一spark任务的所述计算资源消耗趋势，调整为所述第一spark任务分配的分布式系统的计算资源，包括：
根据所述第一spark任务的所述计算资源消耗趋势，确定所述第一spark任务的第一计算资源调整时刻，所述第一计算资源调整时刻位于所述第一时间段与所述第二时间段之间；
当所述spark任务的执行时间为所述第一计算资源调整时刻时，根据所述第一计算资源以及所述第二计算资源，调整为所述第一spark任务分配的所述分布式系统的计算资源。


8.如权利要求7所述的方法，其特征在于，所述第一spark任务存储在第一等待队列中，所述第一等待队列为所述分布式计算系统包括多个等待队列中的一个等待队列，所述多个等待队列中不同的等待队列中存储的spark任务的计算资源调整时间不同，同一个等待队列中存储的多个spark任务的计算资源调整时间相同。


9.一种分布式计算系统中资源调度的装置，其特征在于，包括：
获取单元，用于获取所述分布式计算系统中待处理的批任务中每个spark任务的累积分配资源；
处理单元，用于根据所述批任务中每个spark任务的累积分配资源，为所述批任务中每个spark任务分配执行器。


10.如权利要求9所述的装置，其特征在于，所...

【专利技术属性】
技术研发人员：王力，刘怀忠，何伟，
申请(专利权)人：华为技术服务有限公司，
类型：发明
国别省市：河北;13