一种任务调度处理方法、装置及系统制造方法及图纸

本申请提供一种任务调度处理方法、装置及系统。所述方法可以包括将资源池中的任务处理通道信息映射成配置中心的通道资源信息；当接收到至少一个作业任务的调度请求时，向所述配置中心查询是否有处理所述作业任务的空闲通道资源；当所述配置中心的查询结果为存在所述空闲通道资源时，按照为所述作业任务设定的资源分配优先级从所述资源池中选取与所述调度请求对应的任务处理通道分配给相应的作业任务。利用本申请中各个实施例，可以采用配置多通道的处理方式解决单个作业僵死引起的通道阻塞问题，并且能提供多个作业任务并行提交、并行处理，快速、高效的为作业任务分配所需的资源，大大提高任务调度处理效率和资源利用率。

【技术实现步骤摘要】
一种任务调度处理方法、装置及系统
本申请属于计算机数据处理领域，尤其涉及一种任务调度处理方法、装置及系统。
技术介绍
随着信息技术的发展和数据业务处理要求的提高，分布式系统由于高度的内聚性和透明线受到越来越多的关注。在分布式任务处理场景下，通常每个任务有一个Driver(主调度者或驱动)调度多个Excutor(执行者或执行程序)。图1为现有分布式场景下任务调度处理方案的示意图，如图1所示，现有技术中可以部署一个物理集群，所述物理集群中的服务器通常采用master-slave构架模式，即一个master(主服务器)管理调度多个slave(从服务器)。运行程序可以将jar包分发到集群中的所有机器上，向maser申请机器CPU、内存资源等。然后可以启动submit命令，提交主程序，启动整个调度任务。根据用户发送的作业请求向maser申请作业资源。申请成功后启动当前作业任务，具体的可以将当前作业任务分发给master下主管的多个slave进行处理。当前作业任务执行完毕后释放作业资源。然后再次根据用户的作业请求处理下一个作业任务。现有技术中分布式场景下的这种处理任务的运行模式在作业执行层面如s本文档来自技高网...

【技术保护点】
一种任务调度处理方法，其特征在于，所述方法包括：将资源池中的任务处理通道信息映射成配置中心的通道资源信息；当接收到至少一个作业任务的调度请求时，向所述配置中心查询是否有处理所述作业任务的空闲通道资源；当所述配置中心的查询结果为存在所述空闲通道资源时，按照为所述作业任务设定的资源分配优先级从所述资源池中选取与所述调度请求对应的任务处理通道分配给相应的作业任务。

【技术特征摘要】
1.一种任务调度处理方法，其特征在于，所述方法包括：将资源池中的任务处理通道信息映射成配置中心的通道资源信息；当接收到至少一个作业任务的调度请求时，向所述配置中心查询是否有处理所述作业任务的空闲通道资源；当所述配置中心的查询结果为存在所述空闲通道资源时，按照为所述作业任务设定的资源分配优先级从所述资源池中选取与所述调度请求对应的任务处理通道分配给相应的作业任务。2.如权利要求1所述的一种任务调度处理方法，其特征在于，所述为所述作业任务设定的资源分配优先级包括：当查询所述配置中心存在所述空闲通道资源，且所述空闲通道资源数小于当前多个作业任务的申请资源量时，采用根据所述多个作业任务中作业任务申请资源的时间先后、作业任务的权重优先级中的任意一种方式作为作业任务的资源分配优先级。3.如权利要求1所述的一种任务调度处理方法，其特征在于，所述配置中心被设置成包括：通过心跳获取所述资源池任务处理通道的存活情况；以及，实时更新所述资源池中的任务处理通道信息。4.如权利要求3所述的一种任务调度处理方法，其特征在于，所述方法还包括：当判断资源池中的任务处理通道失效时，更新所述配置中心相应的通道资源信息；以及，根据所述调度请求采用下述方式处理调用到所述失效的任务处理通道的作业任务：中断正在执行所述失效的任务处理通道的作业任务；放弃正在排队且还未执行所述失效的任务处理通道的作业任务；重新调度调用到所述失效的任务处理通道的作业任务，根据所述配置中心更新后的通道资源信息为重新调度的作业任务分配相应的任务处理通道。5.如权利要求1至4中任意一项所述的一种任务调度处理方法，其特征在于，所述方法还包括：监视所述作业任务的任务处理通道的占用执行时间，以及当所述占用执行时间大于设定的最大执行时间阈值时，停止所述占用时间大于设置的最大执行时间阈值的作业任务。6.如权利要求5所述的一种任务调度处理方法，其特征在于，所述方法还包括：按照预设周期扫描获取标记为异常处理的作业任务，根据设置的调度处理配置信息确定是否继续调用所述标记为异常处理的作业任务。7.如权利要求1至4中任意一项所述的一种任务调度处理方法，其特征在于，所述配置中心的通道资源信息包括任务处理通道的作业处理能力的信息；相应的，所述从所述资源池中选取与所述调度请求对应的任务处理通道分配给相应的作业任务包括：从所述资源池中选取作业处理能力与所述调度请求的资源需求相匹配的任务处理通道分配给相应的作业任务。8.一种任务调度处理装置，其特征在于，所述装置包括：资源池，用于存储部署的任务处理通道的资源；配置中心，用于获取资源池中的任务处理通道信息映射成的通道资源信息；资源查询模块，用于当接收到至少一个作业任务的调度请求时，向所述配置中心查询是否有处理所述作业任务的空闲通道资源；调度处理模块，用于当所述配置中心的查询结果为存在所述空闲通道资源时，按照为所述作业任务设定的资源分配优先级从所述资源池中选取与所述调度请求对应的任务处理通道分配给相应的作业任务。9.如权利要求8所述的一种任务调度处理装置，其特征在于，所述配置中被设置成，包括：通过心跳获取所述资源池任务处理通道的存活情况；以及，实时更新所述资源池中的任务处理通道信息。10.如权利要求8所述的一种任务调度处理装置，其特征在于，所述调度处理模块包括：资源判断模块，用于根据配置中心的可用资源查询结果判断资源池中空闲通道资源数是否满足当前多个作业任务的申请资源量要求；优先级设定模块，用于当所述资源判断模块的判断结果为否时，采用根据所述多个作业任务中作业任务申请资源的时间先后...

【专利技术属性】
技术研发人员：张凤婷，蔡永保，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY