分布式计算调度系统及任务处理方法、设备及存储介质技术方案

本申请实施例提供一种分布式计算调度系统及任务处理方法、设备及存储介质。在本申请实施例中，所述方法应用于分布式计算调度系统，所述方法包括：将待处理的目标任务的处理过程划分为上游处理阶段和下游处理阶段；为目标任务分配上游处理阶段所需要的上游节点资源，以使得上游节点执行上游处理阶段中的数据处理任务；在上游节点在上游处理阶段中完成的数据处理任务的进度达到预设进度阈值时，为目标任务分配下游处理阶段所需要的下游节点资源；在上游节点执行上游处理阶段的剩余数据处理任务的过程中，通过下游节点基于上游节点在上游处理阶段中完成的数据处理任务，执行下游处理阶段中的数据处理任务。处理阶段中的数据处理任务。处理阶段中的数据处理任务。

【技术实现步骤摘要】
分布式计算调度系统及任务处理方法、设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种分布式计算调度系统及任务处理方法、设备及存储介质。

技术介绍

[0002]大规模的大数据计算平台需要支撑的作业既包括需要数十万计算节点支持的超大型规模作业，也包括仅需要较少数量的计算节点支持的小规模作业，这类作业通常需要被敏捷完成，同时还包括处于这两者之间的其他规模的作业。通常来说，不同规模的作业，在运行时间，资源使用率，数据吞吐率等方面，也有都不同的要求。
[0003]目前，针对这些不同规模作业的不同特点，数仓平台一般会有两种不同的运行模式：一种是离线模式，面向的作业通常是吞吐率较高和资源利用优先的超大型规模作业；另一种是准实时模式，面向的作业则是执行时延优先的中小规模作业。其中，离线模式采用按需申请资源的方式执行任务处理，虽然能够保证最高的资源使用率但无法取得最佳的执行性能。准实时模式采用预拉起资源管理器和gang scheduling(群调度)的任务处理方式，虽然能保证作业的最佳性能但同时也会造成一些不必要的资源消耗。
专利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.分布式计算调度系统，其特征在于，包括作业管理器、资源管理器、上游节点、下游节点和中间数据管理节点，其中：所述作业管理器，用于将待处理的目标任务的处理过程划分为上游处理阶段和下游处理阶段；所述资源管理器，用于为所述目标任务分配所述上游处理阶段所需要的上游节点资源，以使得所述上游节点执行所述上游处理阶段中的数据处理任务；以及在所述上游节点在所述上游处理阶段中完成的数据处理任务的进度达到预设进度阈值时，为所述目标任务分配所述下游处理阶段所需要的下游节点资源；所述上游节点，用于执行所述上游处理阶段中的数据处理任务，以及在完成预设数据量的数据处理任务时，向所述中间数据管理节点发送所述预设数据量的数据处理任务的数据处理结果；所述中间数据管理节点，用于接收来自所述上游节点的数据处理结果；所述下游节点，用于在所述上游节点执行所述上游处理阶段的剩余数据处理任务的过程中，从所述中间数据管理节点读取所述数据处理结果以及基于所述数据处理结果，执行所述下游处理阶段中的数据处理任务。2.如权利要求1所述的系统，其特征在于，所述中间数据管理节点还用于：通过所述中间数据管理节点的中间数据代理来自所述上游节点的数据处理结果，以使得所述下游节点中与所述中间数据代理对应的实例，从所述中间数据代理读取所述数据处理结果，所述中间数据代理用于将所述数据处理结果映射至所述下游节点的本地内存中；在所述下游节点读取所述数据处理结果后，将所述数据处理结果从所述中间数据代理中删除，所述中间数据代理与所述下游节点中的实例之间存在映射关系。3.如权利要求1所述的系统，其特征在于，所述上游节点还用于：每隔预设时间段向所述作业管理器，发送所述上游节点在所述上游处理阶段中完成的数据处理任务的进度。4.一种任务处理方法，其特征在于，所述方法应用于如权利要求1～3中任一所述的分布式计算调度系统，所述方法包括：将待处理的目标任务的处理过程划分为上游处理阶段和下游处理阶段；为所述目标任务分配所述上游处理阶段所需要的上游节点资源，以使得所述上游节点执行所述上游处理阶段中的数据处理任务；在所述上游节点在所述上游处理阶段中完成的数据处理任务的进度达到预设进度阈值时，为所述目标任务分配所述下游处理阶段所需要的下游节点资源；在所述上游节点执行所述上游处理阶段的剩余数据处理任务的过程中，通过所述下游节点基于所述上游节点在所述上游处理阶段中完成的数据处理任务，执行所述下游处理阶段中的数据处理任务。5.如权利要求4所述的方法，其特征在于，所述系统还包括作业管理器和资源管理器，所述在所述上游节点在所述上游处理阶段中完成的数据处理任务的进度达到预设进度阈值时，为所述目标任务分配所述下游处理阶段所需要的下游节点资源，包括：所述上游节点每隔预设时间段向所述作业管理器，发送所述上游节点在所述上游处理阶段中完成的数据处理任务的进度；
在所述作业管理器确定所述上游节点在所述上游处理阶段中完成的数据处理任务的进度达到预设进度阈值时，向所述资源管理器发出下游节点资源分配请求；通过所述资源管理器响应于所述下游节点资源分配请求，为所述目标任务分配下游节点资源。6.如权利要求5所述的方法，其特征在于，所述为所述目标任务分配所述上游处理阶段所需要的上游节点资源，以使得所述上游节点执行所述上游处理阶段中的数据处理任务，包括：所述作业管理器向所述资源管理器发送上游节点资源分配请求；通过所述资源管理器响应于所述上游节点资源分配请求，为所述目标任务分配上游节点资源。7.如权利要求5所述的方法，其特征在于，所述系统还包括中间数据管理节点，所述上游节点每隔预设时间段向所述作业管理器，发送所述上游节点在所述上游处理阶...

【专利技术属性】
技术研发人员：吕志强，陆一峰，薛聚坡，汤瑞，曹萌，曹彪，汤志鹏，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：