【技术实现步骤摘要】
一种流计算系统的调度方法和系统
本说明书涉及流计算
，特别涉及一种流计算系统的调度方法和系统。
技术介绍
近年来，流计算系统中的流计算方式被作为新的数据计算结构，它可以实时的获取来自不同数据源的数据，并经过实时分析处理以获取有价值的信息。目前，在流计算系统处理流动数据的过程中，可能会涉及到关于流动数据的作业进行调度的情况，例如分配多个工作节点完成相应的流计算作业，以使流计算系统适应当前的作业需求。流计算系统中流作业的调度方式(例如，工作节点的调度方式)决定流计算系统处理流动数据的效率，由此，需要一种高效的流计算系统的流作业调度方法，以提高流计算系统处理流动数据的效率。
技术实现思路
本说明书实施例之一提供一种流计算系统的调度方法。所述流计算系统包括多个工作节点，所述方法包括：确定目标工作节点；获取反映所述目标工作节点相关局部作业流程的局部作业图；基于调度信息更新所述局部作业图，其中，所述调度信息包括工作节点的增加或删除，和/或局部作业流程的变更；基于所述更新后的局部作业图生成第一控制信息；发...
【技术保护点】
1.一种流计算系统的调度方法，所述流计算系统包括多个工作节点，其中，所述方法包括：/n确定目标工作节点；/n获取反映所述目标工作节点相关局部作业流程的局部作业图；/n基于调度信息更新所述局部作业图，其中，所述调度信息包括工作节点的增加或删除，和/或局部作业流程的变更；/n基于所述更新后的局部作业图生成第一控制信息；/n发送所述第一控制信息至所述更新后的局部作业图所涉及的工作节点，以使所述更新后的局部作业图所涉及的工作节点基于所述第一控制信息修改其上游和/或下游的工作节点信息，从而完成调度。/n
【技术特征摘要】 【专利技术属性】
1.一种流计算系统的调度方法，所述流计算系统包括多个工作节点，其中，所述方法包括：
确定目标工作节点；
获取反映所述目标工作节点相关局部作业流程的局部作业图；
基于调度信息更新所述局部作业图，其中，所述调度信息包括工作节点的增加或删除，和/或局部作业流程的变更；
基于所述更新后的局部作业图生成第一控制信息；
发送所述第一控制信息至所述更新后的局部作业图所涉及的工作节点，以使所述更新后的局部作业图所涉及的工作节点基于所述第一控制信息修改其上游和/或下游的工作节点信息，从而完成调度。
2.根据权利要求1所述的方法，其中，所述获取反映所述目标工作节点相关局部作业流程的局部作业图，包括：
获取反映所述流计算系统的全局作业流程的全局作业图；
基于所述全局作业图，确定所述目标工作节点的一个或以上上游工作节点，以及一个或以上下游工作节点；
基于所述目标工作节点、所述一个或以上上游工作节点、所述一个或以上下游工作节点及其之间的局部作业流程，确定所述局部作业图。
3.根据权利要求2所述的方法，其中，所述局部作业图为有向无环图，所述局部作业图中的图节点与所述局部作业流程所涉及的工作节点一一对应，所述局部作业图中的有向连接指示局部作业流程在工作节点之间的流向。
4.根据权利要求3所述的方法，其中，所述基于调度信息更新所述局部作业图，包括：
基于所述调度信息在所述局部作业图中增加或删除图节点，和/或更改图节点间的有向连接。
5.根据权利要求4所述的方法，其中，增加或删除的图节点对应的工作节点与所述目标工作节点并行。
6.根据权利要求2所述的方法，其中，所述方法进一步包括：
基于所述更新的局部作业图更新反映所述流计算系统的全局作业流程的全局作业图。
7.根据权利要求1所述的方法，其中，所述第一控制信息至少包括局部数据挂起信息，用于指示所述一个或以上上游工作节点暂停接收数据。
8.根据权利要求7所述的方法，其中，所述第一控制信息进一步包括所述更新后的局部作业图涉及的工作节点的上游工作节点和/或下游工作节点的通信地址，以使所述更新后的局部作业图所涉及的工作节点基于所述第一控制信息更新与其上游工作节点和/或下游工作节点的通信连接关系。
9.根据权利要求1所述的方法，其中，所述方法进一步包括：
确定所述调度是否完成；
若是，生成第二控制信息并发送至所述一个或以上上游工作节点，以指示所述一个或以上上游工作节点恢复接收数据。
10.一种流计算系统的调度系统，所述流计算系统包括多个工作节点，其中，所述调度系统包括：
第一确定模块，用于确定目标工作节点；
技术研发人员：陈天熠，左凌轩，杨健章，王东旭，梁义，方丰斌，周家英，于中春，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。