【技术实现步骤摘要】
作业流调度方法、装置、电子设备及存储介质
本申请涉及计算机应用技术，特别涉及大数据、云计算及互联网领域的作业流调度方法、装置、电子设备及存储介质。
技术介绍
目前的作业流调度多针对比较简单的场景，而对于面向公有云数据分析计算平台的复杂作业流调度，还没有一种较好的实现方式。
技术实现思路
本申请提供了作业流调度方法、装置、电子设备及存储介质。一种作业流调度方法，包括：通过调度控制器确定任一作业组满足触发条件，生成所述作业组对应的作业流执行实例，并将所述作业流执行实例分配至调度执行器；通过所述调度执行器生成所述作业流执行实例对应的有向无环图，按预定方式触发所述有向无环图中的作业节点，针对所触发的任一作业节点，生成所述作业节点的作业执行实例，将所述作业执行实例分配至作业执行控制中心；通过所述作业执行控制中心对所述作业执行实例进行作业处理。一种作业流调度装置，包括：调度控制器、调度执行器以及作业执行控制中心；所述调度控制器，用于当确定任一作业组满足触发条件时，生成所...
【技术保护点】
1.一种作业流调度方法，包括：/n通过调度控制器确定任一作业组满足触发条件，生成所述作业组对应的作业流执行实例，并将所述作业流执行实例分配至调度执行器；/n通过所述调度执行器生成所述作业流执行实例对应的有向无环图，按预定方式触发所述有向无环图中的作业节点，针对所触发的任一作业节点，生成所述作业节点的作业执行实例，将所述作业执行实例分配至作业执行控制中心；/n通过所述作业执行控制中心对所述作业执行实例进行作业处理。/n
【技术特征摘要】
1.一种作业流调度方法，包括：
通过调度控制器确定任一作业组满足触发条件，生成所述作业组对应的作业流执行实例，并将所述作业流执行实例分配至调度执行器；
通过所述调度执行器生成所述作业流执行实例对应的有向无环图，按预定方式触发所述有向无环图中的作业节点，针对所触发的任一作业节点，生成所述作业节点的作业执行实例，将所述作业执行实例分配至作业执行控制中心；
通过所述作业执行控制中心对所述作业执行实例进行作业处理。
2.根据权利要求1所述的方法，其中，所述任一作业组满足触发条件包括：
根据时序触发机制确定的所述作业组满足触发条件；
或者，根据事件触发机制确定的所述作业组满足触发条件；
或者，结合所述时序触发机制以及所述事件触发机制确定的所述作业组满足触发条件。
3.根据权利要求1所述的方法，其中，
所述有向无环图中通过有向边定义了作业节点间的前后依赖关系；
所述按预定方式触发所述有向无环图中的作业节点包括：通过所述调度执行器确定所述有向无环图中的入口作业节点，从所述入口作业节点开始，根据所述前后依赖关系及所配置的执行计划，层序遍历所述有向无环图中的作业节点，确定需要触发的作业节点。
4.根据权利要求1所述的方法，还包括：
针对所触发的任一作业节点，通过所述调度执行器为所述作业节点分配计算集群，并监听所述作业节点的作业执行状态。
5.根据权利要求1所述的方法，其中，所述通过所述作业执行控制中心对所述作业执行实例进行作业处理包括：
针对任一作业执行实例，通过所述作业执行控制中心根据所述作业执行实例对应的作业节点类型，启动对应的执行控制引擎，以便所述执行控制引擎进行作业执行准备，并利用启动的远程执行控制服务分派至计算集群，完成作业处理。
6.根据权利要求5所述的方法，还包括：
通过所述远程执行控制服务实现跨分布式集群的远程作业提交和控制管理。
7.根据权利要求1所述的方法，其中，所述调度控制器的数量大于一；
还包括：按照基于一致性哈希算法的负载均衡方式为各调度控制器分配作业组。
8.根据权利要求7所述的方法，还包括：
对由所有调度控制器组成的调度控制服务集群进行动态监听与事件处理，将出现问题的调度控制器上的数据重加载到正常工作的调度控制器上。
9.根据权利要求8所述的方法，还包括：
执行以下操作之一或全部：按照预定方式对所述重加载过程进行容错处理；按照预定方式对环节点频繁变化引发的负载震荡问题进行防范处理，所述环节点为所述一致性哈希算法中使用的哈希环上的节点。
10.一种作业流调度装置，包括：调度控制器、调度执行器以及作业执行控制中心；
所述调度控制器，用于当确定任一作业组满足触发条件时，生成所述作业组对应的作业流执行实例，并将所述作业流执行实例分配至所述调度执行...
【专利技术属性】
技术研发人员：叶青，李莅，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。