作业调度方法、系统、装置、通信设备及存储介质制造方法及图纸

本申请实施例提供了一种作业调度方法、系统、装置、通信设备及存储介质，包括：接收用户发送的预设作业程序，预设作业程序包括预先设置的独立任务管理器标记；根据预设作业程序生成执行计划，执行计划包括执行步骤；根据执行步骤的类型确定执行步骤的运行位置，执行步骤的类型是根据独立任务管理器标记生成的；获取执行步骤对应的资源消耗；根据资源消耗和执行步骤的运行位置确定执行步骤对应的目标节点，启动执行步骤。本申请通过结合Yarn集群和独立任务管理器节点，根据执行步骤的类型确定执行步骤的运行位置，保留Yarn集群调度的灵活资源共享特点，实现了资源敏感型计算步骤可以使用到独立任务管理器节点充足的资源。到独立任务管理器节点充足的资源。到独立任务管理器节点充足的资源。

【技术实现步骤摘要】
作业调度方法、系统、装置、通信设备及存储介质


[0001]本申请涉及数据处理
，特别是一种作业调度方法、系统、装置、通信设备及存储介质。

技术介绍

[0002]Flink是一种分布式流数据计算引擎，Yarn是一个大数据Hadoop（分布式计算）体系的调度框架，负责统一管理整个集群的资源，传统的Flink支持全独立模式或者Yarn模式运行。全独立模式在固定的节点启动常驻的JobManager（工作管理器）和TaskManager（任务管理器）服务，服务和所在的节点是一成不变的，灵活性不足。
[0003]因此，为了更好的进行Flink作业，相关技术中一般使用Yarn模式进行作业，然而，这种模式下的TaskManager运行位置不确定，并且生命周期和Flink作业紧密相关，灵活性足够但是作业调度的位置无法预知，因此无法解决作业执行步骤依赖特定资源的情况，及时Yarn集群为Flink作业分配专门的队列，节点上的一些资源例如磁盘IO、网络带宽等还是会出现激烈竞争的情况，严重影响Flink作业的延迟和稳定性。
专利
技术实现思路

[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种作业调度方法，其特征在于，应用于Yarn，所述方法包括：接收用户发送的预设作业程序，其中，所述预设作业程序包括预先设置的独立任务管理器标记；根据所述预设作业程序生成执行计划，其中，所述执行计划包括多个执行步骤；根据各个所述执行步骤的类型确定各个所述执行步骤的运行位置，其中，所述执行步骤的类型是根据所述独立任务管理器标记生成的；获取各个所述执行步骤对应的资源消耗；根据所述资源消耗和各个所述执行步骤的运行位置确定各个所述执行步骤对应的目标节点，并启动所述执行步骤。2.根据权利要求1所述的作业调度方法，其特征在于，所述执行步骤的类型包括：未绑定标记执行步骤以及绑定标记执行步骤，所述绑定标记执行步骤执行在所述独立任务管理器对应的节点上。3.根据权利要求2所述的作业调度方法，其特征在于，所述根据各个所述执行步骤的类型确定各个所述执行步骤的运行位置包括：在检测到所述执行步骤的类型为绑定标记执行步骤的情况下，将所述执行步骤对应的运行位置设置为所述独立任务管理器；在检测到所述执行步骤的类型为未绑定标记执行步骤的情况下，将所述执行步骤对应的运行位置设置为Yarn集群。4.根据权利要求1所述的作业调度方法，其特征在于，所述资源消耗包括未绑定标记执行步骤对应的资源消耗，以及，绑定标记执行步骤对应的资源消耗。5.根据权利要求4所述的作业调度方法，其特征在于，所述根据所述资源消耗和所述各个所述执行步骤的运行位置确定各个所述执行步骤对应的目标节点包括：在检测到所述资源消耗满足预设运行条件的情况下，根据所述各个所述执行步骤的运行位置确定各个所述执行步骤对应的目标节点。6.根据权利要求5所述的作业调度方法，其特征在于，所述根据所述各个所述执行步骤的运行位置确定各个所述执行步骤对应的目标节点包括：在检测到所述执行步骤对应的运行位置设置为所述独立任务管理器的情况下，所述执行步骤对应的目标节点为独立任务管理器节点；在检测到所述执行步骤对应的运行位置设置为Yarn集群的情况下，所述执行步骤对应的目标节点为所述Yarn集群中任一节点。7.根据权利要求1所述的作业调度方法，其特征在于，所述Yarn包括节点状态跟踪器和执行步骤分配器，所述节点状态跟踪器用于对独立任务管理器对应的节点信息进行维护，所述执行步骤分配器用于根据所述独立任务管理器对应的节点信息对所述独立任务管理器进行调度。8.根据权利要求7所述的作业调度方法，其特征在于，在所述根据所述资源消耗和所述各个所述执行步骤的运行位置确定各个所述执行步骤对应的目标节点，并启动所述执行步骤的步骤之后，所述方法包括：所述节点状态跟踪器接收独立任务管理器发送的心跳；所述节点状态跟踪器根据所述心跳确定所述独立任务管理器是否处于故障状态，并向
所述执行步骤分配器发送节点变化信息。9.根据权利要求8所述的作业调度方法，其特征在于，在所述所述节点状态跟踪器根据所述心跳确定所述独立任务管理器是否处于故障状态，并向所述执行步骤分配器发送节点变化信息的步骤之后，所述方法包括：所述节点状态跟踪器在检测到所述独立任务管理器节点变化的情况下，所述执行步骤分配器向当前作业对应的工作管理器发送节点变化通知，以使所述工作管理器变更当前作业对应的独立任务管理器节点。10.根据权利要求1所述的作业调度方法，其特征在于，所述根据各个所述执行步骤的类型确定各个所述执行步骤的运行位置包括：在检测到所述执行步骤的类型为绑定标记执行步骤的情况下，所述执行步骤分配器从所述节点状态跟踪器中获取当前作业对应的独立任务管理器节点信息，根据所述绑定标记执行步骤对应的标签在所述独立任务管理器节点信息中匹配，生成所述绑定标记执行步骤的运行位置。11.根据权利要求1所述的作业调度方法，其特征在于，在所述根据所述资源消耗和所述各个所述执行步骤的运行位置确定各个所述执行步骤对应的目标节点，并启动所述执行步骤的步骤之后，所述方法包括：在检测到所述目标节点处于故障状态的情况下，若所述目标节点为独立任务管理器节点，则将所述目标节点对应的所述执行步骤调度至相同绑定标记的第二目标节点，或者，基于预设节点调度策略，将所述目标节点对应的所述执行步骤调度至所述Yarn集群中任一节点；若所述目标节点为Yarn节点，则将所述目标节点从所述Yarn集...

【专利技术属性】
技术研发人员：张垚，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：