【技术实现步骤摘要】
一种任务调度执行方法及装置
本专利技术涉及大数据平台应用领域，尤其涉及一种任务调度执行方法及装置。
技术介绍
在大数据平台下，为确保平台内任务的有效执行，平台通常搭建任务调度平台对任务进行管理。任务调度系统依据任务间依赖关系、资源约束、优先级等调度参数精准控制任务的执行。通用任务调度平台，具备对不同任务类型任务的执行能力，依据实现配置的任务调度参数：依赖关系、优先级、资源预估占用、运行周期等，实现任务的可控执行。处于通用性和可扩展性考虑，调度平台通常由任务派发、任务执行等服务构成。传统任务调度为了避免任务实例派发的冲突，通常以单机模式进行部署。当多任务需要并发派发执行时，任务调度一般根据事先配置的任务优先级，依据可用的平台资源(主机CPU、网络、内存等)来派发任务实例，即在有可用资源的基础上，优先级高的任务优先执行。但仅通过优先级静态地、简单地比较当前待执行任务的优先级大小来决定执行资源的分配，无法保障核心任务执行的时效性：当遇到任务高并发时段时，出现任务争抢资源的情况，往往会导致优先级相对不高的任务，执行时...
【技术保护点】
1.一种任务调度执行方法，其特征在于，包括：/n每隔第一预设时长，获取待执行的第一任务列表；/n根据深度优先搜索DFS算法确定所述第一任务列表中优先执行的第二任务列表；/n调度执行资源执行所述第二任务列表中的任务。/n
【技术特征摘要】
1.一种任务调度执行方法，其特征在于，包括：
每隔第一预设时长，获取待执行的第一任务列表；
根据深度优先搜索DFS算法确定所述第一任务列表中优先执行的第二任务列表；
调度执行资源执行所述第二任务列表中的任务。
2.根据权利要求1所述的任务调度执行方法，其特征在于，在所述根据深度优先搜索DFS算法确定所述第一任务列表中优先执行的第二任务列表的步骤之前，所述方法还包括：
根据有向无环图模型建立至少一个任务节点图，所述任务节点图与所述第一任务列表一一对应，每一所述任务节点图包括目标任务和所述目标任务关联的前置任务形成的至少一条任务路径，所述目标任务为所述第一任务列表中的任一项任务。
3.根据权利要求2所述的任务调度执行方法，其特征在于，所述根据深度优先搜索DFS算法确定所述第一任务列表中优先执行的第二任务列表的步骤包括：
每隔第二预设时长，遍历所述第一任务列表中各任务节点图，确定各任务节点图内优先执行的最优路径，所述最优路径为所述任务节点图内任务路径权值最大的任务路径，所述任务路径权值为任务路径中相邻任务节点的连接权值之和，所述相邻任务节点的连接权值由所述相邻任务节点的优先级确定；
确定全图优先级最高的第一任务节点图，所述全图优先级为所述任务节点图内各任务路径权值之和，所述第一任务节点图中最优路径的任务组成所述第二任务列表。
4.根据权利要求1所述的任务调度执行方法，其特征在于，所述方法还包括：
在执行资源不足的情况下，通过增加额外执行器以在线扩展执行资源；
在执行资源充足的情况下，注册所述第二任务列表中的任务。
5.根据权利要求1所述的任务调度执行方法，其特征在于，所述调度执行资源执行所述第二任务列表中的任务的步骤包括：
在zookeeper集群中创建所述第二任务列表中的任务对应的任务实例节点；
轮询查看各任务实例节点的占用状态；
根据预设策略执行所述第二任务列表中的任务，所述预设策略为，
在所述任务实例节点的占用状态为未占用时，调度所述执行资源执行所述任务实例节点对应的任务；
在所述任务实例节点对应的任务被执行时，修改所述任务实例节点的占用状态为被占用。
6.一种任务调度执行装置，其特征在于，包括：
获取模块，用于每隔第一预设时长，获取待执行的第一任务列表；
确定模块，用于根据深度优先搜索DFS算法确定所述第一...
【专利技术属性】
技术研发人员：程赓，刘建波，吴子龙，
申请(专利权)人：中国铁塔股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。