任务调度方法、装置、计算机设备和计算机可读介质制造方法及图纸

本公开提供一种任务调度方法，被配置为主调度装置的第一调度装置根据任务队列中的任务的最小资源需求单元以及集群内各执行节点上报的资源总量和资源使用情况，确定集群内用于执行该任务的执行节点，将该任务从任务队列中取出并分发到确定出的执行节点中，从而启动该任务，其中，任务队列中的任务满足相应的任务启动条件。本公开在任务启动条件满足时才对该任务进行调度，且根据各执行节点的资源总量和资源使用情况进行调度，不但能够实现各执行节点间的负载均衡，而且任务所分配的执行节点均是当前工作正常的节点，避免单点故障问题，提高系统可靠性。本公开还提供一种调度装置、计算机设备和计算机可读介质。

【技术实现步骤摘要】
任务调度方法、装置、计算机设备和计算机可读介质
本公开涉及计算机网络
，具体涉及一种任务调度方法、装置、计算机设备和计算机可读介质。
技术介绍
随着互联网和物联网技术的高速发展，小到企业内部，大到国家各政府部门，各种系统中数据不仅在数据量上巨大，且在存储介质和格式千差万别，所以打通各个“数据孤岛”，进行数据整合，并通过网络进行数据共享，甚至对整合后数据进行挖掘分析显得越发重要。在解决信息孤岛的方法中，数据仓库技术是一种最佳实践。数据仓库是面向主题的、集成的、与时间相关的、不可修改的数据集合。而ETL(Extract-Transform-Load，抽取、转换与加载)是构建数据仓库系统的关键环节。目前业界在ETL的实现中，主要还是依靠传统的集中式执行的ETL架构。传统ETL主要实现原理是某个ETL节点把从多个不同的数据源抽取的数据经过转换后，加载到多个局部节点的数据仓库。传统的ETL任务调度方案是在创建具体ETL任务时候，就已经由人工分配好这些将ETL任务分配给ETL执行节点，这样会导致某些执行节点的ETL任务负载过重，而某些执行节点本文档来自技高网...

【技术保护点】
1.一种任务调度方法，应用于第一调度装置，所述第一调度装置被配置为集群内的主调度装置，所述方法包括：/n根据任务队列中的任务的最小资源需求单元以及集群内各执行节点上报的资源总量和资源使用情况，确定用于执行所述任务的执行节点，所述任务队列中的任务满足相应的任务启动条件；/n将所述任务从所述任务队列中取出并分发到所述执行节点中。/n

【技术特征摘要】
1.一种任务调度方法，应用于第一调度装置，所述第一调度装置被配置为集群内的主调度装置，所述方法包括：
根据任务队列中的任务的最小资源需求单元以及集群内各执行节点上报的资源总量和资源使用情况，确定用于执行所述任务的执行节点，所述任务队列中的任务满足相应的任务启动条件；
将所述任务从所述任务队列中取出并分发到所述执行节点中。


2.如权利要求1所述的方法，其中，所述根据任务队列中的任务的最小资源需求单元以及集群内各执行节点上报的资源总量和资源使用情况，确定用于执行所述任务的执行节点，包括：
根据任务队列中的任务的最小资源需求单元以及集群内各执行节点上报的资源总量和资源使用情况，分别计算集群内各执行节点能够执行所述任务的最小资源需求单元的数量；
确定所述数量最多的执行节点，并将所述执行节点作为用于执行所述任务的执行节点。


3.如权利要求2所述的方法，其中，所述确定所述数量最多的执行节点，并将所述执行节点作为用于执行所述任务的执行节点，包括：
若所述数量最多的执行节点为至少两个，则从中选择节点类型与所述任务的任务类型不对应的执行节点作为用于执行所述任务的执行节点。


4.如权利要求1所述的方法，其中，所述将所述任务从所述任务队列中取出并分发到所述执行节点中之后，还包括：
按照预设的第一周期从所述执行节点获取所述任务的状态；
若根据所述任务的状态确定出所述任务启动失败，则将所述任务放入所述任务队列中。


5.如权利要求1所述的方法，其中，还包括以下步骤之一或任意组合：
记录所述任务的任务信息与节点地址之间的映射关系，并将所述映射关系同步到第二调度装置，所述第二调度装置当前被配置为备份调度装置；
将所述任务队列同步到所述第...

【专利技术属性】
技术研发人员：韩大鹤，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44