【技术实现步骤摘要】
任务调度方法和系统
本专利技术涉及计算机
，尤其涉及一种任务调度方法和系统。
技术介绍
在分布式系统架构Hadoop中，YARN(YetAnotherResourceNegotiator，另一种资源协调者)作为资源管理器，为上层应用提供统一的资源管理和调度。实际应用中，用户在调度任务时，首先通过手工方式维护执行队列、设置上下游任务依赖关系以及执行规则，之后将任务提交到YARN，YARN会根据设定的信息分配资源，进而执行任务。在现有技术中，提交的任务与YARN之间仅存在申请资源与分配资源的关系，任务本身并没有能力去影响YARN的资源调度过程，同时YARN本身也无法了解任务的当前执行方式是否为最优方式，此外YARN也不会针对任务所具有的特定规则或上下游依赖关系执行进一步的动态资源调整和优化，这就导致以下问题：1.随着任务的增多以及执行规则设置不合理，YARN的队列资源可能在某一时间段紧张，在另一时间段空闲，资源无法得到充分利用。2.随着任务依赖关系的日益复杂，手工设置依赖关系具有明显的局限性，由于Y...
【技术保护点】
1.一种任务调度方法，用于将至少一个当前任务提交到分布式系统中为任务分配资源的资源管理器；其特征在于，所述方法包括：/n获取所述当前任务的属性信息和上下游依赖信息；/n依据所述属性信息和上下游依赖信息确定全局任务依赖数据；其中，所述全局任务依赖数据中具有表征所述当前任务的节点，所述节点含有为所述当前任务确定的预计执行时间信息；将所述全局任务依赖数据发送到资源管理器；以及，/n将所述当前任务提交到资源管理器；在资源管理器中，使用所述全局任务依赖数据向所述当前任务分配资源。/n
【技术特征摘要】
1.一种任务调度方法，用于将至少一个当前任务提交到分布式系统中为任务分配资源的资源管理器；其特征在于，所述方法包括：
获取所述当前任务的属性信息和上下游依赖信息；
依据所述属性信息和上下游依赖信息确定全局任务依赖数据；其中，所述全局任务依赖数据中具有表征所述当前任务的节点，所述节点含有为所述当前任务确定的预计执行时间信息；将所述全局任务依赖数据发送到资源管理器；以及，
将所述当前任务提交到资源管理器；在资源管理器中，使用所述全局任务依赖数据向所述当前任务分配资源。
2.根据权利要求1所述的方法，其特征在于，
所述全局任务依赖数据表征：所述当前任务和已提交到资源管理器的任务的全局依赖关系；
所述属性信息包括：所述当前任务的执行队列信息和执行规则信息；所述节点含有所述当前任务的执行队列信息。
3.根据权利要求2所述的方法，其特征在于，
所述方法进一步包括：获取所述当前任务中任一当前任务在预设维度的数据，并将该数据输入预先训练完成的执行时长预测模型，得到该当前任务的执行时长预测值；其中，所述预设维度与任务的执行时长相关；
依据所述属性信息和上下游依赖信息确定全局任务依赖数据，具体包括：依据所述至少一个当前任务的执行队列信息、执行规则信息、上下游依赖信息和执行时长预测值确定全局任务依赖数据；以及，
任一当前任务的预计执行时间信息是根据该当前任务的执行队列信息、执行规则信息、执行时长预测值、以及该当前任务的上游任务的预计执行时间信息、和/或下游任务的预计执行时间信息确定的。
4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：在确定所述全局任务依赖数据之前，获取为当前任务配置的特定规则信息；以及，
在所述全局任务依赖数据中，表征配置有特定规则信息的当前任务的节点含有所述特定规则信息。
5.根据权利要求4所述的方法，其特征在于，所述特定规则信息包括为当前任务配置的指定执行时间信息；以及，使用所述全局任务依赖数据向所述当前任务分配资源，具体包括：
利用所述全局依赖关系在提交到资源管理器的当前任务中确定待执行任务，将待执行任务与所述全局任务依赖数据中的一个节点匹配；
判断该节点是否含有特定规则信息：若是，依据该节点的所述指定执行时间信息向待执行任务分配资源；否则，依据该节点的预计执行时间信息向待执行任务分配资源。
6.根据权利要求3所述的方法，其特征在于，所述全局任务依赖数据为链表数据；以及，
所述预设维度包括以下至少一种：提交单元标识、提交单元当前资源信息、监控条件、任务名称、任务类型、任务负责人标识、所述执行规则、运行账号、所属业务标识、上游任务数据量及其变动信息、集群当前状态信息、任务脚本修改信息。
7.一种任务调度系统，用于将至少一个当前任务提交到分布式系统中为任务分配资源的资源管理器；其特征在于，所述任务调度系统包括：任务提交系统，数据...
【专利技术属性】
技术研发人员：江鹤，赵鹏，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。