一种自下而上的分布式调度系统及方法技术方案

一种自下而上的分布式调度系统及方法，系统包括全局调度器，存储和标识有分布式集群中具有任务请求类型的足够资源的子节点，接受来自各个子节点的本地调度器转发的调度任务请求，根据每个子节点的负载和任务的约束来做出调度决策；多个本地调度器，将任务安排在本地进行处理，如果本地调度器不满足调度要求时，本地调度器会将任务转发给全局调度器；全局控制存储单元，存储有本地调度器所转发的任务的信息。本发明专利技术设立了本地调度优先、全局调度为辅助的调度模式，满足强化学习中任务异构性的特点，对异构性任务也有很快的调度速度；在扩展上十分方便，将任务分派与任务调度完全分离，实现延迟最小化。

【技术实现步骤摘要】
一种自下而上的分布式调度系统及方法
本专利技术涉及仿真计算领域，具体的，涉及一种自下而上的分布式调度系统及方法，与传统的调度方法相比，处理任务的效率更高，任务的数量更大，可扩展性更好。
技术介绍
随着人工智能技术的快速发展，新一代人工智能应用程序，例如强化学习，将不断与环境交互，并从这些交互之中学习。这些应用程序在性能和灵活性方面都对系统提出了新的和苛刻的要求。这就要求我们的调度方法能够以毫秒级的延迟每秒处理数百万个异构任务。现在的调度模式大概有以下几种：轮转式调度、加权式调度、散列式调度、最少任务式调度、最低缺失式调度、最快响应式调度等。轮转式调度方法就是简单地在一串节点中线性轮转，调度系统将新请求发给节点表中的下一个节点，如此连续下去。缺点是：对于分布式系统来说，这种调度方法的效率太低。加权式调度方法就是根据节点的优先级或权值来分配负载，权值是基于各节点能力的假设或估计值。缺点是：这种方法只能与其他方法合用，是其他方法的一个辅助补充。散列式调度方法就是通过单射不可逆的Hash函数，按照某种规则将请求发往集群节本文档来自技高网...

【技术保护点】
1.一种自下而上的分布式调度系统，所述分布式调度系统用于分布式集群，其特征在于，包括/n全局调度器，所述全局调度器位于分布式集群的主节点，并存储和标识有分布式集群中具有任务请求类型的足够资源的子节点，接受来自各个子节点的本地调度器转发的调度任务请求，根据每个子节点的负载和任务的约束来做出调度决策；/n多个本地调度器，每个所述本地调度器位于分布式集群的每个子节点，本地调度器在本地调度任务，将任务安排在本地进行处理，避免了将所有的任务提交到全局调度器，再由全局调度器调度所产生的时间开销；如果本地调度器不满足调度要求时，本地调度器会将任务转发给全局调度器。/n

【技术特征摘要】
1.一种自下而上的分布式调度系统，所述分布式调度系统用于分布式集群，其特征在于，包括
全局调度器，所述全局调度器位于分布式集群的主节点，并存储和标识有分布式集群中具有任务请求类型的足够资源的子节点，接受来自各个子节点的本地调度器转发的调度任务请求，根据每个子节点的负载和任务的约束来做出调度决策；
多个本地调度器，每个所述本地调度器位于分布式集群的每个子节点，本地调度器在本地调度任务，将任务安排在本地进行处理，避免了将所有的任务提交到全局调度器，再由全局调度器调度所产生的时间开销；如果本地调度器不满足调度要求时，本地调度器会将任务转发给全局调度器。


2.根据权利要求1所述的分布式调度系统，其特征在于，
所述全局调度器根据所请求调度的任务，计算该请求调度的任务在各个子节点中的估计等待时间，并选取具有最低估计等待时间的子节点，所述估计等待时间为(i)该任务将在相应子节点排队的估计时间和(ii)该任务的远程输入的估计传输时间之和。


3.根据权利要求1或2所述的分布式调度系统，其特征在于，
还具有全局控制存储单元，当本地调度器对于无法满足需求的任务进行转发时，会将所转发的任务的详细信息都存储在全局控制存储单元之中。


4.根据权利要求3所述的分布式调度系统，其特征在于，
所述全局调度器根据所请求调度的任务，计算该请求调度的任务在各个子节点中的估计等...

【专利技术属性】
技术研发人员：陈敏杰，李业磊，孙方义，王媛媛，吴斌星，
申请(专利权)人：北京华如科技股份有限公司，
类型：发明
国别省市：北京;11