任务分配方法、装置、存储介质、设备及分布式任务系统制造方法及图纸

本公开涉及一种任务分配方法、装置、存储介质、设备及分布式任务系统。该方法包括：从待分配队列中确定当前待分配任务；根据当前待分配任务所需的资源，按照预设的第一遍历次数遍历主节点上的各分节点的资源配置信息，以确定是否存在能满足当前待分配任务所需的资源的分节点；当确定不存在能满足当前待分配任务所需的资源的分节点时，将当前待分配任务从待分配队列转移至等待资源队列，以使该任务在等待资源队列中等待分配，由此，可使得待分配队列中被阻塞的任务可以及时转移，从而保障了待分配队列中的其他任务能被及时、有序地分配，提高了待分配队列中的任务分配效率，提升了分布式任务系统的任务并发处理能力和各分节点的资源利用率。

Task allocation method, device, storage medium, equipment and distributed task system

This disclosure involves a task allocation method, a device, a storage medium, a device and a distributed task system. The method includes: determining the current to be allocated tasks to be allocated from the queue; according to the current task to be allocated the resources required, in accordance with the resource allocation information of each node of the first traversal traversal number preset on the master node, to determine whether there can satisfy the sub nodes of the current task required to be allocated resources when determining; does not exist to satisfy the task to be allocated to the required resource section point, will be the allocation of tasks to be distributed from the queue to wait for resources to make the task queue, waiting for the distribution of resources, in the waiting queue which can make the blocked task to be allocated in the queue can be transferred in time to ensure the stay other tasks assigned in the queue can be timely and orderly distribution, improve the efficiency of distribution for task allocation in the queue, enhance the task at the distributed task system The utilization of resources and the resources of each node.

【技术实现步骤摘要】
任务分配方法、装置、存储介质、设备及分布式任务系统
本公开涉及互联网
，具体地，涉及一种任务分配方法、装置、存储介质、设备及分布式任务系统。
技术介绍
分布式任务系统通常由主节点、多个分节点以及至少一个客户端组成，其中，不同分节点之间的资源(CPU资源、图形处理器(GraphicsProcessingUnit，GPU)资源、内存资源、硬盘资源等)配置可能会有所不同，并且在主节点上存储有各分节点的资源配置信息。在主节点进行任务分配时，通常是先将任务不断地添加到主节点的任务队列中，主节点从任务队列中取出待分配任务，并通过遍历各分节点的资源配置信息来查找能够满足该待分配任务所需的资源的分节点，直到找到相应的分节点将该待分配任务分配出去为止，然后再接着分配任务队列中的其他任务。也就是说，当查询不到能够满足该待分配任务所需的所有资源的分节点时，主节点会一直遍历该各分节点的资源配置信息，即使任务队列中的其他任务所需的资源有分节点能够满足时，这些其他任务也不能被分配出去，即发生了任务阻塞。如果不对任务阻塞加以控制，会使得分布式任务系统的任务并发处理能力和各分节点的资源利用率大大降低。专利技术本文档来自技高网...

【技术保护点】
一种任务分配方法，其特征在于，所述方法应用于分布式任务系统中的主节点，所述方法包括：从待分配队列中确定当前待分配任务，其中，所述主节点将接收到的客户端提交的任务添加至所述待分配队列中；根据所述当前待分配任务所需的资源，按照预设的第一遍历次数遍历所述主节点上的各分节点的资源配置信息，以确定是否存在能够满足所述当前待分配任务所需的资源的分节点；当确定不存在能够满足所述当前待分配任务所需的资源的分节点时，将所述当前待分配任务从所述待分配队列转移至等待资源队列，以使该任务在所述等待资源队列中等待分配。

【技术特征摘要】
1.一种任务分配方法，其特征在于，所述方法应用于分布式任务系统中的主节点，所述方法包括：从待分配队列中确定当前待分配任务，其中，所述主节点将接收到的客户端提交的任务添加至所述待分配队列中；根据所述当前待分配任务所需的资源，按照预设的第一遍历次数遍历所述主节点上的各分节点的资源配置信息，以确定是否存在能够满足所述当前待分配任务所需的资源的分节点；当确定不存在能够满足所述当前待分配任务所需的资源的分节点时，将所述当前待分配任务从所述待分配队列转移至等待资源队列，以使该任务在所述等待资源队列中等待分配。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述等待资源队列中的任务总数未达到预设的等待任务数量阈值时，根据所述待分配队列中已分配任务的数量n、以及与所述等待资源队列的上次任务分配时机之间的时间间隔τ，确定是否再次到达所述等待资源队列的任务分配时机；在所述等待资源队列中的任务总数已达到所述等待任务数量阈值，或者确定再次到达所述等待资源队列的任务分配时机时，按照所述等待资源队列中各任务的选取参考值由大到小的顺序，在所述等待资源队列中进行轮询，其中，所述选取参考值用于表征对应任务被成功分配的概率；根据当前轮询到的任务所需的资源，按照预设的第二遍历次数遍历所述主节点上的各分节点的资源配置信息，以确定是否存在能够满足所述当前轮询到的任务所需的资源的分节点；当确定存在能够满足所述当前轮询到的任务所需的资源的分节点时，将所述当前轮询到的任务分配给该分节点，并结束轮询；在结束轮询后，将n和τ置零，并返回所述从待分配队列中确定当前待分配任务的步骤。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：当确定不存在能够满足所述当前轮询到的任务所需的资源的分节点时，继续轮询，直到所述等待资源队列中有任务被成功分配、或有任务因超时被删除为止。4.根据权利要求2所述的方法，其特征在于，所述根据所述待分配队列中已分配任务的数量n、以及与所述等待资源队列的上次任务分配时机之间的时间间隔τ，确定是否再次到达所述等待资源队列的任务分配时机，包括：当n＜Nmax且τ＜τmax时，确定尚未再次到达所述等待资源队列的任务分配时机，其中，Nmax为预设的任务分配数量阈值，τmax为预设的时间间隔阈值；当n≥Nmax或τ≥τmax时，确定再次到达所述等待资源队列的任务分配时机。5.根据权利要求2所述的方法，其特征在于，所述等待资源队列中各任务的...

【专利技术属性】
技术研发人员：李向南，于洋，王冰倩，
申请(专利权)人：东软集团股份有限公司，
类型：发明
国别省市：辽宁,21