基于混合式共享状态视图架构的集群并行调度系统技术方案

一种基于混合式共享视图架构下的集群资源并行调度系统，包括：阴影资源管理器、资源挖掘调度器、资源挖掘任务过滤器、状态回声模块。本发明专利技术针对共享视图调度架构下难以被利用的阴影资源，在原有的共享视图调度架构上进行升级，有效地降低大规模集群高并行度时调度的冲突，提升集群在调度时延、任务吞吐率、资源利用率等各方面的性能。率等各方面的性能。率等各方面的性能。

【技术实现步骤摘要】
基于混合式共享状态视图架构的集群并行调度系统


[0001]本专利技术涉及的是一种云资源分配领域的技术，具体是一种基于混合式共享状态视图架构的集群并行调度系统。

技术介绍

[0002]现有的共享视图架构下的集群调度系统相较于集中式和两级式的架构有着可扩展性强、灵活性高、可配置全局调度策略等优势。因此，共享视图架构逐步成为大规模集群所采用的调度架构。由于现有的共享视图调度架构存在视图更新时延，在高任务负载的情况下集群的调度冲突率会明显升高，从而影响集群整体的性能。面对目前愈发复杂的云原生应用场景，任务粒度越来越小，任务提交速率越来越大，共享视图架构也不可避免地遇到瓶颈。

技术实现思路

[0003]本专利技术针对现有技术存在的上述不足，提出一种基于混合式共享状态视图架构的集群并行调度系统，针对共享视图调度架构下难以被利用的阴影资源，在原有的共享视图调度架构上进行升级，有效地降低大规模集群高并行度时调度的冲突，提升集群在调度时延、任务吞吐率、资源利用率等各方面的性能。
[0004]本专利技术是通过以下技术方案实现的：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合式共享状态视图架构的集群资源调度系统，其特征在于，包括：资源挖掘任务过滤器、状态回声模块、阴影资源管理器和资源挖掘调度器，其中：资源挖掘任务过滤器对于提交的任务，结合过滤阈值将能够调度至阴影资源的任务过滤为资源挖掘任务并分发至资源挖掘调度器中的资源挖掘任务队列，将其余普通任务输出至各个普通调度器；状态回声模块将输入至中央状态视图的状态更新请求和成功的提交进行整合输出为状态回声输出至阴影资源管理器；阴影资源管理器分析状态回声并基于分析结果创建、删除或更新阴影资源状态并更新阴影状态视图的同时，对于阴影资源状态建立索引，便于快速地查询和写入；资源挖掘调度器通过阴影资源管理器查询可用的阴影资源，将资源挖掘任务队列中的资源挖掘任务调度至可用阴影资源，并提交到阴影状态视图；当无可用的阴影资源时则将任务调度至非阴影资源，并提交到中央状态视图，实现集群并行调度；所述的状态回声包含：资源状态的标志、资源类型与总量、资源对应的节点、资源状态的更新操作，其中：更新状态的资源标志包括阴影资源和非阴影资源；资源状态的更新操作包括占用和释放。2.根据权利要求1所述的基于混合式共享状态视图架构的集群资源调度系统，其特征是，所述的阴影资源管理器包括：状态回声分析单元、阴影资源状态计算单元、阴影状态视图单元和阴影资源状态索引单元，其中：状态回声分析单元根据状态回声模块发送的状态回声进行解析得到删除、创建或更新阴影资源状态的分析结果：当分析结果为删除阴影资源状态，则删除阴影状态视图和阴影资源状态索引中对应的阴影资源状态，当分析结果为创建或更新阴影资源状态，则阴影资源状态计算单元利用阴影资源估计函数计算阴影资源的估计存活时间，并根据状态回声中的信息计算其它阴影资源状态后，向阴影状态视图和阴影资源状态索引中添加新的阴影资源状态或更新对应的阴影资源状态；阴影状态视图单元基于所有普通资源和阴影资源的占用情况判断资源挖掘调度器的调度提交是否成功；阴影资源状态索引单元根据阴影资源状态信息对阴影资源状态建立索引，便于对阴影资源状态快速查询。3.根据权利要求2所述的基于混合式共享状态视图架构的集群资源调度系统，其特征是，所述的解析，具体包括：1)判断状态回声中资源状态的标志是否为阴影资源；2)当不是阴影资源，则对资源状态的更新操作进行判断：当为资源释放则分析结果为创建新的资源状态，否则返回结果为不对阴影资源状态进行操作；3)当为阴影资源，则判断阴影资源状态中估计存活时间是否过时：当过时则返回结果删除阴影资源状态，否则返回结果更新阴影资源状态。4.根据权利要求1所述的基于混合式共享状态视图架构的集群资源调度系统，其特征是，所述的资源挖掘调度器包括：资源挖掘任务队列单元、资源挖掘调度单元以及普通调度单元，其中：资源挖掘任务队列单元对资源挖掘任务过滤器分配的资源挖掘任务进行排队处理，形成待调度的资源挖掘任务队列；资源挖掘调度单元对资源挖掘任务队列中的任务的需求查询阴影资源状态索引，得到可用阴影资源的状态信息后基于调度算法选择合适的阴影资源分配至对应任务，并向阴影状态视图进行提交；当提交请求成功则执行此次调度并更新被分配的阴影资源状态，否则此次调度不执行；在无法查询到可用阴影资源时，资源挖掘调度器中的普通调度单元将资源挖掘任务作为普通任务然后调度至可用的非阴影资
源，并向中央状态视图进行提交。5.根据权利要求1所述的基于混合式共享状态视图架构的集群资源调度系统，其特征是，所述的资源挖掘任务过滤器包括：过滤阈值计算单元和负载平衡单元，其中：过滤阈值计算单元根据提交任务的历史统计数...

【专利技术属性】
技术研发人员：李超，贺昊，李元成，陈全，过敏意，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：