一种延迟解决冲突的集群分布式调度方法及系统技术方案

本发明专利技术公开了一种延迟解决冲突的集群分布式调度方法及系统，涉及计算机技术领域，本发明专利技术方法步骤包括：调度器通过分布式协同服务感知到新的请求；调度器决策调度；若调度冲突，则请求调度器会尝试再次调度一次，执行调度决策之前保留该请求的调度状态，等新的调度决策出来后再次确认之前的工作节点是否可以承载请求，如果依然不能承载请求则向分布式协同服务更新调度结果；系统包括：接口服务、分布式调度器、分布式协同服务、工作节点。本发明专利技术系统通过设置分布式协同服务，并通过延迟解决了调度冲突的问题，提高了调度冲突的解决效率。提高了调度冲突的解决效率。提高了调度冲突的解决效率。

【技术实现步骤摘要】
一种延迟解决冲突的集群分布式调度方法及系统


[0001]本专利技术涉及计算机
，更具体地说，涉及一种延迟解决冲突的集群分布式调度方法及系统。

技术介绍

[0002]随着数据处理规模的增长，传统的单机计算模式已经不能满足日益增长的信息服务需求。集群(cluster)是一组相互独立的、通过高速网络互联的计算机，它们构成了一个计算组，并可以统一的方式进行管理。集群可以实现很高的运算速度，完成大运算量的计算，具有较高的响应能力，能够降低整体运维成本，因此得到了越来越多的应用。
[0003]然而，随着大数据技术的发展和企业数据仓库中离线计算任务数据规模的膨胀，单独搭建计算集群带来的成本越来越高昂，越来越多的用户倾向于不再为离线的计算服务单独建立集群和机房，而是将在线业务与离线业务混布在同一个集群。混部后的集群规模越来越大，同时因为有在线业务的存在，对于调度系统的可用性要求非常高，如何实现一个可用性高、调度性能也搞的系统成为了问题。
[0004]现有的集群调度系统存在如下问题：
[0005]1)中心化调度器存在单点故障以及瓶颈本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种延迟解决冲突的集群分布式调度方法，其特征在于，包括如下步骤：S1：客户端的调度请求提交到接口服务，接口服务对客户端做合法性校验和流量控制，如果客户端身份合法且未被限流则进入S2；S2：接口服务通过分布式协同服务感知所有调度器，将所述客户端的请求转发到其中一个调度器；S3：接口服务选择调度器后，在请求中标记调度器的名字，将请求记录在分布式协同服务中；S4：调度器通过List/Watch机制感知到新的请求，并根据请求中调度器的名字是否为自己决策是否调度该请求；若是，则调度该请求；S5：被选择的调度器根据当前所有工作节点的负载状态决策请求被调度到哪个工作节点，工作节点的负载状态通过所有请求的调度结果统计出来；S6：分布式调度器将调度结果记录在请求中并更新分布式协同服务中该请求的状态，分布式协同服务将更新后的请求通知到所有的调度器；S7：调度器接收到分布式协同服务通知的更新结果后，统计此时请求被调度节点的负载状态，如果节点此时可以承载请求则通知工作节点执行该请求；如果此时节点无法承载请求，则为调度冲突；S8：调度冲突的请求调度器会尝试再次调度一次，执行调度决策之前保留该请求的调度状态，等新的调度决策出来后再次确认之前的工作节点是否可以承载请求，如果依然不能承载请求则向分布式协同服务更新调度结果。2.根据权利要求1所述方法，其特征在于，S8中解决冲突的方式还包括预估法：根据同类请求统计平...

【专利技术属性】
技术研发人员：周光明，韩辉，马三，魏亭，李瑞山，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：