一种用于执行调度的方法和装置制造方法及图纸

本发明专利技术的目的是提供一种用于执行调度的方法和装置的方法和装置。所述方法包括：响应于来自客户端的调度请求，获取各个集群的运维相关数据；基于各个集群的运维相关信息，确定可用的一个或多个候选集群；根据各个候选集群的状态相关信息，为该客户端选择合适的集群，从而将选中的集群的标识信息发送至该客户端。本申请实施例具有以下优点：通过调度装置为各个客户端分配合适的集群，客户端每次提交任务时先请求调度装置，调度装置能够对故障集群识别，将任务提交到正常集群中，从而避免因某一集群故障而导致整个Presto服务中断，提升了用户体验，并且实现过程较为容易，无需对集群代码进行深入修改的特点。码进行深入修改的特点。码进行深入修改的特点。

【技术实现步骤摘要】
一种用于执行调度的方法和装置


[0001]本专利技术涉及计算机
，尤其涉及一种用于执行调度的方法和装置。

技术介绍

[0002]基于现有技术的方案，
[0003]Presto是专门为大数据实时查询计算而设计和开发的一款产品。无论是对多数据源支持，还是高性能、易用性、可扩展性等方面，Presto都是大数据实时查询计算产品中的佼佼者。
[0004]Presto集群一共有两种服务器进程：Coordinator服务进程和Worker服务进程，其中Coordinator服务进程的作用是接收查询请求、解析查询语句、生成查询执行计划、任务调度和Worker管理。而Worker服务进程则执行被分解后的查询执行任务。
[0005]Presto集群中的Coordinator服务是单点，且其本身存在单机性能上限的瓶颈，当其达到单机性能瓶颈之后，无法继续扩展，会导致集群进入堵塞状态。
[0006]另外，当Presto集群Coordinator服务进程意外中断之后，会导致整个集群进入不可用状态，影响是十分巨大的，因此需要考虑如何实现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于执行调度的方法，其中，所述方法包括：响应于来自客户端的调度请求，获取各个集群的运维相关数据；基于各个集群的运维相关信息，确定可用的一个或多个候选集群；根据各个候选集群的状态相关信息，为该客户端选择合适的集群，从而将选中的集群的标识信息发送至该客户端。2.根据权利要求1所述的方法，其中，所述方法包括：监测各个集群的运维相关数据；将更新后的各个集群的运维相关数据存储于相应的数据表中；其中，所述基于各个集群的运维相关信息，确定可用的一个或多个候选集群包括：基于该数据表中存储的各个集群的运维相关信息，确定可用的一个或多个候选集群。3.根据权利要求1或2所述的方法，其中，所述根据各个候选集群的状态相关信息，为该客户端选择合适的集群包括：基于各个候选集群当前的状态相关信息，为该客户端选择负载最低的集群。4.根据权利要求1或2所述的方法，其中，所述根据各个候选集群的状态相关信息，为该客户端选择合适的集群包括：如果当前所有候选集群的负载情况均超过了预定上限，则随机为该客户端选择一个集群。5.根据权利要求1所述的方法，其中，所述方法包括：监测各个执行中的任务的持续时间；如果某任务的执行时间超过预定阈值，则终止该执行该任务。6.一种在客户端请求调度的方法，其中，所述方法包括：需要建立会话时，向调度装置发送调度请求；接收调度装置返回的集群的标识信息；基于该集群的标识信息，和相应的集群的服务端建立会话。7.一种用于执行调度的调度装置，其中，所述调度装置包括：用于响应于来自客户端的调度请求，获取各个集群的运维相关数据的装置；用于基于各个集群的运维相关信息，确定可用的一个或多个候选集群的装置；用于根据各个候选集群的状态相关信息，为该客户端选择合适的集群的装置。8.根据权...

【专利技术属性】
技术研发人员：江昕，刘光华，潘丹，赵辉，
申请(专利权)人：度小满科技北京有限公司，
类型：发明
国别省市：