一种任务调度的方法、服务器和计算机可读存储介质技术

本发明专利技术实施例涉及互联网信息技术领域，公开了一种任务调度的方法、服务器和计算机可读存储介质。本发明专利技术中任务调度的方法，应用于调度服务端，包括：若检测到满足待处理任务的触发条件，则按照待处理任务被配置的指定集群，查找与指定集群对应的任务队列；将待处理任务分发至任务队列，供指定集群的调度代理根据指定集群的负载信息，抓取任务队列中的待处理任务并提到至指定集群，反馈指定集群处理待处理任务的处理结果；获取指定集群的调度代理返回的处理结果。本实施方式的任务调度的方法，使得可以合理协调调度指定集群处理待处理任务，提高任务调度的效率。

A method of task scheduling, server and computer readable storage medium

【技术实现步骤摘要】
一种任务调度的方法、服务器和计算机可读存储介质
本专利技术实施例涉及互联网信息
，特别涉及一种任务调度的方法、服务器和计算机可读存储介质。
技术介绍
大数据平台技术框架支持的开发语言多种多样，产生出很多不同类型的程序(任务)运行在大数据平台之上，任务类型可以是各编程语言如：MapReduce、Hive、Pig、Spark、Java、Shell、Python等。由于大数据平台上的任务或者任务流需要通过调度系统的定时调度触发。大数据平台通常由多套大数据计算集群构成，每个计算集群包括处理相同业务的多台服务器，每个计算集群对应一个调度系统，该调度系统用于管理该计算集群上传的任务。专利技术人发现相关技术中至少存在如下问题：目前的每个计算集群对应一个调度系统，当一个任务需要多个集群共同处理时，由于该大数据平台上出现了多个计算集群的调度系统，导致无法统一协调调度任务，影响调度任务的效率。
技术实现思路
本专利技术实施方式的目的在于提供一种任务调度的方法、服务器和计算机可读存储介质，使得可以合理协调调度指定集群处理待处理任务，本文档来自技高网...

【技术保护点】
1.一种任务调度的方法，其特征在于，应用于调度服务端，包括：/n若检测到满足待处理任务的触发条件，则按照所述待处理任务被配置的指定集群，查找与所述指定集群对应的任务队列；/n将所述待处理任务分发至所述任务队列，供所述指定集群的调度代理根据所述指定集群的负载信息，抓取所述任务队列中的所述待处理任务并提到至所述指定集群，反馈所述指定集群处理所述待处理任务的处理结果；/n获取所述指定集群的调度代理返回的处理结果。/n

【技术特征摘要】
1.一种任务调度的方法，其特征在于，应用于调度服务端，包括：
若检测到满足待处理任务的触发条件，则按照所述待处理任务被配置的指定集群，查找与所述指定集群对应的任务队列；
将所述待处理任务分发至所述任务队列，供所述指定集群的调度代理根据所述指定集群的负载信息，抓取所述任务队列中的所述待处理任务并提到至所述指定集群，反馈所述指定集群处理所述待处理任务的处理结果；
获取所述指定集群的调度代理返回的处理结果。


2.根据权利要求1所述的任务调度的方法，其特征在于，在检测是否满足待处理任务的触发条件之前，所述任务调度的方法还包括：
接收创建任务流的创建请求，创建所述任务流，所述创建请求包括：所述任务流的配置信息以及所需集群的信息；
根据所述所需集群的信息，将所述任务流划分为N个所述待处理任务，每个所述待处理任务配置有对应的指定集群，N的值与所需集群的数量相同。


3.根据权利要求2所述的任务调度的方法，其特征在于，所述将所述任务流划分为N个所述待处理任务之后，所述任务调度的方法还包括：
获取每个所述待处理任务之间的依赖关系；
根据所述依赖关系对每个所述待处理任务设置对应的触发条件。


4.根据权利要求2所述的任务调度的方法，其特征在于，所述任务调度的方法还包括：
向配置中心发送所述任务流的配置信息，供所述配置中心查找所述任务流的配置文件，并向所述调度服务端反馈所述配置文件，所述配置文件包括：所述待处理任务的执行脚本信息；
接收所述配置中心反馈的所述配置文件；
按照所述配置文件配置所述待处理任务。


5.一种任务调度的方法，其特征在于，应用于调度代理，所述调度代理分别通信连接调度服务端和对应的指定集群，所述任务调度方法包括：
根据所述指定集群的负载信息，抓取与所述指定集群对应的指定任务队列中的待处理任务；
向所述指定集群提交所述待处理任务，供所述指定集群处理所述待处理任务，向所述调度代理返回处理结果；
将接收的所述处理结果反馈至所述调度服务端。


6.根据权利要求5...

【专利技术属性】
技术研发人员：胡苏，
申请(专利权)人：咪咕文化科技有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：北京;11