一种基于集群资源的任务调度方法及系统技术方案

本发明专利技术涉及任务调度技术领域，具体涉及一种基于集群资源的任务调度方法及系统，该方法包括：调度器接收用户端的任务调度请求，任务调度请求包含至少一个任务，每个任务携带有任务描述信息以及执行任务需要的资源属性信息；根据资源属性信息以及任务描述信息利用负载均衡算法在集群资源中查找到下一个可执行的任务时，将相应的任务调度请求加入到可执行的任务队列，并生成反馈信息发送给用户端，反馈信息用于使用户端以用户端的身份在集群上启动工作节点，工作节点在用户端的指示下启动执行器执行任务。本方法在用户端的指示下启动执行器执行任务，解决了现有的调度器既调度又执行带来的安全问题以及集群容易堵塞的问题。行带来的安全问题以及集群容易堵塞的问题。行带来的安全问题以及集群容易堵塞的问题。

【技术实现步骤摘要】
一种基于集群资源的任务调度方法及系统


[0001]本专利技术涉及任务调度
，具体涉及一种基于集群资源的任务调度方法及系统。

技术介绍

[0002]目前基于集群资源的任务调度存在两种方式，第一种是由调度器根据集群资源进行调度，然后由调度器转换为相应用户的身份执行相应的任务；第二种是不使用调度器，由用户直接向集群发起任务，并以用户自己的身份执行任务。
[0003]对于第一种任务调度的方式，调度器既能够调度任务又能够执行每一个用户的任务，该种方式下调度器相当于一个超级用户，拥有所有用户的权限信息，能够转换为任意一个用户，利用转换后的身份执行相应的任务。如果调度器被攻击，相应用户的信息被篡改或者伪造，会对用户造成极大的安全威胁。
[0004]对于第二种任务调度的方式，用户直接向集群发起任务的方式没有考虑集群资源如何，直接在集群进行排队，这种方式会造成集群堵塞，造成资源浪费。

技术实现思路

[0005]为了解决上述技术问题，本专利技术的目的在于提供一种基于集群资源的任务调度方法及系统，所采用的技术方案具体如下：第一方面，本专利技术一个实施例提供了一种基于集群资源的任务调度方法，该调度方法包括以下步骤：调度器接收用户端的任务调度请求，所述任务调度请求包含至少一个任务，每个任务携带有任务描述信息以及执行任务需要的资源属性信息；根据资源属性信息以及任务描述信息利用负载均衡算法在集群资源中查找到下一个可执行的任务时，将相应的任务调度请求加入到可执行的任务队列，并生成反馈信息，其中，所述反馈信息包括至少一个可执行任务的标识信息；将所述反馈信息反馈给用户端，所述反馈信息用于使用户端以用户端的身份在集群上启动工作节点，所述工作节点在用户端的指示下启动执行器，所述执行器从所述任务队列中取出相应的任务并执行；其中在集群上启动工作节点之前还包括集群对用户端的身份验证成功的步骤。
[0006]第二方面，本专利技术另一个实施例提供了一种基于集群资源的任务调度系统，该系统包括用户端、调度服务器和集群，其中：用户端，用于向调度器发起任务调度请求，所述任务调度请求包含至少一个任务，每个任务携带有任务描述信息以及执行任务需要的资源属性信息；并根据接收到调度器发送的反馈信息之后，以用户端的身份在集群上启动工作节点并指示启动执行器执行任务；调度服务器，用于利用调度器根据资源属性信息以及任务描述信息利用负载均衡算法在集群资源中查找到下一个可执行的任务时，将相应的任务调度请求加入到可执行的任务队列，并生成反馈信息，将所述反馈信息反馈给用户端；其中，所述反馈信息包括至少一个可执行任务的标识信息；集群，用于验证用户端的身份，并允许通过身份验证的用户端启动相应的工作节点并启动执行器执行任务。
[0007]本专利技术具有如下有益效果：本专利技术实施例提供的方法通过将调度器调度的任务反馈给发起任务的用户端，用户端在集群中启动执行器，执行器从任务队列中取出相应的任务并执行，在该方法中工作节点是在用户端的指示下启动的执行器并执行的任务，而不是在调度器的指示下启动的执行器，调度器只有调度的功能，并不需要转换身份去执行相应的任务，进而解决了调度器既调度又执行的问题以及集群容易堵塞的问题，同时由于相应任务由用户端自己执行，并不需要将相应的权限赋予调度器，因此同时也解决了调度器的安全问题。
附图说明
[0008]为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0009]图1为本专利技术一个实施例所提供的一种基于集群资源的任务调度系统的结构框图；图2为本专利技术一个实施例所提供的一种基于集群资源的任务调度方法流程图。
具体实施方式
[0010]为了更进一步阐述本专利技术为达成预定专利技术目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本专利技术提出的一种基于集群资源的任务调度方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0011]除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。
[0012]下面结合附图具体的说明本专利技术所提供的一种基于集群资源的任务调度方法及系统的具体方案。
[0013]请参阅图1，图1示出了本专利技术一个实施例所提供的一种基于集群资源的任务调度系统的结构框图，该任务调度系统包括用户端、调度服务器和集群。
[0014]用户端为任务发起并执行的终端，具有发起和执行任务的用户身份，用户终端可以是手机、平板电脑、膝上型计算机和台式计算机、智能手表、智能手环等。用户终端用于将发起任务的任务调度请求发送给调度服务器要求调度器进行资源调度，并根据调度服务器反馈的可执行任务的标识信息将相应的可执行任务发送给集群启动执行器并执行。
[0015]调度服务器为提供调度器集中调度集群资源的服务器，调度器掌握并调度集群资源，但是调度器并不是拥有者，调度器只拥有集群的属性信息，属性信息是指集群中所有工作节点或者服务器的CPU以及内存容量、负载大小等信息。调度器根据任务的优先级以及集群资源查找下一个可执行的任务，将可执行的任务标记为可执行，并将相应的可执行任务加入到任务队列，同时生成反馈信息，将反馈信息发送给发起任务的用户端，通知用户端相应的任务可执行，使用户端将相应的任务发给集群执行。
[0016]集群可以是由若干台服务器组成的服务器集群，或者一个云计算服务中心。集群用于提供计算资源，以供用户端执行相应的任务。集群中的工作节点一方面需要向调度器报告自身的CPU以及内存的容量，另一面需要在用户端的指示下负责启动执行器，执行器负责执行相应的任务。集群资源的实际占用者为用户端，用户端发起的多个任务由执行器进行执行。
[0017]用户端、调度服务器和集群中的任意两者之间可以通过无线网络或者有线网络相连。
[0018]请参阅图2，其示出了本专利技术一个实施例提供的一种基于集群资源的任务调度方法流程图，该任务调度方法包括以下步骤：步骤S001，调度器接收用户端的任务调度请求，所述任务调度请求包含多个任务，每个任务携带有任务描述信息以及执行任务需要的资源属性信息。
[0019]其中，用户端向调度器发起的任务调度请求为静态的任务描述信息，并非任务实体；其中任务描述信息可以包括任务的项目名称、项目周期、用户类型、执行任务所需的时间等。
[0020]其中，资源属性信息是执行相应任务所需的资源条件，可以包括执行该任务所需服务器的内存空间大小、负载大小等。例如某一个任务调度请求携带的资源属性信息为内存大于16G、负载小于20%等，说明执行相应任务调度请求所需的服务器需要是内存大于16G、负载小于20本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于集群资源的任务调度方法，其特征在于，该调度方法包括以下步骤：调度器接收用户端的任务调度请求，所述任务调度请求包含至少一个任务，每个任务携带有任务描述信息以及执行任务需要的资源属性信息；根据资源属性信息以及任务描述信息利用负载均衡算法在集群资源中查找到下一个可执行的任务时，将相应的任务调度请求加入到可执行的任务队列，并生成反馈信息，其中，所述反馈信息包括至少一个可执行任务的标识信息；将所述反馈信息反馈给用户端，所述反馈信息用于使用户端以用户端的身份在集群上启动工作节点，所述工作节点在用户端的指示下启动执行器，所述执行器从所述任务队列中取出相应的任务并执行；其中在集群上启动工作节点之前还包括集群对用户端的身份验证成功的步骤。2.根据权利要求1所述的一种基于集群资源的任务调度方法，其特征在于，所述任务描述信息包括用户端的身份信息，调度器向相应身份的用户端发送所述反馈信息。3.根据权利要求1所述的一种基于集群资源的任务调度方法，其特征在于，所述调度器根据任务队列的更新持续向用户端发送反馈信息，用户端持续监听并获取反馈信息。4.根据权利要求1所述的一种基于集群资源的任务调度方法，其特征在于，所述负载均衡算法采用基于任务优先级的负载均衡算法。5.根据权利要求1所述的一种基于集群资源的任务调度方法，其特征在于，所述集群资源为调度器维护的资源列表，所述资源列表包括集群中每台服务器的属性信息和占用状态信息。6.根据权利要求1所述的...

【专利技术属性】
技术研发人员：葛美玲，冯通，汤杰，
申请(专利权)人：上海合见工业软件集团有限公司，
类型：发明
国别省市：