任务调度的方法、装置、处理器与电子设备制造方法及图纸

本申请提供了一种任务调度的方法、装置、处理器与电子设备，该方法包括：接收目标任务相关信息，目标任务相关信息包括目标任务信息以及表征目标任务紧急程度的信息；确定SPARK集群的当前资源利用率，当前资源利用率为SPARK集群中当前已被占用资源的数量的占比；根据目标任务相关信息和当前资源利用率，对目标任务信息进行拆分，得到至少一个目标子任务信息；将各目标子任务信息发送至SPARK集群进行计算，接收各计算结果并将各计算结果发出。该方法实现了基于目标任务信息和紧急程度的任务调度，进一步地对集群资源进行智能化的任务调度和负载自动分配机制，从而解决了现有技术中执行任务的效率较低的问题。

【技术实现步骤摘要】
任务调度的方法、装置、处理器与电子设备
本申请涉及任务调度领域，具体而言，涉及一种任务调度的方法、装置、计算机可读存储介质、处理器与电子设备。
技术介绍
ApacheSpark(开源集群运算框架)是专为大规模数据处理而设计的快速通用的计算引擎。ApacheSpark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类Hadoop(海杜普分布式系统基础架构)中MapReduce的通用并行框架，ApacheSpark拥有HadoopMapReduce所具有的优点，但不同于MapReduce的是，工作中间输出结果可以保存在内存中，从而不再需要读写HDFS(HadoopDistributedFileSystem，海杜普分布式文件系统)，因此ApacheSpark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark拥有自己的计算生态，在大数据领域及计算方向有很高的市场占有率，技术通用性好，同时可与其他大数据核心组件相互结合形成大数据生态。但是，现有的执行任务的效率较低。在
技术介绍
部分中公开的以上信息只是用来加强对本文所描述技术的
技术介绍
的理解，因此，
技术介绍
中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。
技术实现思路
本申请的主要目的在于提供一种任务调度的方法、装置、计算机可读存储介质、处理器与电子设备，以解决现有技术中执行任务的效率较低的问题。根据本专利技术实施例的一个方面，提供了一种任务调度的方法，包括：接收目标任务相关信息，所述目标任务相关信息包括目标任务信息以及表征所述目标任务紧急程度的信息；确定SPARK集群的当前资源利用率，所述当前资源利用率为所述SPARK集群中当前已被占用资源的数量的占比；根据所述目标任务相关信息和所述当前资源利用率，对所述目标任务信息进行拆分，得到至少一个目标子任务信息；将各所述目标子任务信息发送至所述SPARK集群进行计算，接收各计算结果并将各所述计算结果发出。可选地，确定SPARK集群的当前资源利用率，包括：获取所述SPARK集群中的资源总量；获取所述当前已被占用资源的数量，所述当前已被占用资源为当前所述SPARK集群中被其他任务占用的资源；根据所述资源总量和所述当前已被占用资源的数量，确定所述当前资源利用率。可选地，根据所述目标任务相关信息和所述当前资源利用率，对所述目标任务信息进行拆分，包括：根据所述表征所述目标任务紧急程度的信息和所述当前资源利用率，确定所述SPARK集群中的可用资源的数量，所述可用资源为所述SPARK集群中除所述当前已被占用资源之外的其他资源；根据所述可用资源的数量，确定所述目标任务信息的拆分数量；按照所述拆分数量对所述目标任务进行拆分，得到至少一个所述目标子任务信息。可选地，根据所述表征所述目标任务紧急程度的信息和所述当前资源利用率，确定所述SPARK集群中的可用资源的数量，包括：根据所述表征所述目标任务紧急程度的信息，确定所述目标任务信息的资源需求率；将所述资源需求率和所述当前资源利用率作差后与所述资源总量相乘，得到所述可用资源的数量。可选地，根据所述可用资源的数量，确定所述目标任务信息的拆分数量，包括：获取所述SPARK集群中节点的数量，所述节点用于对所述目标子任务信息进行计算；将所述可用资源的数量与所述节点的数量相除，得到所述拆分数量。可选地，在根据所述表征所述目标任务紧急程度的信息和所述当前资源利用率，确定所述SPARK集群中的可用资源的数量之后，在根据所述可用资源的数量，确定所述目标任务信息的拆分数量之前，所述方法还包括：获取需求资源数量，所述需求资源数量为计算所述目标任务信息需要的资源数量；确定所述需求资源数量是否大于所述可用资源的数量，在所述需求资源数量大于所述可用资源的数量的情况下，暂停非紧急任务信息的计算，所述非紧急任务为所述紧急程度低于所述目标任务的所述其他任务，以使得所述需求资源数量小于或者等于所述可用资源的数量。可选地，暂停非紧急任务信息的计算，包括：在所述需求资源数量大于所述可用资源的数量的情况下，获取所述其他任务的所述紧急程度，确定所述非紧急任务；将所述非紧急任务按照所述紧急程度从小到大的顺序依次暂停，直到所述需求资源数量小于或者等于所述可用资源的数量。可选地，在暂停所有的所述非紧急任务信息后，所述需求资源数量仍大于所述可用资源的数量的情况下，所述方法还包括：控制所述目标任务进入等待模式，直到所述需求资源数量小于或者等于所述可用资源的数量。根据本专利技术实施例的另一方面，还提供了一种任务调度的装置，包括：接收单元，用于接收目标任务相关信息，所述目标任务相关信息包括目标任务信息以及表征所述目标任务紧急程度的信息；确定单元，用于确定SPARK集群的当前资源利用率，所述当前资源利用率为所述SPARK集群中当前已被占用资源的数量的占比；拆分单元，用于根据所述目标任务相关信息和所述当前资源利用率，对所述目标任务信息进行拆分，得到至少一个目标子任务信息；发送单元，用于将各所述目标子任务信息发送至所述SPARK集群进行计算，接收各计算结果并将各所述计算结果发出。根据本专利技术实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行任意一种所述的方法。根据本专利技术实施例的再一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任意一种所述的方法。根据本专利技术实施例的再一方面，还提供了一种电子设备，包括：一个或多个处理器，存储器以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行任意一种所述的方法。在本专利技术实施例中，所述任务调度的方法中，首先，接收目标任务相关信息，所述目标任务相关信息包括目标任务信息以及表征所述目标任务紧急程度的信息；然后，确定SPARK集群的当前资源利用率，所述当前资源利用率为所述SPARK集群中当前已被占用资源的数量的占比；之后，根据所述目标任务相关信息和所述当前资源利用率，对所述目标任务信息进行拆分，得到至少一个目标子任务信息；最后，将各所述目标子任务信息发送至所述SPARK集群进行计算，接收各计算结果并将各所述计算结果发出。该任务调度的方法中，根据目标任务信息、目标任务紧急程度的信息和当前资源利用率对目标任务进行拆分得到目标子任务信息，并将目标子任务信息发送至SPARK集群进行计算，实现了目标任务的统一接收、控制和分发以及基于目标任务信息和紧急程度的任务调度的方法，进一步地对集群资源进行智能化的任务调度和负载自动分配机制，从而解决了现有技术中执行任务的效率较低的问题。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1示出了根据本申请的一种的实施例的任务调度的方法的本文档来自技高网...

【技术保护点】
1.一种任务调度的方法，其特征在于，包括：/n接收目标任务相关信息，所述目标任务相关信息包括目标任务信息以及表征所述目标任务紧急程度的信息；/n确定SPARK集群的当前资源利用率，所述当前资源利用率为所述SPARK集群中当前已被占用资源的数量的占比；/n根据所述目标任务相关信息和所述当前资源利用率，对所述目标任务信息进行拆分，得到至少一个目标子任务信息；/n将各所述目标子任务信息发送至所述SPARK集群进行计算，接收各计算结果并将各所述计算结果发出。/n

【技术特征摘要】
1.一种任务调度的方法，其特征在于，包括：
接收目标任务相关信息，所述目标任务相关信息包括目标任务信息以及表征所述目标任务紧急程度的信息；
确定SPARK集群的当前资源利用率，所述当前资源利用率为所述SPARK集群中当前已被占用资源的数量的占比；
根据所述目标任务相关信息和所述当前资源利用率，对所述目标任务信息进行拆分，得到至少一个目标子任务信息；
将各所述目标子任务信息发送至所述SPARK集群进行计算，接收各计算结果并将各所述计算结果发出。


2.根据权利要求1所述的方法，其特征在于，确定SPARK集群的当前资源利用率，包括：
获取所述SPARK集群中的资源总量；
获取所述当前已被占用资源的数量，所述当前已被占用资源为当前所述SPARK集群中被其他任务占用的资源；
根据所述资源总量和所述当前已被占用资源的数量，确定所述当前资源利用率。


3.根据权利要求2所述的方法，其特征在于，根据所述目标任务相关信息和所述当前资源利用率，对所述目标任务信息进行拆分，包括：
根据所述表征所述目标任务紧急程度的信息和所述当前资源利用率，确定所述SPARK集群中的可用资源的数量，所述可用资源为所述SPARK集群中除所述当前已被占用资源之外的其他资源；
根据所述可用资源的数量，确定所述目标任务信息的拆分数量；
按照所述拆分数量对所述目标任务进行拆分，得到至少一个所述目标子任务信息。


4.根据权利要求2所述的方法，其特征在于，根据所述表征所述目标任务紧急程度的信息和所述当前资源利用率，确定所述SPARK集群中的可用资源的数量，包括：
根据所述表征所述目标任务紧急程度的信息，确定所述目标任务信息的资源需求率；
将所述资源需求率和所述当前资源利用率作差后与所述资源总量相乘，得到所述可用资源的数量。


5.根据权利要求3所述的方法，其特征在于，根据所述可用资源的数量，确定所述目标任务信息的拆分数量，包括：
获取所述SPARK集群中节点的数量，所述节点用于对所述目标子任务信息进行计算；
将所述可用资源的数量与所述节点的数量相除，得到所述拆分数量。


6.根据权利要求2所述的方法，其特征在于，在根据所述表征所述目标任务紧急程度的信息和所述当前资源利用率，确定所述SPARK集群中的可用资源...

【专利技术属性】
技术研发人员：张炎红，张宁博，
申请(专利权)人：智慧神州北京科技有限公司，
类型：发明
国别省市：北京;11