一种作业任务的调度方法和装置制造方法及图纸

本发明专利技术提供了一种作业任务的调度方法和装置，其中的方法具体包括：收集各计算节点的硬件资源信息；将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点；所述预设阈值用于表示计算节点的硬件资源出现故障的极限值。本发明专利技术能够提高计算机集群的吞吐率。

【技术实现步骤摘要】

本申请涉及计算机
，特别是涉及一种作业任务的调度方法和装置。
技术介绍
计算机集群是一种计算机系统，其通过多台计算机(又称为计算资源，诸如软件和/或硬件资源)连接起来协作完成计算作业。这些计算资源位于同一管理域中，其具有统一的管理策略并且作为一个整体向用户提供服务。Hadoop就是这样一个分布式系统的集群架构，可以实现高效率的并行计算和海量存储。计算机集群通过多台计算机完成同一作业，能够达到更高的效率。例如，在使用MapReduce (映射化简)模型进行大规模数据的并行计算时,对于一个MapReduce作业(即用户的一个计算请求)需要拆分成多个Map任务和Reduce任务分配到多个计算节点上执行；计算节点在集群系统中可以表示单台计算机。将计算机集群上的Map或Reduce任务等作业任务分配到多个计算节点上的过程可以称为作业任务的调度。目前Hadoop内置的调度器负责进行作业任务的调度。现有的调度器通常按照CPU计算核心的多少进行作业业务的调度，每个计算节点可以根据自己实际的CPU计算核心的个数配置作业任务个数，一次配好后，启动集群以后便不可修改。在进行调度的过程中，一旦某个计算节点上出现空闲的CPU计算核心，调度器便会分配一个作业任务给该节点。如果当前所有计算节点的所有计算核心都被作业任务占用了，则剩下的作业任务需要排队等待计算节点的分配。现有技术中调度器依据计算节点的CPU计算核心进行作业任务的调度，这样，在某些情况下，虽然计算节点上出现空闲的CPU计算核心，但是，当其上有大量的数据进行计算时，还是不可避免地出现内存溢出、网络阻塞或者直接宕机的现象。而在计算节点出现上述现象中任一的情况下，相应计算节点上的作业任务就会处理失败，而处理失败的作业任务需要调度器重新分配给其它计算节点进行处理，因此，此时计算机集群在单位时间内处理的数据量会受到影响，也即容易导致计算机集群的吞吐率降低。总之，需要本领域技术人员迫切解决的一个技术问题就是如何能够提高计算机集群的吞吐率。
技术实现思路
本申请所要解决的技术问题是提供一种作业任务的调度方法和装置，能够提高计算机集群的吞吐率。为了解决上述问题，本申请公开了一种作业任务的调度方法，包括收集各计算节点的硬件资源信息；将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点；所述预设阈值用于表示计算节点的硬件资源出现故障的极限值。优选的，所述硬件资源信息包括如下分项硬件资源信息中的一分项或多分项平均负载信息、CPU使用信息、内存使用信息、磁盘信息和网络带宽信息；所述磁盘信息进一步包括磁盘输入输入信息、每块磁盘使用信息和每个磁盘分区的使用信息中的一项或多项。优选的，所述硬件资源信息小于预设阈值包括各分项硬件资源信息分别小于对应的预设分项阈值；和/或，多分项硬件资源信息的平均值小于预设平均阈值。优选的，所述收集各计算节点的硬件资源信息的步骤，进一步包括收集作业任务的硬件资源信息，所述作业任务的硬件资源信息用于描述作业任务，执行作业业务的计算节点及相应的硬件资源信息的对应关系；对同一计算节点的作业任务的硬件资源信息进行聚集，得到计算节点的硬件资源信息。优选的，所述待分配作业任务为待分配映射Map任务；则所述将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点的步骤，进一步包括依据所述待分配Map任务对应输入文件和各计算节点的硬件资源信息，选取硬件资源信息小于预设阈值且存储有所述输入文件或者与所述输入文件的存储节点位于同一机架的计算节点；将所述待分配Map任务分配至选取的该计算节点。优选的，所述待分配作业任务为待分配化简Reduce任务；则所述将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点的步骤，进一步包括依据待分配Reduce任务对应Map任务和各计算节点的硬件资源信息,选取硬件资源信息小于预设阈值且与对应Map任务的计算节点位于同一机架的计算节点；将所述待分配Map任务分配至选取的该计算节点。另一方面，本申请还公开了一种作业任务的调度装置，包括收集模块，用于收集各计算节点的硬件资源信息；及调度模块，用于将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点；所述预设阈值用于表示计算节点的硬件资源出现故障的极限值。优选的，所述硬件资源信息包括如下分项硬件资源信息中的一分项或多分项平均负载信息、CPU使用信息、内存使用信息、磁盘信息和网络带宽信息；所述磁盘信息进一步包括磁盘输入输入信息、每块磁盘使用信息和每个磁盘分区的使用信息中的一项或多项。优选的，所述硬件资源信息小于预设阈值包括各分项硬件资源信息分别小于对应的预设分项阈值；和/或，多分项硬件资源信息的平均值小于预设平均阈值。优选的，所述收集模块进一步包括任务收集子模块，用于收集作业任务的硬件资源信息，所述作业任务的硬件资源信息用于描述作业任务，执行作业业务的计算节点及相应的硬件资源信息的对应关系；聚集子模块，用于对同一计算节点的作业任务的硬件资源信息进行聚集，得到计算节点的硬件资源信息。优选的，所述待分配作业任务为待分配映射Map任务；则所述收集模块进一步包括第一选取子模块，用于依据所述待分配Map任务对应输入文件和各计算节点的硬件资源信息，选取硬件资源信息小于预设阈值且存储有所述输入文件或者与所述输入文件的存储节点位于同一机架的计算节点；第一分配子模块，用于将所述待分配Map任务分配至选取的该计算节点。优选的，所述待分配作业任务为待分配化简Reduce任务；则所述收集模块进一步包括第二选取子模块,用于依据待分配Reduce任务对应Map任务和各计算节点的硬件资源信息，选取硬件资源信息小于预设阈值且与对应Map任务的计算节点位于同一机架的计算节点；第二分配子模块，用于将所述待分配Map任务分配至选取的该计算节点。与现有技术相比，本申请具有以下优点本申请实施例采用预设阈值表示计算节点的硬件资源出现故障的极限值，计算节点的硬件资源信息达到这个极限值就容易引发硬件资源故障，例如，在CPU使用过多引发网速过慢、磁盘读写过慢等硬件故障，内存使用过多引发的内存溢出，磁盘使用过频引发的磁盘读写错误，网络带宽使用过多引发的网络阻塞，或者，多个硬件资源故障引发的计算节点岩机等等。因此，本申请实施例收集各计算节点的硬件资源信息，并将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点；能够避免计算节点出现内存溢出、网络阻塞或者直接宕机等硬件故障现象；由于硬件故障现象的避免能够大大降低相应计算节点上作业任务处理失败的几率，也即能够使得相应计算节点上作业任务处理失败的几率微乎其微；因此，本申请能够提高计算机集群在单位时间内处理的数据量，也即能够提高计算机集群的吞吐率；其次，计算节点上硬件资源属于整个计算机集群，现有技术中调度器依据CPU计算核心进行作业任务的调度，在有些情况下，还会出现作业任务的计算占用了计算节点上的所有CPU计算核心，但是计算节点上硬件资源的使用率很低的现象，此种现象很容易导致单个计算节点上硬件资源的浪费以及计算机集群上各计算节点的资源浪费；而本申请实施例依据计算节点的硬件资源信息进行作业任务的调度，能够充分利用计算机集群上各计算节点的资源，避免计算机集群上的资源浪费；由于利用更多的资源去处理计算本文档来自技高网...

【技术保护点】
一种作业任务的调度方法，其特征在于，包括：收集各计算节点的硬件资源信息；将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点；所述预设阈值用于表示计算节点的硬件资源出现故障的极限值。

【技术特征摘要】
1.一种作业任务的调度方法，其特征在于，包括收集各计算节点的硬件资源信息；将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点；所述预设阈值用于表示计算节点的硬件资源出现故障的极限值。2.如权利要求1所述的方法，其特征在于，所述硬件资源信息包括如下分项硬件资源信息中的一分项或多分项平均负载信息、CPU使用信息、内存使用信息、磁盘信息和网络带宽信息；所述磁盘信息进一步包括磁盘输入输入信息、每块磁盘使用信息和每个磁盘分区的使用信息中的一项或多项。3.如权利要求2所述的方法，其特征在于，所述硬件资源信息小于预设阈值包括各分项硬件资源信息分别小于对应的预设分项阈值；和/或，多分项硬件资源信息的平均值小于预设平均阈值。4.如权利要求1所述的方法，其特征在于，所述收集各计算节点的硬件资源信息的步骤，进一步包括收集作业任务的硬件资源信息，所述作业任务的硬件资源信息用于描述作业任务，执行作业业务的计算节点及相应的硬件资源信息的对应关系；对同一计算节点的作业任务的硬件资源信息进行聚集，得到计算节点的硬件资源信肩、O5.如权利要求1述的方法，其特征在于，所述待分配作业任务为待分配映射Map任务; 则所述将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点的步骤，进一步包括依据所述待分配Map任务对应输入文件和各计算节点的硬件资源信息，选取硬件资源信息小于预设阈值且存储有所述输入文件或者与所述输入文件的存储节点位于同一机架的计算节点；将所述待分配Map任务分配至选取的该计算节点。6.如权利要求1所述的方法，其特征在于，所述待分配作业任务为待分配化简Reduce 任务；则所述将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点的步骤，进一步包括依据待分配Reduce任务对应Map任务和各计算节点的硬件资源信息，选取硬件资源信息小于预设阈值且与对应Map任务的计算节点位于同一机架的计算节点；将所述待分配Map任务分配至选取的该计算节点。7.—种作业任务的调...

【专利技术属性】
技术研发人员：高印会，罗峰，黄苏支，李娜，
申请(专利权)人：北京亿赞普网络技术有限公司，
类型：发明
国别省市：