【技术实现步骤摘要】
本申请涉及计算机
，特别是涉及一种作业任务的调度方法和装置。
技术介绍
计算机集群是一种计算机系统，其通过多台计算机(又称为计算资源，诸如软件和/或硬件资源)连接起来协作完成计算作业。这些计算资源位于同一管理域中，其具有统一的管理策略并且作为一个整体向用户提供服务。Hadoop就是这样一个分布式系统的集群架构，可以实现高效率的并行计算和海量存储。计算机集群通过多台计算机完成同一作业，能够达到更高的效率。例如，在使用MapReduce (映射化简)模型进行大规模数据的并行计算时,对于一个MapReduce作业(即用户的一个计算请求)需要拆分成多个Map任务和Reduce任务分配到多个计算节点上执行；计算节点在集群系统中可以表示单台计算机。将计算机集群上的Map或Reduce任务等作业任务分配到多个计算节点上的过程可以称为作业任务的调度。目前Hadoop内置的调度器负责进行作业任务的调度。现有的调度器通常按照CPU计算核心的多少进行作业业务的调度，每个计算节点可以根据自己实际的CPU计算核心的个数配置作业任务个数，一次配好后，启动集群以后便不可修改。在进行调度...
【技术保护点】
一种作业任务的调度方法，其特征在于，包括：收集各计算节点的硬件资源信息；将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点；所述预设阈值用于表示计算节点的硬件资源出现故障的极限值。
【技术特征摘要】
1.一种作业任务的调度方法，其特征在于，包括收集各计算节点的硬件资源信息；将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点；所述预设阈值用于表示计算节点的硬件资源出现故障的极限值。2.如权利要求1所述的方法，其特征在于，所述硬件资源信息包括如下分项硬件资源信息中的一分项或多分项平均负载信息、CPU使用信息、内存使用信息、磁盘信息和网络带宽信息；所述磁盘信息进一步包括磁盘输入输入信息、每块磁盘使用信息和每个磁盘分区的使用信息中的一项或多项。3.如权利要求2所述的方法，其特征在于，所述硬件资源信息小于预设阈值包括各分项硬件资源信息分别小于对应的预设分项阈值；和/或，多分项硬件资源信息的平均值小于预设平均阈值。4.如权利要求1所述的方法，其特征在于，所述收集各计算节点的硬件资源信息的步骤，进一步包括收集作业任务的硬件资源信息，所述作业任务的硬件资源信息用于描述作业任务，执行作业业务的计算节点及相应的硬件资源信息的对应关系；对同一计算节点的作业任务的硬件资源信息进行聚集，得到计算节点的硬件资源信肩、O5.如权利要求1述的方法，其特征在于，所述待分配作业任务为待分配映射Map任务; 则所述将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点的步骤，进一步包括依据所述待分配Map任务对应输入文件和各计算节点的硬件资源信息，选取硬件资源信息小于预设阈值且存储有所述输入文件或者与所述输入文件的存储节点位于同一机架的计算节点；将所述待分配Map任务分配至选取的该计算节点。6.如权利要求1所述的方法，其特征在于，所述待分配作业任务为待分配化简Reduce 任务；则所述将待分配作业任务调度至硬件资源信息小于预设阈值的计算节点的步骤，进一步包括依据待分配Reduce任务对应Map任务和各计算节点的硬件资源信息，选取硬件资源信息小于预设阈值且与对应Map任务的计算节点位于同一机架的计算节点；将所述待分配Map任务分配至选取的该计算节点。7.—种作业任务的调...
【专利技术属性】
技术研发人员：高印会，罗峰，黄苏支，李娜，
申请(专利权)人：北京亿赞普网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。