【技术实现步骤摘要】
一种基于节点标签的大数据集群任务调度方法及系统
本专利技术涉及计算机
，尤指一种基于节点标签的大数据集群任务调度方法及系统。
技术介绍
目前，在大数据集群任务运行过程中，可能会出现多种原因影响大数据任务性能和稳定性，例如，1、当出现Hadoop集群的磁盘空间不足，大数据的任务调度到这台主机，由于任务的中间结果会写磁盘，将会由于磁盘IO异常导致任务失败，任务虽然有重试机制调度到其他节点运行，但是重试机制非常耗时。2、如果出现主机的网口接触问题或者网线头部分故障，导致网口的网速从千兆下降为10M，由于大数据集群的任务的网络吞吐量较高，当大数据任务调度到此节点，拉取数据用于计算将会消耗非常长的时间甚至可能超时导致任务失败。3、由于操作系统的设置可能对大数据任务造成影响，如swap交换内存、操作系统大页等设置不合理，可能会导致任务运行缓慢。综上来看，集群中主机的故障，硬件或软件故障，均需要人工干预，耗时长。在故障修复期间，大数据的任务可能还会调度到问题节点，影响大数据任务运行的效率和稳定性。因此，亟需一种可以避...
【技术保护点】
1.一种基于节点标签的大数据集群任务调度方法，其特征在于，该方法包括：/n对大数据集群的主机节点配置节点标签；/n将所述节点标签与任务队列进行关联；/n定期采集所述节点标签对应的主机信息；/n根据所述主机信息变更节点标签的状态；其中，/n当根据所述主机信息发现问题主机时，将所述问题主机对应的节点标签变更为非健康节点标签；/n当根据所述主机信息发现非健康节点标签对应的主机已恢复正常时，将对应的非健康节点标签变更为正常主机节点标签；/n在接收到大数据任务时，调度大数据任务在配置的任务队列上运行；如果所述大数据任务配置的任务队列中包含非健康节点标签，在任务队列上运行的过程中，不将...
【技术特征摘要】
1.一种基于节点标签的大数据集群任务调度方法，其特征在于，该方法包括：
对大数据集群的主机节点配置节点标签；
将所述节点标签与任务队列进行关联；
定期采集所述节点标签对应的主机信息；
根据所述主机信息变更节点标签的状态；其中，
当根据所述主机信息发现问题主机时，将所述问题主机对应的节点标签变更为非健康节点标签；
当根据所述主机信息发现非健康节点标签对应的主机已恢复正常时，将对应的非健康节点标签变更为正常主机节点标签；
在接收到大数据任务时，调度大数据任务在配置的任务队列上运行；如果所述大数据任务配置的任务队列中包含非健康节点标签，在任务队列上运行的过程中，不将大数据任务调度到所述非健康节点标签对应的主机节点上运行。
2.根据权利要求1所述的基于节点标签的大数据集群任务调度方法，其特征在于，对大数据集群的主机节点配置节点标签，包括：
对每一大数据集群的主机节点配置一个相应的节点标签。
3.根据权利要求1所述的基于节点标签的大数据集群任务调度方法，其特征在于，定期采集所述节点标签对应的主机信息，包括：
利用在主机节点部署的采集程序、使用SSH远程采集和/或使用Hadoop发行版自带的API接口，定期轮询所述节点标签对应的主机，采集主机信息。
4.根据权利要求3所述的基于节点标签的大数据集群任务调度方法，其特征在于，采集的主机信息包括：主机名、主机IP、主机磁盘信息、主机网卡信息、主机操作系统配置信息及任务运行时的其他相关信息。
5.根据权利要求4所述的基于节点标签的大数据集群任务调度方法，其特征在于，根据所述主机信息变更主机的状态，包括：
根据主机磁盘信息，判断磁盘的剩余空间是否超过预设的剩余空间阈值，如果超过，判定对应的主机为问题主机，将问题主机的节点标签变更为非健康节点标签，并记录所述主机名、主机IP、主机状态及故障原因；
判断磁盘是否有坏道或磁盘损坏，如果有，判定对应的主机为问题主机，将问题主机的节点标签变更为非健康节点标签，并记录所述主机名、主机IP、主机状态及故障原因。
6.根据权利要求4所述的基于节点标签的大数据集群任务调度方法，其特征在于，根据所述主机信息变更主机的状态，包括：
根据主机网卡信息，将主机的额定网卡带宽和监测的带宽对比，如果不一致，判定对应的主机为问题主机，将问题主机的节点标签变更为非健康节点标签，并记录所述主机名、主机IP、主机状态及故障原因。
7.根据权利要求4所述的基于节点标签的大数据集群任务调度方法，其特征在于，根据所述主机信息变更主机的状态，包括：
根据主机操作系统配置信息，判断swap...
【专利技术属性】
技术研发人员：周朝卫，
申请(专利权)人：中盈优创资讯科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。