【技术实现步骤摘要】
自适应任务调度方法、系统及包括该方法的检索方法
本申请涉及大数据处理领域，特别是涉及一种自适应任务调度方法、系统及包括该方法的检索方法。
技术介绍
随着各大数据中心、超算中心和互联网公司等机构设备的更新换代和高性能部件(如GPU等)的引入，集群中各节点逐步变得异构，计算节点在CPU、内存和IO等方面不同的性能导致它们的处理能力出现差异。因而各节点的综合计算能力出现较大的差异，整个集群处于资源不均衡的状态。由于集群中各节点的能力不同，相同任务分配到不同节点将对节点负载产生不同的影响。Spark默认的任务调度是spark任务调度器从注册的工作节点中随机选取部分节点；遍历所挑选的节点，将任务分配给本地化最高的任务执行节点。这一任务调度方法基于集群节点同构的理想化设计，并未考虑集群异构性及节点资源利用和负载变化的情况，因此无法解决资源异构模式下系统的节点计算任务分配的相对不均衡和系统总体计算能力受限和总体任务完成时间长和性能低的问题。为了改善了计算资源浪费的问题，在集群调度方面提出自适应任务调度方法，同时，在大数据时...
【技术保护点】
1.一种自适应任务调度方法，其特征在于，包括以下步骤：/n权值调整步骤，根据工作节点的资源利用情况和负载变化情况，每间隔一定周期，工作节点对其节点的权值进行调整；/n任务调度步骤，任务调度节点读取各个工作节点的权值情况，并对权值进行排序，根据所述权值的排序进行任务调度。/n
【技术特征摘要】
1.一种自适应任务调度方法，其特征在于，包括以下步骤：
权值调整步骤，根据工作节点的资源利用情况和负载变化情况，每间隔一定周期，工作节点对其节点的权值进行调整；
任务调度步骤，任务调度节点读取各个工作节点的权值情况，并对权值进行排序，根据所述权值的排序进行任务调度。
2.根据权利要求1所述的一种自适应任务调度方法，其特征在于，所述权值调整步骤具体包括：
参数预设步骤，预设节点能力统计指标值和周期计算值为零；
获取节点信息步骤，工作节点获取其节点的资源利用情况和负载变化情况，包括CPU利用率、内存利用率和单核平均队列长度；
分析节点信息步骤，通过设置每个参数的阈值，将各自对应的阈值分别与获取的CPU利用率、内存利用率和单核平均队列长度进行对比，若阈值均大于各参数，则提高节点能力统计指标值，反之，节点能力统计指标值不变；
动态调整步骤，判断周期计算值是否达到预设的节点权值调整周期，若达到，则根据节点能力统计指标调整权值大小，若没达到，则继续获取其工作节点信息。
3.根据权利要求2所述的一种自适应任务调度方法，其特征在于，所述动态调整步骤具体包括：
当周期计算值达到节点权值调整周期，比较此时的节点能力统计指标和强决定因子与节点权值调整周期乘积的向上取整值，
若节点能力统计指标值大于强决定因子与节点权值调整周期乘积的向上取整，节点的权值增加；
若节点能力统计指标值小于弱决定因子与节点权值调整周期乘积的向上取整，节点的权值降低。
4.根据权利要求3所述的一种自适应任务调度方法，其特征在于，所述任务调度步骤具体包括：
分析节点权值步骤，任务调度节点读取各工作节点的权值情况，并根据权值的大小进行快速排序；
选择节点执行调度步骤，选择排序在前的一定数量的工作节点，遍历所选择的工作节点，将本地化最高的工作节点分配给当前任务。
5.一种自适应任务调度系统，适用于权利要求1-4任意一项所述的一种自适应任务调度方法，其特征在于，包括节点监测模块、权值调整模块、权值读取模块和任务调度模块，其中：
节点监测模块，用于定期监测工作节点的资源利用情况和负载变化情况，并输出至权值调整模块；
权值调整模块，用于根据工作节点的资源情况和负载变化情况，对工作节点的权值进行调整，并输出至权值读取模块；
权值读取模块，用于接收工作节点的权值，并按照大小进行排序，将排序输出至任务调度模...
【专利技术属性】
技术研发人员：汪月，刘建辉，乔智，孙军锋，李亚飞，
申请(专利权)人：北京明略昭辉科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。