一种异构Spark集群的节点优先级调优方法技术

本发明专利技术涉及一种异构Spark集群的节点优先级调优方法，本发明专利技术在建立节点优先级评价指标体系的基础上，使用层次分析法确定各个性能评价指标的初始权重，进一步使用BP神经网络对初始权重进行优化，生成优化的节点优先级。本发明专利技术提出的节点优先级调优方法能够提高Spark系统的运行效率，缩短作业执行时间。相比Spark的默认调度算法和使用初始节点优先级的Spark任务调度算法SDASA，本发明专利技术提出的算法能够有效提高集群系统的性能。相对于上述两种算法，当执行不同数据量的同种任务时，使用优化的节点优先级集群性能平均提升10.74％和5.96％；当执行不同种任务时，使用优化的节点优先级集群性能平均提升12.03％和6.05％。

【技术实现步骤摘要】
一种异构Spark集群的节点优先级调优方法
本专利技术涉及大数据处理领域，尤其涉及一种异构Spark集群的节点优先级调优方法。
技术介绍
随着硬件的更迭及高性能硬件的引入，集群中各个节点的性能差距不断加大，集群的异构性日渐凸显。通常需要根据节点的性能进行集群资源调度和任务调度以提高集群运行效率。而根据节点的各种性能参数为其设置不同的优先级是评价节点性能的有效手段。节点的优先级通常是通过建立相应的评价指标体系计算得出，指标体系中各个指标的权重在节点优先级计算中起到了至关重要的作用。经实验验证，通过调节节点评价指标的权重而引起节点优先级的变化时，集群执行同一作业所用的时间最大相差25.85％，最小也有15.84％的差别。因此研究如何优化节点性能评价指标体系的权重，从而得到合理的集群节点的优先级很有必要。传统的权重计算方法一般存在较大的误差和较强的主观性，确定的权重不能满足实际需要。对于影响节点优先级的各指标的评价是一个繁杂的非线性工程，需要建立权重的学习机制。
技术实现思路
本专利技术为克服上述的不足之处，目的在于提供一本文档来自技高网...

【技术保护点】
1.一种异构Spark集群的节点优先级调优方法，其特征在于，包括如下步骤：/n(1)分析影响节点性能的静态指标和动态指标，使用层次分析法建立节点优先级评价指标体系，并计算出各指标的初始权重；/n(2)在集群中部署分布式集群资源监控系统Ganglia，实时采集节点的评价指标值；/n(3)对采集得到的节点的评价指标值进行归一化处理，并将各指标归一化后的数据作为神经网络训练样本的输入；/n(4)使用初始权重和归一化后的节点数据计算出节点对应的优先级，将此优先级作为神经网络训练样本的输出；/n(5)建立三层BP神经网络模型；/n(6)基于训练样本进行BP神经网络训练，得到权重矩阵；/n(7)对权重矩阵...

【技术特征摘要】
1.一种异构Spark集群的节点优先级调优方法，其特征在于，包括如下步骤：
(1)分析影响节点性能的静态指标和动态指标，使用层次分析法建立节点优先级评价指标体系，并计算出各指标的初始权重；
(2)在集群中部署分布式集群资源监控系统Ganglia，实时采集节点的评价指标值；
(3)对采集得到的节点的评价指标值进行归一化处理，并将各指标归一化后的数据作为神经网络训练样本的输入；
(4)使用初始权重和归一化后的节点数据计算出节点对应的优先级，将此优先级作为神经网络训练样本的输出；
(5)建立三层BP神经网络模型；
(6)基于训练样本进行BP神经网络训练，得到权重矩阵；
(7)对权重矩阵进行分析处理，得到评价指标体系中各个指标的优化权重。


2.根据权利要求1所述的一种异构Spark集群的节点优先级调优方法，其特征在于：所述步骤(1)具体如下：
(1.1)通过分析得到影响节点性能的静态指标，其中静态指标包括节点的CPU速度、CPU核数、内存大小和磁盘容量；
(1.2)通过分析得到影响节点性能的动态指标，其中动态指标包括节点的CPU剩余率、内存剩余率、磁盘容量剩余率以及CPU负载；
(1.3)基于步骤(1.1)和(1.2)的分析结果建立节点优先级评价指标体系，并对各指标的重要性进行评估；
(1.4)采用层次分析法得到各评价指标的权重。


3.根据权利要求1所述的一种异构Spark集群的节点优先级调优方法，其特征在于：所述步骤(2)具体如下：
(2.1)使用Ganglia集群资源监控系统获取各节点的静态指标值，具体包括CPU速度、CPU核数、内存大小和磁盘容量；
(2.2)使用Ganglia集群资源监控系统获取各节点的动态指标值，具体包括CPU剩余率、内存剩余率、磁盘容量剩余率以及CPU负载。


4.根据权利要求1所述的一种异构Spark集群的节点优先级调优方法，其特征在于：所述步骤(3)具体为：对于每一个评价指标，取其各次采集数值的最大值maxA和最小值minA，采用如下公式进行归一化处理：



其中，x是通过Ganglia采集的原始指标值，xnormal是x归一化后的数值。


5...

【专利技术属性】
技术研发人员：胡亚红，邱圆圆，毛家发，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33