一种大数据平台中的任务调度方法、装置、设备及介质制造方法及图纸

本发明专利技术属于大数据技术领域，具体涉及一种大数据平台中的任务调度方法、装置、设备及介质。本发明专利技术的任务调度方法先计算了工作节点的资源使用率均值集合及节点性能权值，然后根据资源使用率均值集合和节点性能权值计算工作节点的性能分数，筛选出评分最高的节点，并将任务调度至该节点上。综合考虑节点的CPU使用率、内存使用率、网卡发送带宽利用率和网卡接收带宽利用率，并考虑这些资源使用率的碎片率和任务的数据亲和性，保证整个大数据平台任务调度的高效运行。避免了作业在节点之间的分配和调度不合理，造成整个大数据平台的性能下降的问题。的问题。的问题。

【技术实现步骤摘要】
一种大数据平台中的任务调度方法、装置、设备及介质


[0001]本专利技术属于大数据
，具体涉及一种大数据平台中的任务调度方法、装置、设备及介质。

技术介绍

[0002]随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，来自全世界各个方面的数据量急速膨胀，计算机需要计算处理的大数据任务越来越多。如果大数据平台能够将大数据任务合理的分配给所有可用的工作节点进行处理，那么大数据平台的运行和数据处理效率将会大大提升。任务调度系统是大数据开发平台的核心组件之一，其关注的重点之一包括底层物理资源的分配管理，目标是最大化地利用集群机器的CPU、磁盘、网络等硬件资源。如何将大数据任务合理地分配给工作节点，这是任务调度系统需要解决的问题。如果任务分配不均，或者工作节点异构，这会导致某些区域的工作节点负载过高，造成整个大数据平台的性能下降。
[0003]现有的大数据平台的任务调度策略，如Hadoop，其任务调度策略默认为两种：先进先出调度策略和公平共享模式调度策略。先进先出任务调度策略：每一个作业被切分成多个任务，第一个作业优先获取所有可用资源，接下来第二个作业在获取剩余可用资源。公平调度策略主要由公平调度器负责，设计目标是为所有的应用分配公平的资源，通过参数来设置使用公平调度。现有的大数据平台的任务调度策略，再如Spark，Spark任务依然采用Hadoop默认先进先出策略和公平调度策略，但Spark调度策略考虑任务间的依赖。
[0004]上述这些方法的优点在于易于实现和应用，但没有考虑到节点异构的情况，也没有考虑节点可用资源的余量，导致作业在节点之间的分配和调度不合理，造成整个大数据平台的性能下降。

技术实现思路

[0005]针对上述
技术介绍
中作业在节点之间的分配和调度不合理，造成整个大数据平台的性能下降的问题，本专利技术提出了一种大数据平台中的任务调度方法、装置、设备及介质。综合考虑了被调度节点的CPU使用率、内存使用率、网卡发送带宽利用率和网卡接收带宽利用率，既可以降低工作节点对网络带宽的依赖，又能提高节点资源的利用率，从而增强大数据平台的运行效率。
[0006]为了实现上述目的，本专利技术采用如下技术方案：本专利技术的第一方面，提供了一种大数据平台中的任务调度方法，包括如下步骤：获取当前所有可用的工作节点；对于每一个可用的所述工作节点，计算其资源使用率均值集合；根据所述资源使用率均值集合确定所述工作节点的节点性能权值；根据所述资源使用率均值集合计算所述工作节点的节点性能指标平均值；根据所述资源使用率均值集合及所述节点性能指标平均值计算所述工作节点的
节点性能碎片率；根据所述节点性能碎片率、所述资源使用率均值集合和所述节点性能权值计算所述工作节点的性能分数；获取当前所有可用的工作节点的性能分数；将任务调度至性能分数最高的工作节点。
[0007]进一步的，所述对于每一个可用的所述工作节点，计算其资源使用率均值集合的步骤中，所述资源使用率均值集合包括CPU使用率均值、内存使用率均值、网卡发送带宽利用率均值和网卡接收带宽利用率均值。
[0008]进一步的，所述根据所述资源使用率均值集合确定所述工作节点的节点性能权值的步骤中，依据下式确定所述工作节点的节点性能权值：其中，W
A
为工作节点的节点性能权值，m
C
为CPU使用率均值，m
M
为内存使用率均值，m
T
为网卡发送带宽使用率均值，m
R
为网卡接收带宽使用率均值。
[0009]进一步的，所述根据所述资源使用率均值集合计算所述工作节点的节点性能指标平均值的步骤中，按照下式计算所述工作节点的节点性能指标平均值：其中，m为工作节点的节点性能指标平均值。
[0010]进一步的，所述根据所述资源使用率均值集合及所述节点性能指标平均值计算所述工作节点的节点性能碎片率的步骤中，按照下式计算所述工作节点的节点性能碎片率：其中，F为工作节点的节点性能碎片率。
[0011]进一步的，根据所述节点性能碎片率、所述资源使用率均值集合和所述节点性能权值计算所述工作节点的性能分数的步骤中，按照下式计算工作节点的性能分数：其中，S为工作节点的性能分数，E为工作节点与数据节点的位置关系，数据节点为任务依赖数据所在节点，W
A
为节点性能权值，W
C
为CPU权值，W
N
为内存权值，W
T
为网络发送带宽权值，W
R
为网络接收带宽权值。
[0012]进一步的，所述工作节点与数据节点的位置关系的数值按照以下规则依次进行判断：若工作节点与数据节点相同，则所述工作节点与数据节点的位置关系E=4；若工作节点与数据节点属于同一局域网段，则所述工作节点与数据节点的位置关系E=2；获取工作节点W所属数据中心的全部局域网段CIDRs，将数据节点W
D
的IP地址与全部局域网段CIDRs中的网段依次进行匹配，若数据节点W
D
的IP地址属于CIDRs其中的一个网段，则工作节点W与数据节点W
D
位于同一数据中心，工作节点W与数据节点W
D
的位置关系E=1；
如果上述条件均未满足，则所述工作节点与数据节点的位置关系E=0.3。
[0013]本专利技术的第二方面，提供了一种大数据平台中的任务调度装置，包括：第一获取模块，用于获取当前所有可用的工作节点；第一计算模块，用于对于每一个可用的所述工作节点，计算其资源使用率均值集合；第二计算模块，用于根据所述资源使用率均值集合确定所述工作节点的节点性能权值；第三计算模块，用于根据所述资源使用率均值集合计算所述工作节点的节点性能指标平均值；第四计算模块，用于根据所述资源使用率均值集合及所述节点性能指标平均值计算所述工作节点的节点性能碎片率；第五计算模块，用于根据所述节点性能碎片率、所述资源使用率均值集合和所述节点性能权值计算所述工作节点的性能分数；第二获取模块，用于获取当前所有可用的工作节点的性能分数；调度模块，用于将任务调度至性能分数最高的工作节点。
[0014]本专利技术的第三方面，提供了一种电子设备，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现上述的大数据平台中的任务调度方法。
[0015]本专利技术的第四方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现上述的大数据平台中的任务调度方法。
[0016]与现有技术相比较，本专利技术的有益效果如下：本专利技术提供的任务调度方法，先计算了工作节点的资源使用率均值集合及节点性能权值，然后根据资源使用率均值集合及节点性能指标平均值计算节点性能碎片率，最后根据节点性能碎片率、资源使用率均值集合和节点性能权值计算工作节点的性能分数，筛选出评分最高的节点，并将任务调度至该节点上。综合考虑节点的CPU使用率、内存使用率、网卡发送带宽利用率和网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据平台中的任务调度方法，其特征在于，包括如下步骤：获取当前所有可用的工作节点；对于每一个可用的所述工作节点，计算其资源使用率均值集合；根据所述资源使用率均值集合确定所述工作节点的节点性能权值；根据所述资源使用率均值集合计算所述工作节点的节点性能指标平均值；根据所述资源使用率均值集合及所述节点性能指标平均值计算所述工作节点的节点性能碎片率；根据所述节点性能碎片率、所述资源使用率均值集合和所述节点性能权值计算所述工作节点的性能分数；获取当前所有可用的工作节点的性能分数；将任务调度至性能分数最高的工作节点。2.根据权利要求1所述的大数据平台中的任务调度方法，其特征在于，所述对于每一个可用的所述工作节点，计算其资源使用率均值集合的步骤中，所述资源使用率均值集合包括CPU使用率均值、内存使用率均值、网卡发送带宽利用率均值和网卡接收带宽利用率均值。3.根据权利要求2所述的大数据平台中的任务调度方法，其特征在于，所述根据所述资源使用率均值集合确定所述工作节点的节点性能权值的步骤中，依据下式确定所述工作节点的节点性能权值：其中，W
A
为工作节点的节点性能权值，m
C
为CPU使用率均值，m
M
为内存使用率均值，m
T
为网卡发送带宽使用率均值，m
R
为网卡接收带宽使用率均值。4.根据权利要求3所述的大数据平台中的任务调度方法，其特征在于，所述根据所述资源使用率均值集合计算所述工作节点的节点性能指标平均值的步骤中，按照下式计算所述工作节点的节点性能指标平均值：其中，m为工作节点的节点性能指标平均值。5.根据权利要求4所述的大数据平台中的任务调度方法，其特征在于，所述根据所述资源使用率均值集合及所述节点性能指标平均值计算所述工作节点的节点性能碎片率的步骤中，按照下式计算所述工作节点的节点性能碎片率：其中，F为工作节点的节点性能碎片率。6.根据权利要求5所述的大数据平台中的任务调度方法，其特征在于，根据所述节点性能碎片率、所述资源使用率均值集合和所述节点性能权值计算所述工作节点的性能分数的步骤中，按照下式计算工作节点的性能分数：
其中，S为工作节点的性能分数，E为工作节点与数据节点的位置关系，数据节点为任务依赖数...

【专利技术属性】
技术研发人员：李小翔，王世军，舒安杰，宋彦良，孙英，潘东阳，冯帆，韦玮，杨永前，邸智，付雄，孙可欣，石英钰，
申请(专利权)人：华能置业有限公司，
类型：发明
国别省市：