基于时序分割与模型混合并行优化的网格负载均衡调度方法技术

一种基于时序分割与模型混合并行优化的网格负载均衡调度方法，包括以下步骤：S100：将历史数据分割为不同的数据块，将分割后的数据块分给不同处理器；S200:对每个单一处理器，使用并行化的二位长短期记忆网络细胞训练；S300：收集不同处理器计算得出的误差值，得出平均值，更新上一时刻的细胞内矩阵；S400：进行迭代训练，以获得可预测网格内各计算节点工作量的二维长短期记忆网络；S500：使用获得的二维长短期记忆网络，并行预测各个子节点的工作量；S600:按照最小的工作量匹配最小负载的原则，确定计算节点与作业的二元组并完成调度。本发明专利技术对于提升提高网格服务质量、加快任务请求的处理速度、保证良好的用户体验、更好的实现负载均衡具有重要意义。现负载均衡具有重要意义。现负载均衡具有重要意义。

【技术实现步骤摘要】
基于时序分割与模型混合并行优化的网格负载均衡调度方法


[0001]本专利技术属于计算机软件以及大规模计算网格的任务调度
涉及一种基于时序分割与模型混合并行优化的网格负载均衡调度方法。

技术介绍

[0002]网格计算作为分布式计算的一种，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分划分给许多计算机、处理器进行处理，最后把这些计算结果综合起来得到最终结果。随着互联网的飞速发展，网格计算已成为一种处理计算密集型问题常用的计算模式。大规模计算网格使用互联网将分散在不同地理位置的计算资源组织成一台虚拟的超级计算机。当高科技领域或尖端技术研究面临大规模计算问题时，这台虚拟超级计算机可以为其提供所需的计算速度和存储容量。近年来，网格计算广泛应用于基因组学、分子动力学、量子化学、以及其他科学研究领域。
[0003]作为大规模计算网格高性能、高可用性、低成本、避免单点故障的关键，任务调度受到了网格研究人员的广泛关注。而高效的任务调度对大规模分布式异构计算网格的运行效率至关重要。好的调度方法应具有高效率，低时延的特性。在专利技术人早期专利申请CNCN201910442178.4中，专利技术人提出了一种基于二维长短期记忆神经网络的大规模计算网格子节点工作量预测模型，如图1所示，在该申请中一次性将所有数据读入内存、总的时刻和日期的状态值呈现这种网状结构。缺点在于，当数据量大时内存无法读入，且传导值影响不大时，这种做法会使得对于后续迭代训练状态值获取慢，进而整体迭代速度变慢；进一步的，在CNCN201910442178.4中专利技术人结合该模型生成面向负载均衡的调度算法。如图2所示，然而庞大的训练数据量、复杂的模型结构、不同计算节点独特的时间特性，使得在实际调度中该算法的执行效率并不高。

技术实现思路

[0004]本专利技术所要解决的技术问题是，克服现有技术存在的上述缺陷，提供一种基于时序分割与模型混合并行优化的网格负载均衡调度方法。
[0005]一种基于时序分割与模型混合并行优化的网格负载均衡调度方法，包括以下步骤：S100：将历史数据分割为不同的数据块，将分割后的数据块分给不同处理器；S200:对每个单一处理器，使用并行化的二位长短期记忆网络细胞训练；S300：收集不同处理器计算得出的误差值，得出平均值，更新上一时刻的细胞内矩阵；S400：进行迭代训练，以获得可预测网格内各计算节点工作量的二维长短期记忆网络；S500：使用获得的二维长短期记忆网络，根据各计算节点的频率，并行预测各个子节点的工作量；S600:按照最小的工作量匹配最小负载的原则，确定计算节点与作业的二元组并完成调度。
[0006]进一步的，所述步骤S100包括：S101:确定日期方向上的训练块长为D+1，日期方向上需要当前时间点之前D天的按顺序排列的负载，D+1用于生成初始状态值；S102：确定时间方向上的训练块长为T+2，时间方向上需要当前时间点之前T小时的按顺序排列的负载，T+2
用于生成初始状态值；S103:将数据分割为(T+2)*(D+1)
‑
2的数据块。所述步骤S200包括：确定单个处理机的处理数据量以及组合方式，子节点二维长短期记忆网络细胞结构中任意参数的训练通式如式(1)所示，其中，W为二维长短期记忆网络细胞结构中任意参数、α为学习率、ΔW为损失函数对于任意参数W的偏导、上标表示时刻、下标坐标表示矩阵位置；
[0007][0008](1)式中ΔW运算方式如下所示。其中，LOSS表示损失函数，f表示任意函数，n为数据总量；
[0009][0010]将(2)式分为k段：
[0011][0012]将(3)式抽象如下所示。其中，l表示单个处理器的数据集，k为处理器数量；
[0013][0014]取原(2)式转化为：
[0015][0016]此时损失计算方式转化为每个处理器处理m份的数据，其每个处理器数据量为组合方式为每个处理器运算结果之和的平均值。
[0017]可选的，所述步骤S300包括：对于ΔW的得出以二维长短期记忆网络的遗忘门矩阵为例，其矩阵内单个值的偏导数计算方式为：
[0018][0019]步骤S500包括：S501：收集调度间隔内的作业集JS与计算节点集NS，不同计算节点计算频率不同，对频率作归一化处理；初始化网格计算节点的属性，具体包括：最小CPU核数限制
‑
MinCL(NS
j
)、最大CPU核数限制
‑
MaxCL(NS
j
)、可用核数ACN(NS
j
)、运行时间限制WTL(NS
j
)、部署应用软件集合AV(NS
j
)。初始化作业集合的属性具体包括：所需核数
‑
CN(JS
i
)、预计运行最大时间
‑
WT(JS
i
)、所需软件APP(JS
i
)；S502：使用并行化的二维长短期记忆网络细胞结构对于各节点的ACN(NS
j
)进行预测。所述步骤S502包括：将每个节点的之前T个时刻，D个日期按顺序输向量，可表示为下(7)公式：其中NWV
j
表示输入负载向量，NW
j
表示对应时刻的负载。ACN(NS
j
)的计算方式如(8)式，此时，已经预测了各个计算节点在未来时刻的可用核数，将据此对网格资源进行进一步的合理分配；
[0020][0021][0022]优选的，所述步骤S600包括：S601：按照最小的工作量的作业匹配最小负载的计算节点的原则，得到计算节点与作业的二元组，作业能够与计算节点匹配的条件如下所示；
[0023][0024]S602：将节点与作业的二元组(JS
i
，NS
i
)完成调度，将对应的作业部署到计算节点，更新作业计算节点集与作业集；S603：判断作业集合是否为空，如果不为空则反复执行步骤S601，步骤S602。
[0025]本专利技术提供了一种基于时序分割与模型混合并行优化的网格负载均衡调度方法，对于提升提高网格服务质量、加快任务请求的处理速度、保证良好的用户体验、更好的实现负载均衡具有重要意义。
[0026]本专利技术针对大规模计算网格下的作业与计算节点之间约束依赖关系、计算子节点工作量的不均衡、以及现存任务调度策略执行效率低下，提出了一种基于时序分割与模型混合并行优化的网格负载均衡调度方法。采用该方法能够有效提升调度效率、实现节点间负载均衡、提升提高网格服务质量，加快任务请求的处理速度，保证良好的用户体验具有较好效果。实验结果证明该方法在均衡化负载效果，执行效率方面明显优于传统的Min
‑
Min调度方法及现有调度方法。
[0027]通过模拟中科院调度中心进行调度模拟，取用时间间隔为600秒，计算节点数为46，在使用CUDA进行并行优化二维长短期记忆网络的训练与运行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时序分割与模型混合并行优化的网格负载均衡调度方法，其特张在于，包括以下步骤：S100：将历史数据分割为不同的数据块，将分割后的数据块分给不同处理器；S200:对每个单一处理器，使用并行化的二位长短期记忆网络细胞训练；S300：收集不同处理器计算得出的误差值，得出平均值，更新上一时刻的细胞内矩阵；S400：进行迭代训练，以获得可预测网格内各计算节点工作量的二维长短期记忆网络；S500：使用获得的二维长短期记忆网络，根据各计算节点的频率，并行预测各个子节点的工作量；S600:按照最小的工作量匹配最小负载的原则，确定计算节点与作业的二元组并完成调度。2.根据权利要求1所述的基于时序分割与模型混合并行优化的网格负载均衡调度方法，其特征在于，所述步骤S100包括：S101:确定日期方向上的训练块长为D+1，日期方向上需要当前时间点之前D天的按顺序排列的负载，D+1用于生成初始状态值；S102：确定时间方向上的训练块长为T+2，时间方向上需要当前时间点之前T小时的按顺序排列的负载，T+2用于生成初始状态值；S103:将数据分割为(T+2)*(D+1)
‑
2的数据块。3.根据权利要求2所述的基于时序分割与模型混合并行优化的网格负载均衡调度方法，其特征在于，所述步骤S200包括：确定单个处理机的处理数据量以及组合方式，子节点二维长短期记忆网络细胞结构中任意参数的训练通式如式(1)所示，其中，W为二维长短期记忆网络细胞结构中任意参数、α为学习率、ΔW为损失函数对于任意参数W的偏导、上标表示时刻、下标坐标表示矩阵位置；(1)式中ΔW运算方式如下所示。其中，LOSS表示损失函数，f表示任意函数，n为数据总量；将(2)式分为k段：将(3)式抽象如下所示。其中，l表示单个处理器的数据集，k为处理器数量；取原(2)式转化为：
此时损失计算方式转化为每个处理器处理m份的数据，其每个处理器数据量为组合方式为每个处理器运算结果之和的平均值。4.根据权利要求3所述的基于时序分割与模型混合并行优化的网格负载均衡调度方法，其特征在于，所述步骤S300包括：对于ΔW的得出以二维长短期记忆网络的遗忘门矩阵为例，其矩阵内单个值的偏导数计算方式为：5.根据权利要求4所述的基于时序分割与模型混合并行优化的网格负载均衡调度方法，其特征在于，所述步骤S400包括：采用并行方式嵌套进行训练。6.根据权利要求5所述的基于时序分割与模型混合并行优化的网格负载均衡调度方法，其特征在于，所述步骤S50...

【专利技术属性】
技术研发人员：唐小勇，刘艺，邓锬，黄浩炜，刘文正，吴志强，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：