集群系统及其全局时序型服务资源需求评估与调整方法技术方案

本发明专利技术提供一种集群系统及其全局时序型服务资源需求评估与调整方法，通过持续跟踪监测所到来的负载，从系统层次捕获负载的差异性特征保存为特征向量，依时间顺序为之建立特征向量序列，并利用历史关于特征序列与其真实需求的数据，以循环神经网络为载体，利用训练集S

【技术实现步骤摘要】
集群系统及其全局时序型服务资源需求评估与调整方法


[0001]本专利技术涉及计算机系统结构领域，具体涉及一种集群系统及其全局时序型服务资源需求评估与调整方法。

技术介绍

[0002]集群广泛用于数据中心、云计算等各类服务系统的构建。对集群服务资源量需求的感知，可有效帮助提升系统的服务质量与能效水平。传统方法在对服务资源进行调整时，主要关注于当前负载状况，这会带来两方面的不足：一是忽略了负载在调整期间可能变化而带来的需求改变，使得服务资源在调整后可能又面临着新的不同需求；二是忽视了先前遗留负载对最终需求的影响，由于先前遗留负载仍有服务需求且与当前负载状况无直接关联，故而感知或评估实际资源需求时会产生偏差。在大量的应用场景下，很多硬件无法做到快速而无额外开销的即时调整，对实际需求的感知偏差会带来很大的负面影响：某次调整不当继而再一次或再多次调整所需的时间和能耗开销对系统性能与能效有着严重损害。
[0003]因此，基于全局负载与资源需求状况对最终实际服务资源需求做出准确感知，对提升集群性能与能效有着重要意义。传统方法关注于当前负载状况而存在的两方面不足，是因为调整后的服务资源的实际服务目标是后续还未到来的负载以及先前的遗留负载，具体包含两个问题：首先，还未到来的特别是有一定时间跨度后的后续负载，其状态及需求情况往往难以被预知；其次，先前未完成的遗留负载依然对资源有着需求，这些留存需求叠加至当前负载需求下，使得最终需求难以评估。这两方面不足均会导致服务资源与需求不匹配的问题，造成系统服务质量下降或能效水平降低。要克服这些问题：一是需要从时间顺序上进行错位的前瞻/预测性的评估，即基于历史负载状况评估还未到来负载的服务资源需求；二是需要持续考虑前期负载对后续资源需求的遗留影响。

技术实现思路

[0004]针对以上提出的关于集群服务资源需求感知的问题，本专利技术基于全局时序型资源需求量感知，提供一种集群系统及其全局时序型服务资源需求评估与调整方法，建立可靠的需求预测模型促进对集群服务资源，即工作节点需求量的有效的评估与调整。
[0005]一种集群系统全局时序型服务资源需求评估与调整方法，所述集群系统服务资源需求评估与调整方法包括以下步骤：S1、通过负载监测与挖掘模块持续跟踪监测所到来的负载，并从集群系统层次对所到来负载的差异性特征进行捕获，其中，所述负载的差异性特征包括任务到来率λ，任务到来间隔变异系数c
a
，任务平均服务时间T
s
，任务服务时间变异系数c
s
；S2、通过样本生成模块在预设统计时间段末尾获取负载监测与挖掘模块在该时间段内捕获的负载的差异性特征，并将其以一个4维特征向量的形式进行保存，然后依据时间顺序将多个4维特征向量组合生成一个特征序列；S3、通过性能监测与资源统计模块监测所述集群系统内各工作节点的性能是否匹配于预期要求，如果匹配，则将当前工作节点数量记录并传递给样本生成模块，如果不匹配，则不传递任何信息给样本生成模块，转而激活集群
资源调整模块；S4、所述样本生成模块接收所述性能监测与资源统计模块传递过来的工作节点数量记录，并将其与其前一时间顺序生成的特征序列组合生成样本；S5、通过时序逐级叠加模型生成模块从样本生成模块获取到充足的样本作为训练集S
t
后，以循环神经网络为载体，利用训练集S
t
对循环神经网络进行训练，从而得到包含全局负载状况和其实际需求之间的关系模型g；S6、集群资源调整模块被激活后，从样本生成模块获取包含当前负载特征的特征序列，并将该特征序列输入到步骤S5中的关系模型g，输出评估结果后，集群资源调整模块根据评估结果将工作节点数量调整为匹配于实际需求的数量。
[0006]进一步地，所述步骤S4还包括：所述样本生成模块未收到性能监测与资源统计模块传递的信息时，则所述样本生成模块仅记录特征序列，不生成样本。
[0007]进一步地，所述步骤S4具体为：S41、通过样本生成模块获取第i到第j时间段内的各特征向量构成的特征序列S42、通过样本生成模块接收性能监测与资源统计模块j+1统计时间段工作节点数量的实际需求Y
j+1
；S43、通过样本生成模块统计第i到第j时间段内的各特征向量构成的特征序列到j+1统计时间段实际需求T
j+1
的关系映射生成样本其中，Y
j+1
＝y
j+1
+r，y
j+1
代表第j+1统计时间段收到的负载对工作节点的需求量，r
j
表示的是遗留自第j统计时间段的遗留负载对工作节点的需求量。
[0008]进一步地，所述步骤S5具体为：S51、通过时序逐级叠加模型生成模块以循环神经网络为载体，将样本生成模块所生成的多个样本作为训练集S
t
输入循环神经网络，得到对应的需求评估值其中S52、评估需求评估值与实际需求值Y
j+1
两者的最小化平均相对误差，即通过不断优化来确定循环神经网络中各参数的值，最终确定的循环神经网络模型即为关系模型g。
[0009]进一步地，步骤S5还包括：预设时间定期检查并获取所述样本生成模块新生成的样本，并对训练集S
t
中的样本进行更新，设定样本更新量，当样本更新量超过预设值时，对关系模型g进行更新或重新训练。
[0010]进一步地，步骤S6还包括：工作节点数量调整完成后，通过性能监测与资源统计模块继续监测所提供工作节点数量是否匹配于负载的真实即时需求，匹配成功则继续继续监测，匹配不成功则进行补充调整。
[0011]进一步地，步骤S6中，所述当前负载特征的特征序列为到当前统计时间段为止的连续统计时间段内的特征向量构成的特征序列。
[0012]本专利技术还提供一种集群系统，包括一管理层和一服务层，所述管理层包括一负载监测与挖掘模块、一样本生成模块、一时序逐级叠加模型生成模块、一性能监测与资源统计
模块以及一集群资源调整模块；所述服务层包括若干个节点，所述节点包括处于工作状态的工作节点和处于的空闲状态的节能节点；其中，所述负载监测与挖掘模块用于持续跟踪监测所到来的负载，并从集群系统层次对所到来负载的差异性特征进行捕获，所述负载的差异性特征包括任务到来率λ，任务到来间隔变异系数c
a
，任务平均服务时间T
S
，任务服务时间变异系数c
s
；所述样本生成模块用于在预设统计时间段末尾获取负载监测与挖掘模块在该时间段内捕获的负载的差异性特征，并将其以一个4维特征向量的形式进行保存，然后依据时间顺序将多个4维特征向量组合生成一个特征序列，同时接收所述性能监测与资源统计模块传递过来的工作节点数量记录，并将其与其前一时间顺序生成的特征序列组合生成样本；所述时序逐级叠加模型生成模块用于从样本生成模块获取到充足的样本作为训练集S
t
后，以循环神经网络为载体，利用训练集S
t
对循环神经网络进行训练，从而得到包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种集群系统全局时序型服务资源需求评估与调整方法，其特征在于，所述集群系统服务资源需求评估与调整方法包括以下步骤：S1、通过负载监测与挖掘模块持续跟踪监测所到来的负载，并从集群系统层次对所到来负载的差异性特征进行捕获，其中，所述负载的差异性特征包括任务到来率λ，任务到来间隔变异系数c
a
，任务平均服务时间T
S
，任务服务时间变异系数c
s
；S2、通过样本生成模块在预设统计时间段末尾获取负载监测与挖掘模块在该时间段内捕获的负载的差异性特征，并将其以一个4维特征向量的形式进行保存，然后依据时间顺序将多个4维特征向量组合生成一个特征序列；S3、通过性能监测与资源统计模块监测所述集群系统内各工作节点的性能是否匹配于预期要求，如果匹配，则将当前工作节点数量记录并传递给样本生成模块，如果不匹配，则不传递任何信息给样本生成模块，转而激活集群资源调整模块；S4、所述样本生成模块接收所述性能监测与资源统计模块传递过来的工作节点数量记录，并将其与其前一时间顺序生成的特征序列组合生成样本；S5、通过时序逐级叠加模型生成模块从样本生成模块获取到充足的样本作为训练集S
t
后，以循环神经网络为载体，利用训练集S
t
对循环神经网络进行训练，从而得到包含全局负载状况和其实际需求之间的关系模型g；S6、集群资源调整模块被激活后，从样本生成模块获取包含当前负载特征的特征序列，并将该特征序列输入到步骤S5中的关系模型g，输出评估结果后，集群资源调整模块根据评估结果将处于工作状态的工作节点数量调整为匹配于实际需求的数量。2.根据权利要求1所述的一种集群系统全局时序型服务资源需求评估与调整方法，其特征在于，所述步骤S4还包括：所述样本生成模块未收到性能监测与资源统计模块传递的信息时，则所述样本生成模块仅记录特征序列，不生成样本。3.根据权利要求1所述的一种集群系统全局时序型服务资源需求评估与调整方法，其特征在于，所述步骤S4具体为：S41、通过样本生成模块获取第i到第j时间段内的各特征向量构成的特征序列S42、通过样本生成模块接收性能监测与资源统计模块j+1统计时间段工作节点数量的实际需求Y
j+1
；S43、通过样本生成模块统计第i到第j时间段内的各特征向量构成的特征序列到j+1统计时间段实际需求Y
j+1
的关系映射生成样本其中，Y
j+1
＝y
j+1
+r，y
j+1
代表第j+1统计时间段收到的负载对工作节点的需求量，r
j
表示的是遗留自第j统计时间段的遗留负载对工作节点的需求量。4.根据权利要求3所述的一种集群系统服务资源需求评估与调整方法，其特征在于，所述步骤S5具体为：S51、通过时序逐级叠加模型生成模块以循环神经网络为载体，将样本生成模块所生成
的多个样本作为训练集S
t
输入循环神经网络，得到对应的需求评估值其中S52、评估需求评估值与实际需求值Y
j+1
两者的最小化平均相对误差，即通过不断优化来确定循环神经网络中各参数的值，最终确定的循环神经网络模型即为关系模型g。5.根据权利要求1所述的一种集群系统全局时序型服务资源需求评估与调整方法，其特征在于，步骤S5还包括：预设时间定期检查并获取所述样本生成模块新生成的样本，并对训练集S
t
中的样本进行更新，设定样本更新量，当样本更新量超过预设值时，对关系模型g进行更新或重新...

【专利技术属性】
技术研发人员：胡程，杨凡霆，
申请(专利权)人：广东外语外贸大学，
类型：发明
国别省市：