存储集群的负载预测方法和装置、存储介质及电子设备制造方法及图纸

本申请公开了一种存储集群的负载预测方法和装置、存储介质及电子设备。其中，该方法包括：获取目标存储集群的第i个集群负载序列；确定所述第i个集群负载序列所属的目标序列类别；将所述第i个集群负载序列输入与所述目标序列类别对应的目标预测神经网络模型，得到在所述k个时间点的下一个时间点上所述目标存储集群的预测负载。本申请解决了存储集群的负载预测的准确率较低的技术问题。预测的准确率较低的技术问题。预测的准确率较低的技术问题。

【技术实现步骤摘要】
存储集群的负载预测方法和装置、存储介质及电子设备


[0001]本申请涉及存储集群领域，具体而言，涉及一种存储集群的负载预测方法和装置、存储介质及电子设备。

技术介绍

[0002]相关技术中，在选择对存储集群进行负载预测时所使用的预测方法时，往往只能依据经验选择所使用的预测方法，并且往往是为不同的存储集群选择相同的预测方法来进行负载预测，比如：通过相同的预测算法对存储集群1和存储集群2的负载进行预测，而不同的存储集群的负载情况并不相同，并且同一个存储集群的负载情况也可能随着时间的变化发生变化，可能导致采用相同的预测算法可能会导致预测出的存储集群1或者存储集群2的负载不准确。
[0003]针对上述存储集群的负载预测的准确率较低的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请实施例提供了一种存储集群的负载预测方法和装置、存储介质及电子设备，以至少解决存储集群的负载预测的准确率较低的技术问题。
[0005]根据本申请实施例的一个方面，提供了一种存储集群的负载预测方法，包括：获取目标存储集群的第i个集群负载序列，其中，所述目标存储集群包括一组存储设备，所述第i个集群负载序列包括第i组时间点上所述目标存储集群的实际负载，i为大于或等于1的正整数；确定所述第i个集群负载序列所属的目标序列类别，其中，所述目标序列类别是序列类别集合中的序列类别，所述序列类别集合包括至少对样本集群负载序列集合进行聚类所得到的多个序列类别，所述样本集群负载序列集合包括多个存储集群的多个样本集群负载序列，每个样本集群负载序列是在对应的一组时间点上所述多个存储集群中的一个存储集群的实际负载，多个存储集群包括所述目标存储集群，或者，所述目标存储集群与所述多个存储集群不同；将所述第i个集群负载序列输入与所述目标序列类别对应的目标预测神经网络模型，得到在所述第i组时间点的下一个时间点上所述目标存储集群的预测负载，其中，所述目标预测神经网络是使用样本集群负载序列子集对待训练的预测神经网络模型进行训练得到的模型，所述样本集群负载序列子集包括所述样本集群负载序列集合中属于所述目标序列类别的样本集群负载序列。
[0006]根据本申请实施例的另一方面，还提供了一种存储集群的负载预测装置，包括：获取单元，用于获取目标存储集群的第i个集群负载序列，其中，所述目标存储集群包括一组存储设备，所述第i个集群负载序列包括第i组时间点上所述目标存储集群的实际负载，i为大于或等于1的正整数；确定单元，用于确定所述第i个集群负载序列所属的目标序列类别，其中，所述目标序列类别是序列类别集合中的序列类别，所述序列类别集合包括至少对样本集群负载序列集合进行聚类所得到的多个序列类别，所述样本集群负载序列集合包括多
个存储集群的多个样本集群负载序列，每个样本集群负载序列是在对应的一组时间点上所述多个存储集群中的一个存储集群的实际负载，多个存储集群包括所述目标存储集群，或者，所述目标存储集群与所述多个存储集群不同；输入单元，用于将所述第i个集群负载序列输入与所述目标序列类别对应的目标预测神经网络模型，得到在所述第i组时间点的下一个时间点上所述目标存储集群的预测负载，其中，所述目标预测神经网络是使用样本集群负载序列子集对待训练的预测神经网络模型进行训练得到的模型，所述样本集群负载序列子集包括所述样本集群负载序列集合中属于所述目标序列类别的样本集群负载序列。
[0007]可选的，所述确定单元，包括：第一确定模块，用于在所述序列类别集合包括对所述样本集群负载序列集合进行聚类所得到的N个序列类别、且所述N个序列类别与N个参考负载序列具有一一对应的情况下，确定所述第i个集群负载序列分别与所述N个参考负载序列中的每个参考负载序列的相似度，得到N个相似度，其中，所述N个参考负载序列中的第j个参考负载序列是根据所述样本集群负载序列集合中属于第j个序列类别的样本集群负载序列确定得到的序列，所述N个序列类别包括所述第j个序列类别，N为大于或者等于2的正整数，j为大于或者等于1、且小于或者等于N的正整数；第二确定模块，用于在所述N个相似度中的第p个相似度最大、且所述第p个相似度大于或等于预设阈值的情况下，将所述目标序列类别确定为所述N个序列类别中与所述第p个相似度对应的序列类别，其中，p为大于或等于1、且小于或等于N的正整数。
[0008]可选的，所述确定单元，包括：聚类模块，用于对所述样本集群负载序列集合和所述第i个集群负载序列进行聚类，得到M个序列类别，其中，M为大于或等于2的正整数；第三确定模块，用于将所述目标序列类别确定为所述M个序列类别中所述第i个集群负载序列所属的序列类别。
[0009]可选的，所述装置还包括：第一聚类单元，用于在确定所述第i个集群负载序列所属的目标序列类别之前，对所述样本集群负载序列集合进行聚类，得到所述序列类别集合；或者第二聚类单元，用于在所述样本集群负载序列集合包括P个样本集群负载序列的情况下，在所述P个样本集群负载序列中的每个样本集群负载序列中截取相同长度的子序列，得到P个子序列，其中，所述P个子序列中的每个子序列包括q个时间点上所述多个存储集群中的一个存储集群的实际负载；对所述P个子序列进行聚类，得到所述序列类别集合。
[0010]可选的，所述第二聚类单元，包括：第四确定模块，用于分别确定所述P个子序列中的每个子序列与所述P个子序列中的每个子序列之间的相似度，得到维度为P
×
P的相似度矩阵，其中，所述P个子序列中的第a个子序列与所述P个子序列中的第b个子序列之间的相似度是所述第a个子序列中的q个实际负载与所述第b个子序列中的q个实际负载之间的相似度，a和b为大于或等于1、且小于或等于P的正整数；第五确定模块，用于根据所述P
×
P的相似度矩阵，确定维度为1
×
P的类别标签向量，其中，所述1
×
P的类别标签向量表示所述P个子序列中的每个子序列所属的序列类别，其中，所述序列类别集合包括所述类别标签向量所表示的不同序列类别。
[0011]可选的，所述输入单元，包括：输入模块，用于将所述第i个集群负载序列输入所述目标预测神经网络模型，得到在第i组时间点的所述下一个时间点上所述目标存储集群的预测负载均值和预测负载方差；第六确定模块，用于根据所述预测负载均值和所述预测负载方差，确定在所述第i组时间点的所述下一个时间点上所述目标存储集群的所述预测负
载。
[0012]可选的，第六确定模块，用于：将所述预测负载确定为等于所述预测负载均值与目标加权值之和，其中，所述目标加权值是预设的方差影响因子与所述预测负载方差之间的乘积。
[0013]可选的，所述装置还包括：训练单元，用于在将所述第i个集群负载序列输入与所述目标序列类别对应的目标预测神经网络模型，得到在所述k个时间点的下一个时间点上所述目标存储集群的预测负载之前，使用所述样本集群负载序列子集对所述待训练的预测神经网络模型进行训练，直到所述待训练的预测神经网络模型对应的目标损失值满足预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种存储集群的负载预测方法，其特征在于，包括：获取目标存储集群的第i个集群负载序列，其中，所述目标存储集群包括一组存储设备，所述第i个集群负载序列包括第i组时间点上所述目标存储集群的实际负载，i为大于或等于1的正整数；确定所述第i个集群负载序列所属的目标序列类别，其中，所述目标序列类别是序列类别集合中的序列类别，所述序列类别集合包括至少对样本集群负载序列集合进行聚类所得到的多个序列类别，所述样本集群负载序列集合包括多个存储集群的多个样本集群负载序列，每个样本集群负载序列是在对应的一组时间点上所述多个存储集群中的一个存储集群的实际负载，多个存储集群包括所述目标存储集群，或者，所述目标存储集群与所述多个存储集群不同；将所述第i个集群负载序列输入与所述目标序列类别对应的目标预测神经网络模型，得到在所述第i组时间点的下一个时间点上所述目标存储集群的预测负载，其中，所述目标预测神经网络是使用样本集群负载序列子集对待训练的预测神经网络模型进行训练得到的模型，所述样本集群负载序列子集包括所述样本集群负载序列集合中属于所述目标序列类别的样本集群负载序列。2.根据权利要求1所述的方法，其特征在于，所述确定所述第i个集群负载序列所属的目标序列类别，包括：在所述序列类别集合包括对所述样本集群负载序列集合进行聚类所得到的N个序列类别、且所述N个序列类别与N个参考负载序列具有一一对应的情况下，确定所述第i个集群负载序列分别与所述N个参考负载序列中的每个参考负载序列的相似度，得到N个相似度，其中，所述N个参考负载序列中的第j个参考负载序列是根据所述样本集群负载序列集合中属于第j个序列类别的样本集群负载序列确定得到的序列，所述N个序列类别包括所述第j个序列类别，N为大于或者等于2的正整数，j为大于或者等于1、且小于或者等于N的正整数；在所述N个相似度中的第p个相似度最大、且所述第p个相似度大于或等于预设阈值的情况下，将所述目标序列类别确定为所述N个序列类别中与所述第p个相似度对应的序列类别，其中，p为大于或等于1、且小于或等于N的正整数。3.根据权利要求1所述的方法，其特征在于，所述确定所述第i个集群负载序列所属的目标序列类别，包括：对所述样本集群负载序列集合和所述第i个集群负载序列进行聚类，得到M个序列类别，其中，M为大于或等于2的正整数；将所述目标序列类别确定为所述M个序列类别中所述第i个集群负载序列所属的序列类别。4.根据权利要求1所述的方法，其特征在于，在确定所述第i个集群负载序列所属的目标序列类别之前，所述方法还包括：对所述样本集群负载序列集合进行聚类，得到所述序列类别集合；或者在所述样本集群负载序列集合包括P个样本集群负载序列的情况下，在所述P个样本集群负载序列中的每个样本集群负载序列中截取相同长度的子序列，得到P个子序列，其中，所述P个子序列中的每个子序列包括q个时间点上所述多个存储集群中的一个存储集群的实际负载；对所述P个子序列进行聚类，得到所述序列类别集合。
5.根据权利要求4所述的方法，其特征在于，所述对所述P个子序列进行聚类，得到所述序列类别集合，包括：分别确定所述P个子序列中的每个子序列与所述P个子序列中的每个子序列之间的相似度，得到维度为P
×
P的相似度矩阵，其中，所述P个子序列中的第a个子序列与所述P个子序列中的第b个子序列之间的相似度是所述第a个子序列中的q个实际负载与所述第b个子序列中的q个实际负载之间的相似度，a和b为大于或等于1、且小于或等于P的正整数；根据所述P
×
P的相似度矩阵，确定维度为1
×
P的类别标签向量，其中，所述1
×
P的类别标签向量表示所述P个子序列中的每个子序列所属的序列类别，其中，所述序列类别集合包括所述类别标签向量所表示的不同序列类别。6.根据权利要求1所述的方法，其特征在于，所述将所述第i个集群负载序列输入与所述目标序列类别对应的目标预测神经网络模型，得到在所述第i组时间点的下一个时间点上所述目标存储集群的预测负载，包括：将所述第i个集群负载序列输入所述目标预测神经网络模型，得到在所述第i组时间点的所述下一个时间点上所述目标存储集群的预测负载均值和预测负载方差；根据所述预测负载均值和所述预测负载方差，确定在所述第i组时间点的所述下一个时间点上所述目标存储集群的所述预测负载。7.根据权利要求6所述的方法，其特征在于，根据所述预测负载均值和所述预测负载方差，确定在所述第i组时间点的所述下一个时间点上所述目标存储集群的所述预测负载，包括：将所述预测负载确定为等于所述预测负载均值与目标加权值之和，其中，所述目标加权值是预设的方差影响因子与所述预测负载方差之间的乘积。8.根据权利要求1所述的方法，其特征在于，在将所述第i个集群负载序列输入与所述目标序列类别对应的目标预测神经网络模型，得到在所述第i组时...

【专利技术属性】
技术研发人员：韩耀东，王桦，周可，郭潇俊，
申请(专利权)人：深圳市腾讯计算机系统有限公司，
类型：发明
国别省市：