大数据集群性能预测方法、装置和计算机设备制造方法及图纸

技术编号:37677194 阅读:11 留言:0更新日期:2023-05-26 04:42
本申请涉及大数据技术领域,特别是涉及一种大数据集群性能预测方法、装置和计算机设备,包括:获取各目标时刻下目标集群的属性数据和目标应用的行为数据;根据各目标时刻下目标集群的属性数据和目标应用的行为数据,构建输入矩阵;基于输入矩阵确定目标集群的性能预测矩阵;根据预设的阈值矩阵对性能预测矩阵进行异常判断,确定判断结果,判断结果用于表征未来N个时间单位下目标集群的属性数据是否异常;在判断结果表征未来N个时间单位下目标集群的属性数据存在异常的情况下,基于预设的修复策略对性能预测矩阵进行处理,得到针对目标集群的模拟修复结果。采用本申请能够实现具有自我修复尝试机制的大数据集群智能监控。自我修复尝试机制的大数据集群智能监控。自我修复尝试机制的大数据集群智能监控。

【技术实现步骤摘要】
大数据集群性能预测方法、装置和计算机设备


[0001]本申请涉及大数据
,特别是涉及一种大数据集群性能预测方法、装置和计算机设备。

技术介绍

[0002]随着大数据领域的发展,传统运维出现集群规模更大,监控可视化与智能化更复杂等难题,智能运维应运而生。
[0003]在智能运维领域中,基于多角度以及多维监测指标的大数据集群智能监控建模是一个非常重要的基础性问题。传统技术中一般采取基于传统时间序列模型或神经网络模型来建立大数据集群模型。但上述智能监控建模方法缺乏可靠的修复机制,无法做到通过预测异常、模拟应急修复、评估模拟应急效果,来实现可靠自我修复机制,异常情况只能通过运维人员进行人工干预,效率低下。
[0004]可见,目前大数据集群智能监控的建模方案中不具有自我修复尝试机制。

技术实现思路

[0005]基于此,有必要针对上述技术问题,提供一种大数据集群性能预测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,以实现具有自我修复尝试机制的大数据集群智能监控。
[0006]第一方面,本申请提供了一种大数据集群性能预测方法,所述方法包括:
[0007]获取各目标时刻下目标集群的属性数据和目标应用的行为数据,所述目标应用在所述目标集群上运行;
[0008]根据各所述目标时刻下所述目标集群的属性数据和所述目标应用的行为数据,构建输入矩阵;
[0009]基于所述输入矩阵确定所述目标集群的性能预测矩阵,所述性能预测矩阵包括未来N个时间单位下所述目标集群的属性数据和所述目标应用的行为数据,N为正整数;
[0010]根据预设的阈值矩阵对所述性能预测矩阵进行异常判断,确定判断结果,所述判断结果用于表征未来N个时间单位下所述目标集群的属性数据是否异常;
[0011]在所述判断结果表征未来N个时间单位下所述目标集群的属性数据存在异常的情况下,基于预设的修复策略对所述性能预测矩阵进行处理,得到针对所述目标集群的模拟修复结果。
[0012]在其中一个实施例中,所述根据各所述目标时刻下所述目标集群的属性数据和所述目标应用的行为数据,构建输入矩阵,包括:
[0013]针对任一所述目标时刻,根据所述目标时刻、所述目标时刻下所述目标集群的属性数据和所述目标应用的行为数据,构建所述目标时刻对应的数据向量;
[0014]将各所述目标时刻对应的K行数据向量按时间顺序排列,与N行零向量进行拼接后,得到输入矩阵,K为正整数。
[0015]在其中一个实施例中,所述基于所述输入矩阵确定所述目标集群的性能预测矩阵,包括:
[0016]采用目标Informer模型对所述输入矩阵进行处理,得到所述目标集群的性能预测矩阵。
[0017]在其中一个实施例中,所述根据预设的阈值矩阵对所述性能预测矩阵进行异常判断,确定判断结果,包括:
[0018]将预设的阈值矩阵与所述性能预测矩阵进行对应位置的标量计算,确定状态向量;
[0019]在所述状态向量的模长大于零的情况下,得到表征未来N个时间单位下所述目标集群的属性数据存在异常的判断结果。
[0020]在其中一个实施例中,所述性能预测矩阵包括N行预测向量,所述预测向量包括未来N个时间单位下任一预测时刻对应的所述目标集群的属性数据和所述目标应用的行为数据,所述基于预设的修复策略对所述性能预测矩阵进行处理,得到针对所述目标集群的模拟修复结果,包括:
[0021]基于预设的修复策略,改变所述性能预测矩阵中所述预测向量中的任一数值,得到模拟预测矩阵;
[0022]从所述模拟预测矩阵中选取前a行预测向量,与所述输入矩阵的后K

a行数据向量、N行零向量进行拼接,得到模拟输入矩阵,a为正整数;
[0023]采用目标Informer模型对所述模拟输入矩阵进行处理,得到针对所述目标集群的模拟修复结果。
[0024]在其中一个实施例中,所述方法还包括:
[0025]获取各个样本时刻下所述目标集群的样本属性数据和所述目标应用的样本行为数据,将所述各个样本时刻中的后N个样本时刻作为标注时刻,剩余的样本时刻作为训练时刻;
[0026]根据各所述训练时刻下所述目标集群的样本属性数据和所述目标应用的样本行为数据,构建样本输入矩阵,所述样本输入矩阵包括按时间顺序排列的多行样本数据向量,所述样本数据向量包括所述训练时刻、所述训练时刻下所述目标集群的样本属性数据和所述目标应用的样本行为数据;
[0027]基于所述样本输入矩阵对初始Informer模型进行训练,得到所述目标Informer模型。
[0028]在其中一个实施例中,所述基于所述样本输入矩阵对初始Informer模型进行训练,得到所述目标Informer模型,包括:
[0029]将所述样本输入矩阵中各行所述样本数据向量作为编码器输入序列;
[0030]将所述样本输入矩阵中后K行样本数据向量,与N行零向量拼接,得到解码器输入序列;
[0031]基于所述编码器输入序列和所述解码器输入序列对初始Informer模型进行训练,得到所述目标Informer模型。
[0032]在其中一个实施例中,所述基于所述编码器输入序列和所述解码器输入序列对初始Informer模型进行训练,得到所述目标Informer模型,包括:
[0033]将所述编码器输入序列输入初始Informer模型的编码器,得到隐层特征;
[0034]将所述解码器输入序列以及所述隐层特征输入所述初始Informer模型的解码器,得到各所述标注时刻对应的预测数据;
[0035]根据各所述标注时刻下所述目标集群的样本属性数据和所述目标应用的样本行为数据,与各所述标注时刻对应的预测数据之间的差异,对所述初始Informer模型进行训练,得到所述目标Informer模型。
[0036]第二方面,本申请还提供了一种大数据集群性能预测装置,所述装置包括:
[0037]数据获取模块,用于获取各目标时刻下目标集群的属性数据和目标应用的行为数据,所述目标应用在所述目标集群上运行;
[0038]矩阵构建模块,用于根据各所述目标时刻下所述目标集群的属性数据和所述目标应用的行为数据,构建输入矩阵;
[0039]预测模块,用于基于所述输入矩阵确定所述目标集群的性能预测矩阵,所述性能预测矩阵包括未来N个时间单位下所述目标集群的属性数据和所述目标应用的行为数据,N为正整数;
[0040]判断模块,用于根据预设的阈值矩阵对所述性能预测矩阵进行异常判断,确定判断结果,所述判断结果用于表征未来N个时间单位下所述目标集群的属性数据是否异常;
[0041]模拟修复模块,用于在所述判断结果表征未来N个时间单位下所述目标集群的属性数据存在异常的情况下,基于预设的修复策略对所述性能预测矩阵进行处理,得到针对所述目标集群的模拟修复结果。
[0042]在其中一个实施例中,所述矩阵构建模本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种大数据集群性能预测方法,其特征在于,所述方法包括:获取各目标时刻下目标集群的属性数据和目标应用的行为数据,所述目标应用在所述目标集群上运行;根据各所述目标时刻下所述目标集群的属性数据和所述目标应用的行为数据,构建输入矩阵;基于所述输入矩阵确定所述目标集群的性能预测矩阵,所述性能预测矩阵包括未来N个时间单位下所述目标集群的属性数据和所述目标应用的行为数据,N为正整数;根据预设的阈值矩阵对所述性能预测矩阵进行异常判断,确定判断结果,所述判断结果用于表征未来N个时间单位下所述目标集群的属性数据是否异常;在所述判断结果表征未来N个时间单位下所述目标集群的属性数据存在异常的情况下,基于预设的修复策略对所述性能预测矩阵进行处理,得到针对所述目标集群的模拟修复结果。2.根据权利要求1所述的方法,其特征在于,所述根据各所述目标时刻下所述目标集群的属性数据和所述目标应用的行为数据,构建输入矩阵,包括:针对任一所述目标时刻,根据所述目标时刻、所述目标时刻下所述目标集群的属性数据和所述目标应用的行为数据,构建所述目标时刻对应的数据向量;将各所述目标时刻对应的K行数据向量按时间顺序排列,与N行零向量进行拼接后,得到输入矩阵,K为正整数。3.根据权利要求1所述的方法,其特征在于,所述基于所述输入矩阵确定所述目标集群的性能预测矩阵,包括:采用目标Informer模型对所述输入矩阵进行处理,得到所述目标集群的性能预测矩阵。4.根据权利要求1所述的方法,其特征在于,所述根据预设的阈值矩阵对所述性能预测矩阵进行异常判断,确定判断结果,包括:将预设的阈值矩阵与所述性能预测矩阵进行对应位置的标量计算,确定状态向量;在所述状态向量的模长大于零的情况下,得到表征未来N个时间单位下所述目标集群的属性数据存在异常的判断结果。5.根据权利要求1所述的方法,其特征在于,所述性能预测矩阵包括N行预测向量,所述预测向量包括未来N个时间单位下任一预测时刻对应的所述目标集群的属性数据和所述目标应用的行为数据,所述基于预设的修复策略对所述性能预测矩阵进行处理,得到针对所述目标集群的模拟修复结果,包括:基于预设的修复策略,改变所述性能预测矩阵中所述预测向量中的任一数值,得到模拟预测矩阵;从所述模拟预测矩阵中选取前a行预测向量,与所述输入矩阵的后K

a行数据向量、N行零向量进行拼接,得到模拟输入矩阵,a为正整数;采用目标Informer模型对所述模拟输入矩阵进行处理,得到针对所述目标集群的模拟修复结果。6.根据权利要求3所述的方法,其特征在于,所述方法还包括:获取各个样本时刻下所述目标集群的样本属性数据和所述目标应用的样本行为数据,
将所述各个样本时刻中的后N个样本时刻作为标注时刻,剩余的样本时刻作为训练时刻;根据各所述训练时刻下所述目标集群的样本属性数据和所述目标应...

【专利技术属性】
技术研发人员:杨济银沈贇黄萌阳万里
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1