System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及人工智能及大数据,具体而言,涉及一种大数据系统性能指标预测方法及装置。
技术介绍
1、在大数据智能运维领域,对大数据系统的各种性能指标进行预测是重要的工作之一。目前可以采用长短时记忆网络来对大数据系统的各种性能指标进行预测,但长短时记忆网络的预测精度仍然不够理想,如何提高大数据系统性能指标预测的准确性是现有技术急需解决的问题。
技术实现思路
1、本专利技术为了解决上述
技术介绍
中的至少一个技术问题,提出了一种大数据系统性能指标预测方法及装置。
2、为了实现上述目的,根据本专利技术的一个方面,提供了一种大数据系统性能指标预测方法,该方法包括:
3、获取待预测性能指标的时序历史数据;
4、根据所述时序历史数据生成第一字符串序列,将所述第一字符串序列输入到第一编码器中,得到第一编码器提取出的特征数据,然后将该特征数据输入到预测网络中,得到预测网络输出的预测特征数据,将所述预测特征数据输入到解码器中,得到所述解码器输出的第二字符串序列;
5、根据所述第二字符串序列生成所述待预测性能指标对应的时序预测数据。
6、可选的,所述待预测性能指标包括:大数据系统的网络负载、大数据系统的每秒连接数、大数据系统的cpu负载以及大数据系统的磁盘负载。
7、可选的,所述大数据系统性能指标预测方法,还包括:
8、根据用于模型训练的时序数据生成用于模型训练的字符串序列,并对所述用于模型训练的字符串序列进行划分得到第一
9、将第二数据序列输入到第二编码器中,得到第二编码器提取出的第二特征数据;
10、将第一数据序列输入到第一编码器中,得到第一编码器提取出的第一特征数据,然后将第一特征数据输入到预测网络中,得到预测网络输出的第三特征数据;
11、训练第一编码器和预测网络的模型参数,使第三特征数据与第二特征数据接近。
12、可选的,第一字符串序列、第二字符串序列、第一数据序列和第二数据序列的序列长度均为n,其中,n为大于1的整数。
13、可选的,根据待预测性能指标的时序历史数据生成第一字符串序列,具体包括:
14、根据所述时序历史数据生成对应的字符串序列,然后从该字符串序列提取n个连续的时间步,得到所述第一字符串序列。
15、可选的,根据所述时序历史数据生成对应的字符串序列,具体包括:
16、对所述时序历史数据进行归一化处理,得到第一处理后的时序数据;
17、将第一处理后的时序数据划分为多个序列长度为l的子序列,然后根据预设的词汇表确定每个子序列各自对应的字符串,进而根据各子序列的前后顺序对各子序列对应的字符串进行排列,得到字符串序列,其中,l为大于1的整数。
18、可选的,根据用于模型训练的时序数据生成用于模型训练的字符串序列,具体包括:
19、对用于模型训练的时序数据进行归一化处理,得到第二处理后的时序数据;
20、将第二处理后的时序数据划分为多个序列长度为l的子序列,然后根据预设的词汇表确定每个子序列各自对应的字符串,进而根据各子序列的前后顺序对各子序列对应的字符串进行排列,得到用于模型训练的字符串序列,其中,l为大于1的整数。
21、可选的,所述词汇表中记载了多个预设子序列以及每个预设子序列各自对应的字符串;
22、所述根据预设的词汇表确定每个子序列各自对应的字符串,具体包括:
23、通过计算每个子序列与各预设子序列的相似度,确定每个子序列各自对应的预设子序列,从而确定每个子序列各自对应的字符串。
24、可选的,每一个子序列中有m个时间步与相邻的子序列存在重叠,其中,m为大于1的整数。
25、可选的,在进模型训练之前,第一编码器和第二编码器为同样的预训练的编码器,所述解码器为该预训练的编码器对应的解码器。
26、为了实现上述目的,根据本专利技术的另一方面,提供了一种大数据系统性能指标预测装置,该装置包括:
27、历史数据获取单元,用于获取待预测性能指标的时序历史数据;
28、模型应用单元,用于根据所述时序历史数据生成第一字符串序列,将所述第一字符串序列输入到第一编码器中,得到第一编码器提取出的特征数据,然后将该特征数据输入到预测网络中,得到预测网络输出的预测特征数据,将所述预测特征数据输入到解码器中,得到所述解码器输出的第二字符串序列;
29、预测数据生成单元,用于根据所述第二字符串序列生成所述待预测性能指标对应的时序预测数据。
30、为了实现上述目的,根据本专利技术的另一方面,还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述大数据系统性能指标预测方法的步骤。
31、为了实现上述目的,根据本专利技术的另一方面,还提供了一种计算机可读存储介质,其上存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现上述大数据系统性能指标预测方法的步骤。
32、为了实现上述目的,根据本专利技术的另一方面,还提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述大数据系统性能指标预测方法的步骤。
33、本专利技术的有益效果为:
34、本专利技术实施例根据待预测性能指标的时序历史数据生成第一字符串序列,将所述第一字符串序列输入到第一编码器中,得到第一编码器提取出的特征数据,然后将该特征数据输入到预测网络中,得到预测网络输出的预测特征数据,然后将所述预测特征数据输入到解码器中,得到所述解码器输出的第二字符串序列,最后根据所述第二字符串序列生成所述待预测性能指标对应的时序预测数据,由此实现了准确的对待预测性能指标进行预测的有益效果。
本文档来自技高网...【技术保护点】
1.一种大数据系统性能指标预测方法,其特征在于,包括:
2.根据权利要求1所述的大数据系统性能指标预测方法,其特征在于,所述待预测性能指标包括:大数据系统的网络负载、大数据系统的每秒连接数、大数据系统的CPU负载以及大数据系统的磁盘负载。
3.根据权利要求1所述的大数据系统性能指标预测方法,其特征在于,还包括:
4.根据权利要求3所述的大数据系统性能指标预测方法,其特征在于,第一字符串序列、第二字符串序列、第一数据序列和第二数据序列的序列长度均为n,其中,n为大于1的整数。
5.根据权利要求4所述的大数据系统性能指标预测方法,其特征在于,根据所述时序历史数据生成第一字符串序列,具体包括:
6.根据权利要求5所述的大数据系统性能指标预测方法,其特征在于,根据所述时序历史数据生成对应的字符串序列,具体包括:
7.根据权利要求3所述的大数据系统性能指标预测方法,其特征在于,根据用于模型训练的时序数据生成用于模型训练的字符串序列,具体包括:
8.根据权利要求6或7所述的大数据系统性能指标预测方法,其特征在
9.根据权利要求6或7所述的大数据系统性能指标预测方法,其特征在于,每一个子序列中有M个时间步与相邻的子序列存在重叠,其中,M为大于1的整数。
10.根据权利要求3所述的大数据系统性能指标预测方法,其特征在于,在进模型训练之前,第一编码器和第二编码器为同样的预训练的编码器,所述解码器为该预训练的编码器对应的解码器。
11.根据权利要求2所述的大数据系统性能指标预测方法,其特征在于,所述待预测性能指标还包括:大数据系统的业务性能指标;所述业务性能指标具体包括:业务处理等待时间、业务执行时间、单位时间作业提交量、当前业务处理的时间的等待量以及单位时间新增作业量。
12.根据权利要求1所述的大数据系统性能指标预测方法,其特征在于,还包括:
13.一种大数据系统性能指标预测装置,其特征在于,包括:
14.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12任意一项所述方法的步骤。
15.一种计算机可读存储介质,其上存储有计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。
16.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。
...【技术特征摘要】
1.一种大数据系统性能指标预测方法,其特征在于,包括:
2.根据权利要求1所述的大数据系统性能指标预测方法,其特征在于,所述待预测性能指标包括:大数据系统的网络负载、大数据系统的每秒连接数、大数据系统的cpu负载以及大数据系统的磁盘负载。
3.根据权利要求1所述的大数据系统性能指标预测方法,其特征在于,还包括:
4.根据权利要求3所述的大数据系统性能指标预测方法,其特征在于,第一字符串序列、第二字符串序列、第一数据序列和第二数据序列的序列长度均为n,其中,n为大于1的整数。
5.根据权利要求4所述的大数据系统性能指标预测方法,其特征在于,根据所述时序历史数据生成第一字符串序列,具体包括:
6.根据权利要求5所述的大数据系统性能指标预测方法,其特征在于,根据所述时序历史数据生成对应的字符串序列,具体包括:
7.根据权利要求3所述的大数据系统性能指标预测方法,其特征在于,根据用于模型训练的时序数据生成用于模型训练的字符串序列,具体包括:
8.根据权利要求6或7所述的大数据系统性能指标预测方法,其特征在于,所述词汇表中记载了多个预设子序列以及每个预设子序列各自对应的字符串;
9.根据权利要求6或7所述的大数据系统性能指标预测方法,其特征在于,每一个子序列中...
【专利技术属性】
技术研发人员:杨济银,林丹,单升起,黄萌,
申请(专利权)人:中国工商银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。