System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据分析,尤其涉及一种指标数据分类方法、装置、存储介质及计算机设备。
技术介绍
1、在众多业务系统中,随着业务增多,业务系统中的指标数据不断增加,如qps、cpu、响应时间、失败请求数等指标数据,这些性能指标的短期趋势难以察觉,对业务系统造成潜在的安全隐患,因此需要定期对业务系统中的指标数据进行数据分析。
2、由于不同类型的指标数据特性各不相同,例如qps的曲线是明显周期性连续波动的;响应时间的曲线则相对比较稳定,其动态范围通常较小;而失败请求数的曲线大部分时间都为0,偶尔出现一些离散的点或突然持续增高。因此业务系统在进行数据分析时,需要对不同类型的指标数据配置不同的分析算法。现有的指标数据分类方法可以根据指标数据的特征从提前设置好的指定分类表中指定默认的分类,但对于部分在指定分类表没有指定分类的指标数据,无法确定其对应的类型。
技术实现思路
1、本申请的目的旨在至少能解决上述的技术缺陷之一,特别是现有技术中对于部分在指定分类表没有指定分类的指标数据,无法确定其对应的类型的技术缺陷。
2、本申请提供了一种指标数据分类方法,所述方法包括:
3、获取未指定分类的指标名称以及所述指标名称对应的指标数据,并确定所述指标数据中的无效数据个数以及所述指标数据的标准差和四分差;
4、判断所述指标数据是否满足所述无效数据个数大于预设阈值、所述指标名称在预设指标列表及所述标准差大于所述四分差中的任一条件;
5、若是,则确定所述指标
6、若否,则确定所述指标数据的频域信号,并判断所述频域信号中是否存在频率能量超过预设能量值的频率;
7、若是,则确定所述指标数据的指标类型为周期性指标;
8、若否,则确定所述指标数据的指标类型为稳定性指标。
9、可选地,所述确定所述指标数据中的无效数据个数,包括:
10、遍历所述指标数据中的各个数据值,并从各个数据值中筛选出无效数据,统计得到无效数据个数;
11、其中,所述无效数据包括缺失值和空值。
12、可选地,所述确定所述指标数据的标准差,包括:
13、确定所述指标数据中各个数据值的移动平均值,并根据各个移动平均值计算得到每一数据值的标准差;
14、按照从大到小的顺序将各个标准差进行排序,并根据排序结果选择第99%个标准差作为所述指标数据的标准差。
15、可选地,所述确定所述指标数据的四分差,包括:
16、将所述指标数据中的各个数据值从小到大进行排序,并根据排序结果将所述指标数据划分为四等份,得到三个四分位数;
17、计算第一个四分位数和最后一个四分位数之间的差值,并将所述差值作为所述指标数据的四分差。
18、可选地,所述确定所述指标数据的频域信号,包括:
19、采用傅里叶变换算法将所述指标数据中的各个数据值分解为多个不同频率的正弦波的叠加,形成所述指标数据的频域信号;
20、其中,每一正弦波表征一个频率的频率能量。
21、可选地,所述采用傅里叶变换算法将所述指标数据中的各个数据值分解为多个不同频率的正弦波的叠加的步骤之前,还包括:
22、对所述指标数据中的各个数据值进行归一化处理。
23、可选地,所述方法还包括:
24、判断获取到的指标名称是否存在预设指定分类表中;
25、若是,则根据预设指定分类表指定所述指标名称对应的指标数据的指标类型;
26、若否,则执行获取所述指标名称对应的指标数据及后续步骤。
27、本申请还提供了一种指标数据分类装置,包括:
28、数据获取模块,用于获取未指定分类的指标名称以及所述指标名称对应的指标数据,并确定所述指标数据中的无效数据个数以及所述指标数据的标准差和四分差;
29、第一判断模块,用于判断所述指标数据是否满足所述无效数据个数大于预设阈值、所述指标名称在预设指标列表及所述标准差大于所述四分差中的任一条件;
30、第一确定模块,用于确定所述指标数据的指标类型为突发性指标;
31、第二判断模块,用于确定所述指标数据的频域信号,并判断所述频域信号中是否存在频率能量超过预设能量值的频率;
32、第二确定模块,用于确定所述指标数据的指标类型为周期性指标;
33、第三确定模块,用于确定所述指标数据的指标类型为稳定性指标。
34、本申请还提供了一种存储介质,所述存储介质中存储有计算机可读指令,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如上述实施例中任一项所述指标数据分类方法的步骤。
35、本申请还提供了一种计算机设备,包括:一个或多个处理器,以及存储器;
36、所述存储器中存储有计算机可读指令,所述计算机可读指令被所述一个或多个处理器执行时,执行如上述实施例中任一项所述指标数据分类方法的步骤。
37、从以上技术方案可以看出,本申请实施例具有以下优点:
38、本申请提供的一种指标数据分类方法、装置、存储介质及计算机设备,在对指标数据进行分类时,可以先获取未指定分类的指标名称以及该指标名称对应的指标数据,以从指标数据中统计得到无效数据个数,并计算得到指标数据的标准差和四分差,以此得到后续判断指标数据类型的数据支撑。接着可以判断指标数据是否满足无效数据个数大于预设阈值、指标名称在预设指标列表及标准差大于四分差中的任意一个条件,若是,则说明该指标数据存在一些离散数据或突然持续增高的数据,因此可以确定该指标数据为突发性指标;若不是,则可以进一步确定指标数据的频域信号,并判断该频域信号中是否存在频率能量超过预设能量值的频率,若是,则说明该指标数据存在明显周期性连续波动,在此可以确定该指标数据为周期性指标;若否,则说明该指标数据的动态范围通常较小,相对比较稳定,在此可以确定该指标数据为稳定性指标。因此,本申请可以通过上述方法来实现对没有预先指定分类的指标数据进行分类。
本文档来自技高网...【技术保护点】
1.一种指标数据分类方法,其特征在于,所述方法包括:
2.根据权利要求1所述的指标数据分类方法,其特征在于,所述确定所述指标数据中的无效数据个数,包括:
3.根据权利要求1所述的指标数据分类方法,其特征在于,所述确定所述指标数据的标准差,包括:
4.根据权利要求1所述的指标数据分类方法,其特征在于,所述确定所述指标数据的四分差,包括:
5.根据权利要求1所述的指标数据分类方法,其特征在于,所述确定所述指标数据的频域信号,包括:
6.根据权利要求5所述的指标数据分类方法,其特征在于,所述采用傅里叶变换算法将所述指标数据中的各个数据值分解为多个不同频率的正弦波的叠加的步骤之前,还包括:
7.根据权利要求1所述的指标数据分类方法,其特征在于,所述方法还包括:
8.一种指标数据分类装置,其特征在于,包括:
9.一种存储介质,其特征在于:所述存储介质中存储有计算机可读指令,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至7中任一项所述指标数据分类方法的步骤。
...【技术特征摘要】
1.一种指标数据分类方法,其特征在于,所述方法包括:
2.根据权利要求1所述的指标数据分类方法,其特征在于,所述确定所述指标数据中的无效数据个数,包括:
3.根据权利要求1所述的指标数据分类方法,其特征在于,所述确定所述指标数据的标准差,包括:
4.根据权利要求1所述的指标数据分类方法,其特征在于,所述确定所述指标数据的四分差,包括:
5.根据权利要求1所述的指标数据分类方法,其特征在于,所述确定所述指标数据的频域信号,包括:
6.根据权利要求5所述的指标数据分类方法,其特...
【专利技术属性】
技术研发人员:卓玉梅,
申请(专利权)人:广州品唯软件有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。