【技术实现步骤摘要】
一种面向Linux操作系统时序数据的实时异常检测方法
[0001]本专利技术属于操作系统运维
,尤其涉及一种面向Linux操作系统时序数据的实时异常检测方法。
技术介绍
[0002]随着数据的爆炸式增长,对于计算机从业人员,经常需要处理计算量大、频繁读写和查询等工作,因此一个能够实时监测操作系统数据是否会出现异常的方法尤为重要。
[0003]然而现有技术中的软件,例如Ubuntu系统的系统监视器,只能显示出系统状态和资源信息,只具有监视功能,并不能实时系统时序数据的异常检测,而且在日常用的较多的系统运维软件和工具中,大部分也是只起到监控系统资源的作用,且没有任何用户可交互的操作,对于计算机从业人员来说实用价值不高。
[0004]基于此,提出一种面向Linux操作系统时序数据的实时异常检测方法,显得非常有必要。
技术实现思路
[0005]本专利技术的目的在于提出一种面向Linux操作系统时序数据的实时异常检测方法,以便对操作系统的时序数据进行实时异常检测,用于及时发现并制止可能对操作系统软 ...
【技术保护点】
【技术特征摘要】
1.一种面向Linux操作系统时序数据的实时异常检测方法,其特征在于,包括如下步骤:步骤1.时序数据采集与存储;采集的时序数据总共有7种,分别是CPU利用率、等待IO响应时间、I/O请求所占CPU百分比、CPU空闲时间、物理内存利用率、网络接收速率以及网络发送速率;在采集数据之前定义采集的时间间隔,然后启动程序先后实时捕捉上述时序数据,在采集到数据的同时以此刻时间为主键,将采集到的时序数据存入MySQL数据库中;步骤2.时序数据异常分类;根据数据的局部波动范围判断各种时序数据所采用的实时异常检测算法;其中,当数据的局部波动范围较大时,使用步骤3中的方法进行数据异常检测;否则,当数据的局部波动范围较小时,使用步骤4中的方法进行数据异常检测;步骤3.采用累计恒定阈值法进行数据异常检测;首先需要分别设定CPU利用率、物理内存利用率、等待IO响应的时间、I/O请求占用的CPU百分比的最高阈值,以及CPU空闲时间、网络带宽的最低阈值;使用动态时间窗口T1来承载待检时序数据,采集的时序数据在存入MySQL数据库的同时被放入初始化的第一待检队列里,第一待检队列的大小由动态时间窗口T1决定;当每种时序数据的第一待检队列装满时,使用累计恒定阈值法分别计算各个第一待检队列内数据的平均值,并判断是否越过每种时序数据预先设定好的阈值;累计恒定阈值法在每次计算时,采用一个第一待检队列即可;将当前第一待检队列内数据的总和记作变量count,第一待检队列数据随时间先进先出,变量count也动态变化,每新入一个数据用累计恒定阈值法检测一次看是否出现异常;只有当一段动态时间窗T1口内第一待检队列数据的均值超过或低于阈值才触发报警;步骤4.采用曼
‑
肯德尔趋势检验法结合均值漂移法进行数据异常检测;使用两个动态时间窗口T2来承载待检时序数据,采集的时序数据在存入MySQL数据库的同时被放入初始化的第二待检队列里,第二待检队列的大小由动态时间窗口T2决定;当每种时序数据的两个第二待检队列均装满时,开始进行异常检测,检测过程如下:先将两个第二待检队列的数据都存入曼
‑
肯德尔趋势检验的队列中,按照下述公式计算;假设曼
‑
肯德尔趋势检验的队列中的时间序列数据为(x1,x2,...,x
n
),其中,x1、x2、x
n
分别表示该曼
‑
肯德尔趋势检验的队列中第1个、第2个以及第n个数据;对于所有的i,j≤n,且i≠j,定义M
‑
K检验统计量S:其中,x
i
、x
j
分别表示曼
‑
肯德尔趋势检验的队列中第i个、第j个数据,x
i
和x
j
的分布是不相同的,sign()为符号函数,当(x
i
‑
x
j
)小于、等于或大于0时,sign(x
i
‑
x
j
)分别为
‑
1,0或1;检验统计量S为正态分布,其均值为0,检验统计量S的方差Var(S)为:Var(S)=n(n
‑
1)(2n+5)/18;当检验统计量S大于、等于或小于0时,标准正态系统...
【专利技术属性】
技术研发人员:许建秋,吴冰雅,张森,方成龙,
申请(专利权)人:南京航空航天大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。