System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种分布式数据储存节点异常行为监测系统技术方案_技高网

一种分布式数据储存节点异常行为监测系统技术方案

技术编号:41399642 阅读:5 留言:0更新日期:2024-05-20 19:24
本发明专利技术涉及储存节点监测技术领域,具体公开了一种分布式数据储存节点异常行为监测系统,包括:节点数据采集端,用于采集各个储存节点的运行状态数据,所述运行状态数据包括节点CPU占用率及数据传输量;网络数据采集端,用于采集各个储存节点的网络状态信息;监测中心,用于根据当前储存节点的CPU占用率、数据传输量及网络状态信息对储存节点的运行状态进行分析,根据各个储存节点的分析结果对储存节点进行异常判断;预警单元,用于根据监测中心异常判断的结果进行预警。通过结合各个储存节点的分析结果进行综合判断,相对单个储存节点的判断更能适应性根据实际场景判断,提高了判断结果的准确性。

【技术实现步骤摘要】

本专利技术涉及储存节点监测,具体为一种分布式数据储存节点异常行为监测系统


技术介绍

1、数据处理的过程可通过数据处理集群实现,而一个数据处理集群会包括一个管理服务器和多个节点服务器,为了保证数据存储系统的稳定性及安全性,现有的数据处理集群会对储存节点的运行状态进行监测与管理,通过使用各种监测工具和技术来收集数据存储节点的性能指标、错误日志、网络流量等数据,进而帮助判断数据储存节点的异常,实现对储存节点异常行为的诊断过程。

2、现有的储存节点分析方法中,主要通过根据历史数据和业务需求,为关键性能指标设定阈值,当节点性能指标超过或低于这些阈值时可以触发警报,以便及时发现异常行为,同时根据记录详细的日志信息,能够快速定位问题,并采取相应的措施进行修复,保证储存节点的正常稳定运行。

3、然而,通过设定阈值与关键性能指标进行比对的方式只能对明显的故障参数进行判断,而数据储存节点异常的判断需要根据其具体运行的场景及其它数据储存节点运行的状态进行综合判断,因此现有的储存节点异常监测过程判断的准确性及灵敏性较差。


技术实现思路

1、本专利技术的目的在于提供一种分布式数据储存节点异常行为监测系统,解决以下技术问题:

2、如何提高对数据储存节点异常行为监测的准确性及灵敏性。

3、本专利技术的目的可以通过以下技术方案实现:

4、一种分布式数据储存节点异常行为监测系统,所述系统包括:

5、节点数据采集端,用于采集各个储存节点的运行状态数据,所述运行状态数据包括节点cpu占用率及数据传输量;

6、网络数据采集端,用于采集各个储存节点的网络状态信息;

7、监测中心,用于根据当前储存节点的cpu占用率、数据传输量及网络状态信息对储存节点的运行状态进行分析,根据各个储存节点的分析结果对储存节点进行异常判断;

8、预警单元,用于根据监测中心异常判断的结果进行预警。

9、进一步地,对当前储存节点的运行状态进行分析的过程包括:

10、根据网络状态信息判断该储存节点网络运行异常值,对网络运行异常值进行判断:

11、当网络运行异常值符合储存节点要求时,则根据网络状态信息进行储存异常分析;

12、当网络运行异常值不符合储存节点要求时,则进行预警;

13、所述储存异常分析的过程包括:

14、根据数据传输量及网络状态信息对cpu占用率进行模拟,获取模拟结果与实际的cpu占用率之间的第一差值,获取当前储存节点相对其他储存节点cpu占用率的第二差值,根据当前储存节点的累计占用率、第一差值与第二差值对储存异常进行综合判断。

15、进一步地,所述第一差值的获取过程包括:

16、通过公式:计算获得当前t时间点的第一差值;其中,为预设参考固定时段,为实时差值,根据网络状态信息确定的延迟量,为时间点的数据传输量,为压缩储存占用率转化函数,为实时监测的cpu占用率,为储存节点基准占用率。

17、进一步地,所述第二差值的获取过程包括:

18、通过公式:计算获得当前t时间点的第二差值;其中,为当前t时间点的累计差量,p1、p2为预设阈值,且满足0<p1<p2<1;为所有储存节点历史占用率均值,n为储存节点数量,i∈[1,n];为第i个储存节点的历史实时占用率。

19、进一步地,所述综合判断的过程包括:

20、通过公式:计算获得当前储存节点的累计占用率;将与预设累计阈值pm1进行比对:若,则进行预警;

21、否则,根据第一差值与第二差值对储存异常进行判断。

22、进一步地,根据第一差值与第二差值对储存异常进行判断的过程包括:

23、通过公式:计算获得当前t时间点的储存异常值;将与储存异常阈值进行比对:当>时进行预警;其中,为固定调参系数。

24、进一步地,储存节点网络运行异常值的获取过程包括:

25、通过公式:计算获得储存节点网络运行异常值,通过对网络运行异常值进行判断;其中,延迟量阈值,g为该储存节点时段内的网络传输次数,k∈[1,g];为第k次传输用时,为第k次传输数据量,为时长判断函数。

26、进一步地,通过对网络运行异常值进行判断的过程包括:

27、将网络运行异常值与预设网络运行异常阈值进行比对:

28、当>时进行预警。

29、本专利技术的有益效果:

30、(1)本专利技术通过结合各个储存节点的分析结果进行综合判断,相对单个储存节点的判断更能适应性根据实际场景判断,提高了判断结果的准确性,另外根据cpu占用率、数据传输量及网络状态信息的分析过程,能够根据当前储存节点的运行状态进行针对性判断,进而提高了判断的灵敏性。

本文档来自技高网...

【技术保护点】

1.一种分布式数据储存节点异常行为监测系统,其特征在于,所述系统包括:

2.根据权利要求1所述的一种分布式数据储存节点异常行为监测系统,其特征在于,对当前储存节点的运行状态进行分析的过程包括:

3.根据权利要求2所述的一种分布式数据储存节点异常行为监测系统,其特征在于,所述第一差值的获取过程包括:

4.根据权利要求3所述的一种分布式数据储存节点异常行为监测系统,其特征在于,所述第二差值的获取过程包括:

5.根据权利要求4所述的一种分布式数据储存节点异常行为监测系统,其特征在于,所述综合判断的过程包括:

6.根据权利要求5所述的一种分布式数据储存节点异常行为监测系统,其特征在于,根据第一差值与第二差值对储存异常进行判断的过程包括:

7.根据权利要求3所述的一种分布式数据储存节点异常行为监测系统,其特征在于,储存节点网络运行异常值的获取过程包括:

8.根据权利要求7所述的一种分布式数据储存节点异常行为监测系统,其特征在于,通过对网络运行异常值进行判断的过程包括:将网络运行异常值与预设网络运行异常阈值进行比对:当时进行预警。

...

【技术特征摘要】

1.一种分布式数据储存节点异常行为监测系统,其特征在于,所述系统包括:

2.根据权利要求1所述的一种分布式数据储存节点异常行为监测系统,其特征在于,对当前储存节点的运行状态进行分析的过程包括:

3.根据权利要求2所述的一种分布式数据储存节点异常行为监测系统,其特征在于,所述第一差值的获取过程包括:

4.根据权利要求3所述的一种分布式数据储存节点异常行为监测系统,其特征在于,所述第二差值的获取过程包括:

5.根据权利要求4所述的一种分布式数据储存节点异常行为...

【专利技术属性】
技术研发人员:赵旭顾心诚姚民康江静婷郭晗哲马宇辉
申请(专利权)人:上海银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1