System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 微软日志异常点分析方法、装置、设备及存储介质制造方法及图纸_技高网

微软日志异常点分析方法、装置、设备及存储介质制造方法及图纸

技术编号:39957436 阅读:6 留言:0更新日期:2024-01-08 23:46
本发明专利技术公开了一种微软日志异常点分析方法、装置、设备及存储介质,该方法包括:在采集到的原始微软日志数据中设置环境标签和组件标签,标注所属的私有云环境和组件;统计微软日志数据中每个事件类别对应的事件数量,生成事件特征;将事件特征根据环境标签和组件标签进行特征对比,识别出日志异常点。由于本发明专利技术通过将微软日志按照私有云环境和组件进行标签标注,使混杂的数据得以通过管理维度进行区分,对各组件日志数据,排除了同环境和通组件间共通的已知噪音,然后通过不同环境和不同组件分别进行特征对比,通过数据差异识别并枚举出所有的异常点,从而实现故障自发现,缩短发现故障所需要的时长,有效提升了运维效率。

【技术实现步骤摘要】

本专利技术涉及信息系统运维,尤其涉及一种微软日志异常点分析方法、装置、设备及存储介质


技术介绍

1、目前针对windows私有云环境下的微软eventlog日志,由于私有云环境的差异性和私密性,缺乏普适泛用的异常日志检测手段。其一是由于私有云环境通常由多技术栈嵌套组合,缺乏自上而下完全配套的日志发现手段;即使是针对各组件技术栈,微软的scom提供了单独的各组件的日志监控,但由于缺乏组件间联动考虑,通常不能完全反映底层基础设施的运作情况。且各组件日志来源复杂,软件硬件,不同厂商,不同驱动,参差不齐。其二私有云环境下,在管理维度会区分多环境进行运维管理,这些环境通常相互独立,例如管理组件、网络上存在隔离,导致各环境日志相对分散。但多环境采用相同技术栈流水线部署,一般的日志分析并无将环境间的趋同性纳入考虑。其三,面对多栈组合环境,我们通常只能可置信地识别出稳态运行,而去穷举出所有故障是较为困难且高成本的。最后,由于网络、架构等原因,eventlog本身会存在定量的error,warning事件,此类事件为已知问题,不影响环境正常运行,是需要排除的噪音选项。


技术实现思路

1、本专利技术的主要目的在于提供一种微软日志异常点分析方法、装置、设备及存储介质,旨在解决现有技术中大规模私有云环境下的日志分析中,异常点难以枚举、难以发现的技术问题。

2、为实现上述目的,本专利技术提供一种微软日志异常点分析方法,所述方法包括以下步骤:

3、在采集到的原始微软日志数据中设置环境标签和组件标签,获得微软日志数据,所述环境标签用于标注所述原始微软日志数据所属的私有云环境,所述组件标签用于标注所述原始微软日志数据所属的组件;

4、统计所述微软日志数据中每个事件类别对应的事件数量,生成事件特征;

5、将所述事件特征根据环境标签和组件标签进行特征对比,识别出日志异常点。

6、可选地,所述将所述事件特征根据环境标签和组件标签进行特征对比,识别出日志异常点,包括:

7、统计所述事件特征中每个组件标签对应的事件数量,生成组件特征;

8、统计所述组件特征中每个环境标签对应的事件数量,生成环境特征;

9、判断所述环境特征中目标环境标签的事件数量与同事件类别中剩余的环境标签的事件数量的数量差是否大于第一预设数量;

10、若是,则判定所述目标环境标签所在的微软日志数据为日志异常点。

11、可选地,所述将所述事件特征根据环境标签和组件标签进行特征对比,识别出日志异常点,包括:

12、统计所述事件特征中每个环境标签对应的事件数量,生成环境特征;

13、统计所述环境特征中每个组件标签对应的事件数量,生成组件特征;

14、判断所述组件特征中目标组件标签的事件数量与同事件类别中剩余的组件标签的事件数量的数量差是否大于第二预设数量;

15、若是,则判定所述目标组件标签所在的微软日志数据为日志异常点。

16、可选地,所述将所述事件特征根据环境标签和组件标签进行特征对比,识别出日志异常点,包括:

17、统计所述事件特征中每个组件标签对应的事件数量,生成组件特征;

18、统计所述组件特征中在目标时刻和在目标时刻之前的预设时刻分别对应的事件数量,生成第一组件时序特征;

19、判断所述第一组件时序特征中目标时刻的事件数量与同事件类别中目标时刻之前的预设时刻的事件数量的数量差是否大于第三预设数量;

20、若是,则判定所述目标时刻的微软日志数据为日志异常点。

21、可选地,所述若是,则判定所述目标组件标签所在的微软日志数据为日志异常点,还包括:

22、若是,则统计所述组件特征中在目标时刻和在目标时刻之前的周期时刻分别对应的事件数量,生成第二组件时序特征,其中,所述目标时刻之前的周期时刻小于所述目标时刻之前的预设时刻;

23、判断所述第二组件时序特征中目标时刻的事件数量与同事件类别中目标时刻之前的周期时刻的事件数量的数量差是否大于第四预设数量;

24、若大于第四预设数量,则判定所述目标时刻的微软日志数据为日志异常点。

25、可选地,所述判断所述第二组件时序特征中目标时刻的事件数量与同事件类别中目标时刻之前的周期时刻的事件数量的数量差是否大于第四预设数量之后,还包括:

26、若小于等于第四预设数量,则判定所述目标时刻的微软日志数据为周期性异常点,并将所述周期性异常点对应的微软日志数据标记为健康日志数据。

27、可选地,所述若小于等于第四预设数量,则判定所述目标时刻的微软日志数据为周期性异常点,并将所述周期性异常点对应的微软日志数据标记为健康日志数据之后,还包括:

28、根据所述微软日志数据和所述日志异常点生成多环境运行状态视图,所述多环境运行状态视图包括全环境特征总览、异常点标记、特征时序对比和日志分析历史记录;

29、通过可视化界面展示所述多环境运行状态视图。

30、此外,为实现上述目的,本专利技术还提出一种微软日志异常点分析装置,所述微软日志异常点分析装置包括:

31、标签设置模块,用于在采集到的原始微软日志数据中设置环境标签和组件标签,获得微软日志数据,所述环境标签用于标注所述原始微软日志数据所属的私有云环境,所述组件标签用于标注所述原始微软日志数据所属的组件;

32、特征生成模块,用于统计所述微软日志数据中每个事件类别对应的事件数量,生成事件特征;

33、异常识别模块,用于将所述事件特征根据环境标签和组件标签进行特征对比,识别出日志异常点。

34、此外,为实现上述目的,本专利技术还提出一种微软日志异常点分析设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的微软日志异常点分析程序,所述微软日志异常点分析程序配置为实现如上文所述的微软日志异常点分析方法的步骤。

35、此外,为实现上述目的,本专利技术还提出一种存储介质,所述存储介质上存储有微软日志异常点分析程序,所述微软日志异常点分析程序被处理器执行时实现如上文所述的微软日志异常点分析方法的步骤。

36、在本专利技术中,公开了在采集到的原始微软日志数据中设置环境标签和组件标签,标注所属的私有云环境和组件;统计微软日志数据中每个事件类别对应的事件数量,生成事件特征;将事件特征根据环境标签和组件标签进行特征对比,识别出日志异常点。由于本专利技术通过将微软日志按照私有云环境和组件进行标签标注,使混杂的数据得以通过管理维度进行区分,对按管理环境区分后的各组件日志数据,排除了同环境和通组件间共通的已知噪音,然后通过不同环境和/或不同组件分别进行特征数量对比,通过数据差异识别并枚举出所有的异常点,从而实现故障自发现的分析能力,缩短发现故障所需要的时长,有效提升了运维效率。

本文档来自技高网...

【技术保护点】

1.一种微软日志异常点分析方法,其特征在于,所述微软日志异常点分析方法包括:

2.如权利要求1所述的微软日志异常点分析方法,其特征在于,所述将所述事件特征根据环境标签和组件标签进行特征对比,识别出日志异常点,包括:

3.如权利要求1所述的微软日志异常点分析方法,其特征在于,所述将所述事件特征根据环境标签和组件标签进行特征对比,识别出日志异常点,包括:

4.如权利要求1至3中任一项所述的微软日志异常点分析方法,其特征在于,所述将所述事件特征根据环境标签和组件标签进行特征对比,识别出日志异常点,包括:

5.如权利要求4所述的微软日志异常点分析方法,其特征在于,所述若是,则判定所述目标组件标签所在的微软日志数据为日志异常点,还包括:

6.如权利要求5所述的微软日志异常点分析方法,其特征在于,所述判断所述第二组件时序特征中目标时刻的事件数量与同事件类别中目标时刻之前的周期时刻的事件数量的数量差是否大于第四预设数量之后,还包括:

7.如权利要求6所述的微软日志异常点分析方法,其特征在于,所述若小于等于第四预设数量,则判定所述目标时刻的微软日志数据为周期性异常点,并将所述周期性异常点对应的微软日志数据标记为健康日志数据之后,还包括:

8.一种微软日志异常点分析装置,其特征在于,所述微软日志异常点分析装置包括:

9.一种微软日志异常点分析设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的微软日志异常点分析程序,所述微软日志异常点分析程序配置为实现如权利要求1至7中任一项所述的微软日志异常点分析方法的步骤。

10.一种存储介质,其特征在于,所述存储介质上存储有微软日志异常点分析程序,所述微软日志异常点分析程序被处理器执行时实现如权利要求1至7任一项所述的微软日志异常点分析方法的步骤。

...

【技术特征摘要】

1.一种微软日志异常点分析方法,其特征在于,所述微软日志异常点分析方法包括:

2.如权利要求1所述的微软日志异常点分析方法,其特征在于,所述将所述事件特征根据环境标签和组件标签进行特征对比,识别出日志异常点,包括:

3.如权利要求1所述的微软日志异常点分析方法,其特征在于,所述将所述事件特征根据环境标签和组件标签进行特征对比,识别出日志异常点,包括:

4.如权利要求1至3中任一项所述的微软日志异常点分析方法,其特征在于,所述将所述事件特征根据环境标签和组件标签进行特征对比,识别出日志异常点,包括:

5.如权利要求4所述的微软日志异常点分析方法,其特征在于,所述若是,则判定所述目标组件标签所在的微软日志数据为日志异常点,还包括:

6.如权利要求5所述的微软日志异常点分析方法,其特征在于,所述判断所述第二组件时序特征中目标时刻的事件数量与同事件类别中目标...

【专利技术属性】
技术研发人员:何梓源
申请(专利权)人:招商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1