日志监控方法、系统、装置和存储介质制造方法及图纸

本公开提供了一种日志监控方法、系统、装置和存储介质，其中，所述监控方法包括：根据预设的采集规则采集应用系统的日志数据；根据预设的解析规则解析所述日志数据；将解析后的所述日志数据与预设的告警策略进行匹配，根据匹配结果生成告警事件；将所述告警事件与预设的压制和清除策略进行匹配，若匹配成功，则存储所述告警事件并发送给用户。本公开通过对采集、解析过程进行规则配置从而实现从海量日志数据中精准的采集、解析出有价值的日志数据，避免了成本的浪费。同时，对告警事件进行压制和清除，减少冗余的告警事件和短信的产生，并降低误报率。

【技术实现步骤摘要】
日志监控方法、系统、装置和存储介质
本专利技术涉及通信领域，更为具体而言，涉及一种适用于分布式系统的日志监控方法、系统、装置和存储介质。
技术介绍
随着应用系统数量和规模的扩展，对应用日志的采集、解析、存储、分析和告警是大型企业尤其是银行业交易系统不可或缺的监控业务。目前，对于日志数据的监控，往往采用全量采集的方式进行采集、解析和存储，进行分析后生成告警并通过邮件与短信的形式发送给用户。但是，此方法对日志的采集缺乏规则配置，全量采集的模式对日志的采集、存储和解析均造成了资源上的浪费。同时，现有技术中针对日志数据中异常事件进行匹配并告警机制并不够完善，缺少对告警事件的压制和清除策略，由此，会产生很多冗余的告警事件和短信，并存在一定的误报率。
技术实现思路
为了解决现有技术中存在的上述问题，本专利技术提供了一种日志监控方法、系统、装置和存储介质，实现针对有价值的日志数据进行采集，并对生成的告警进行压制和清除。根据本专利技术的第一方面，本专利技术的实施方式提供了一种日志监控方法，所述监控方法包括：根据预设的采集规则采集应用系统的日志数据；根据预设的解析规则解析所述日志数据；将解析后的所述日志数据与预设的告警策略进行匹配，根据匹配结果生成告警事件；将所述告警事件与预设的压制和清除策略进行匹配，若匹配成功，则存储所述告警事件并发送给用户。在本专利技术的一些实施方式中，所述根据预设的采集规则采集应用系统的日志数据包括：轮询日志目录，标记所述日志目录中日志名称满足采集配置文件要求的日志数据作为第一数据；轮询所述第一数据，标记所述第一数据中文件名时间戳和最后修改时间数据满足所述采集配置文件要求的日志数据作为第二数据；采集所述第二数据。在本专利技术的一些实施方式中，所述将解析后的所述日志数据与预设的告警策略进行匹配，根据匹配结果生成告警事件包括：根据所述日志数据从所述告警策略中匹配对应的门限规则；根据所述门限规则的阈值对所述日志数据进行告警判断；若判断结果为需要告警，则生成所述告警事件。在本专利技术的一些实施方式中，若从所述告警策略中未匹配到对应的门限规则，则结束对所述日志数据的处理。在本专利技术的一些实施方式中，所述将所述告警事件与预设的压制和清除策略进行匹配，若匹配成功，则存储所述告警事件并发送给用户包括：读取所述告警事件的次数数据，与所述压制和清除策略中的压制次数进行对比；若所述次数数据大于所述压制次数，则存储所述告警事件并发送给用户；否则，清除所述告警事件。根据本专利技术的第二方面，本专利技术的实施方式提供了一种日志监控系统，所述监控系统包括：采集模块，用于根据预设的采集规则采集应用系统的日志数据；解析模块，用于根据预设的解析规则解析所述日志数据；告警模块，用于将解析后的所述日志数据与预设的告警策略进行匹配，根据匹配结果生成告警事件；压制与清除模块，用于将所述告警事件与预设的压制和清除策略进行匹配，若匹配成功，则存储所述告警事件并发送给用户。在本专利技术的一些实施方式中，所述采集模块用于：轮询日志目录，标记所述日志目录中日志名称满足采集配置文件要求的日志数据作为第一数据；轮询所述第一数据，标记所述第一数据中文件名时间戳和最后修改时间数据满足所述采集配置文件要求的日志数据作为第二数据；采集所述第二数据。在本专利技术的一些实施方式中，所述告警模块用于：根据所述日志数据从所述告警策略中匹配对应的门限规则；根据所述门限规则的阈值对所述日志数据进行告警判断；若判断结果为需要告警，则生成所述告警事件。在本专利技术的一些实施方式中，若从所述告警策略中未匹配到对应的门限规则，则结束对所述日志数据的处理。在本专利技术的一些实施方式中，所述压制和清除模块用于：读取所述告警事件的次数数据，与所述压制和清除策略中的压制次数进行对比；若所述次数数据大于所述压制次数，则存储所述告警事件并发送给用户；否则，清除所述告警事件。根据本专利技术的第三方面，本专利技术的实施方式提供了一种日志监控装置，包括存储器和处理器，所述存储器用于存储计算机可读指令；所述处理器用于执行所述计算机可读指令从而实现前述任一项实施方式所述的方法。根据本专利技术的第四方面，本专利技术的实施方式还提供了一种计算机存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现前述任一项实施方式所述的方法。本专利技术通过对采集、解析过程进行规则配置从而实现从海量日志数据中精准的采集、解析出有价值的日志数据，避免了成本的浪费。同时，通过对生成的告警事件进行压制和清除，减少了冗余的告警事件和短信的产生，并降低误报率。附图说明图1是根据本专利技术一种实施方式的日志监控方法的流程示意图；图2是图1中处理100的流程示意图；图3是图1中处理102的流程示意图；图4是图1中处理103的流程示意图；图5是根据本专利技术一种实施方式的日志监控系统的框图。具体实施方式以下结合附图和具体实施方式对本专利技术的各个方面进行详细阐述。其中，众所周知的模块、单元及其相互之间的连接、链接、通信或操作没有示出或未作详细说明。并且，所描述的特征、架构或功能可在一个或一个以上实施方式中以任何方式组合。本领域技术人员应当理解，下述的各种实施方式只用于举例说明，而非用于限制本专利技术的保护范围。还可以容易理解，本文所述和附图所示的各实施方式中的模块或单元或处理方式可以按各种不同配置进行组合和设计。本专利技术的一种实施方式提供了一种日志监控方法，如图1所示，在本专利技术的实施方式中，该方法包括：100：根据预设的采集规则采集应用系统的日志数据；101：根据预设的解析规则解析日志数据；102：将解析后的日志数据与预设的告警策略进行匹配，根据匹配结果生成告警事件；103：将告警事件与预设的压制和清除策略进行匹配，若匹配成功，则存储告警事件并发送给用户。在本实施方式中，上述方法可以应用于分布式系统中，通过在被纳管的主机上安装采集代理来采集日志数据，从而实现分布式系统的日志数据统一采集。其中，采集规则可以存储在采集代理中也可以存储在被纳管的主机上。采集代理按照采集规则的设置从而实现对日志数据的增量或者全量、分钟或者秒级、按文件大小或者文件数量和按删除或者不删除等方式的采集。从而针对有需求的或者有价值的日志数据进行采集，减少对采集成本的浪费。在可选的实施方式中，采集代理在采集以前，还可以请求获取待采集的用用组件的应用组件锁。在请求应用组件锁的时候，如果所有应用组件已经循环处理完毕，则需要等待所有任务处理完成后再进行下一次循环。在本专利技术的一种实施方式中，提供了一种实现处理100的方法，如图2所示，该方法包括：104：轮询日志目录，标记日志目录中日志名称满足采集配置文件要求的日志数据作为第一数据；105：轮询第一数据，标记第一数据中文件名时间戳和最后修改时间数据满足采集配置文件要求的日志数据作为第二数据；106：采集所述第二数据。在本实施方式中，采集规则以采集配置文件的形式本文档来自技高网...

【技术保护点】
1.一种日志监控方法，其特征在于，所述监控方法包括：/n根据预设的采集规则采集应用系统的日志数据；/n根据预设的解析规则解析所述日志数据；/n将解析后的所述日志数据与预设的告警策略进行匹配，根据匹配结果生成告警事件；/n将所述告警事件与预设的压制和清除策略进行匹配，若匹配成功，则存储所述告警事件并发送给用户。/n

【技术特征摘要】
1.一种日志监控方法，其特征在于，所述监控方法包括：
根据预设的采集规则采集应用系统的日志数据；
根据预设的解析规则解析所述日志数据；
将解析后的所述日志数据与预设的告警策略进行匹配，根据匹配结果生成告警事件；
将所述告警事件与预设的压制和清除策略进行匹配，若匹配成功，则存储所述告警事件并发送给用户。


2.如权利要求1所述的监控方法，其特征在于，所述根据预设的采集规则采集应用系统的日志数据包括：
轮询日志目录，标记所述日志目录中日志名称满足采集配置文件要求的日志数据作为第一数据；
轮询所述第一数据，标记所述第一数据中文件名时间戳和最后修改时间数据满足所述采集配置文件要求的日志数据作为第二数据；
采集所述第二数据。


3.如权利要求1所述的监控方法，其特征在于，所述将解析后的所述日志数据与预设的告警策略进行匹配，根据匹配结果生成告警事件包括：
根据所述日志数据从所述告警策略中匹配对应的门限规则；
根据所述门限规则的阈值对所述日志数据进行告警判断；
若判断结果为需要告警，则生成所述告警事件。


4.如权利要求3所述的监控方法，其特征在于，
若从所述告警策略中未匹配到对应的门限规则，则结束对所述日志数据的处理。


5.如权利要求1所述的监控方法，其特征在于，所述将所述告警事件与预设的压制和清除策略进行匹配，若匹配成功，则存储所述告警事件并发送给用户包括：
读取所述告警事件的次数数据，与所述压制和清除策略中的压制次数进行对比；
若所述次数数据大于所述压制次数，则存储所述告警事件并发送给用户；
否则，清除所述告警事件。


6.一种日志监控系统，其特征在于，所述监控系统包括：
采集模块，用于根据预设的采集规则采集应用系统的日志数据...

【专利技术属性】
技术研发人员：刘伯松，赵子健，李琪，王士强，章彩虹，高昊阳，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：北京;11