一种日志告警监控方法技术

本申请提出一种日志告警监控方法

【技术实现步骤摘要】
一种日志告警监控方法、装置及计算机存储介质


[0001]本申请涉及一种计算机
，尤其涉及一种日志告警监控方法
、
装置及计算机存储介质
。

技术介绍

[0002]日志可以用于监测系统运行的状态，以及描述故障场景，在日常运维工作中起到了不可或缺的作用，因此，有必要对日志告警进行监控
。
[0003]然而，随着计算机科学的发展，系统环境逐渐变得复杂，日志监控告警的工作量也逐渐增大
。
基于此，如何提高日志告警的监控系统的监控性能，以实现提高系统运维质量，成了一个亟需解决的问题
。

技术实现思路

[0004]本申请实施例提供一种日志告警监控方法
、
装置及计算机存储介质，以解决相关技术存在的问题，技术方案如下：第一方面，本申请实施例提供了一种日志告警监控方法，包括：获取采集配置信息；根据所述采集配置信息，采集目标服务器的日志数据，通过
kafka
将所述日志数据分流到磁盘上存储；将所述日志数据转化为结构化数据，通过所述
kafka
将所述结构化数据分流到
elasticsearch
集群上存储；获取监控告警系统上的监控策略配置信息；根据所述监控策略配置信息，对所述结构化数据进行预聚合计算，生成指标数据上报给所述监控告警系统，所述指标数据包括日志关键字和日志指标；通过所述监控告警系统根据所述监控策略配置信息，对所述指标数据进行告警检测，输出告警信息
。
[0005]在一种实施方式中，所述采集配置信息通过以下方式获得：将采集项配置为所述目标服务器；基于日志主题，配置插件配置信息和日志过滤信息，所述插件配置信息包括采集类型
、
采集目标
、
日志路径和日志字符集，所述日志过滤信息包括过滤规则；基于所述采集项
、
所述插件配置信息和所述日志过滤信息，获得所述采集配置信息
。
[0006]在一种实施方式中，根据所述采集配置信息，采集目标服务器的日志数据，通过
kafka
将所述日志数据分流到磁盘上存储包括：调用日志采集器根据所述采集项和所述插件配置信息，采集所述目标服务器的原始日志数据，所述日志采集器托管在
agent
上，所述
agent
安装部署在所述目标服务器上；根据所述日志过滤信息，对所述原始日志数据进行过滤，获得所述日志数据；
将所述日志数据上报所述
kafka
，通过所述
kafka
将所述日志数据分流到所述磁盘上存储
。
[0007]在一种实施方式中，所述方法还包括：利用
Agent
命令管道
、
数据管道
、
文件管道对日志采集器的生命周期进行管理
。
[0008]在一种实施方式中，将所述日志数据转化为结构化数据，通过所述
kafka
将所述结构化数据分流到
elasticsearch
集群上存储包括：获取预先配置的清洗规则；根据所述清洗规则，将所述日志数据清洗转化为所述结构化数据；获取预先配置的存储配置信息；通过所述
kafka
根据所述存储配置信息，将所述结构化数据分流到所述
elasticsearch
集群上存储
。
[0009]在一种实施方式中，所述监控策略配置信息包括指标字段
、
汇聚方法和汇聚周期；根据所述监控策略配置信息，对所述结构化数据进行预聚合计算，生成指标数据上报给所述监控告警系统包括：以所述指标字段
、
所述汇聚方法和所述汇聚周期为聚合维度，周期性对所述结构化数据进行预聚合计算，生成所述指标数据上报给所述监控告警系统
。
[0010]在一种实施方式中，所述监控策略配置信息还包括检测算法和所述检测算法对应的告警触发条件；通过所述监控告警系统根据所述监控策略配置信息，对所述指标数据进行告警检测，输出告警信息包括：通过所述监控告警系统根据所述检测算法在所述汇聚周期内，检测所述指标数据是否满足所述告警触发条件；当确定所述指标数据满足所述告警触发条件时，生成告警事件；根据所述告警事件，输出所述告警信息
。
[0011]第二方面，本申请实施例还提供了一种日志告警监控装置，包括：采集模块，用于获取采集配置信息；根据所述采集配置信息，采集目标服务器的日志数据，通过
kafka
将所述日志数据分流到磁盘上存储；处理模块，用于将所述日志数据转化为结构化数据，通过所述
kafka
将所述结构化数据分流到
elasticsearch
集群上存储；预聚合模块，用于获取监控告警系统上的监控策略配置信息；根据所述监控策略配置信息，对所述结构化数据进行预聚合计算，生成指标数据上报给所述监控告警系统，所述指标数据包括日志关键字和日志指标；监控告警模块，用于通过所述监控告警系统根据所述监控策略配置信息，对所述指标数据进行告警检测，输出告警信息
。
[0012]在一种实施方式中，所述采集配置信息由所述采集模块通过以下方式获得：将采集项配置为所述目标服务器；基于日志主题，配置插件配置信息和日志过滤信息，所述插件配置信息包括采集类型
、
采集目标
、
日志路径和日志字符集，所述日志过滤信息包括过滤规则；基于所述采集项
、
所述插件配置信息和所述日志过滤信息，获得所述采集配置信
息
。
[0013]在一种实施方式中，所述采集模块具体用于：调用日志采集器根据所述采集项和所述插件配置信息，采集所述目标服务器的原始日志数据，所述日志采集器托管在
agent
上，所述
agent
安装部署在所述目标服务器上；根据所述日志过滤信息，对所述原始日志数据进行过滤，获得所述日志数据；将所述日志数据上报所述
kafka
，通过所述
kafka
将所述日志数据分流到所述磁盘上存储
。
[0014]在一种实施方式中，所述采集模块还用于：利用
Agent
命令管道
、
数据管道
、
文件管道对日志采集器的生命周期进行管理
。
[0015]在一种实施方式中，所述处理模块具体用于：获取预先配置的清洗规则；根据所述清洗规则，将所述日志数据清洗转化为所述结构化数据；获取预先配置的存储配置信息；通过所述
kafka
根据所述存储配置信息，将所述结构化数据分流到所述
elasticsearch
集群上存储
。
[0016]在一种实施方式中，所述监控策略配置信息包括指标字段
、
汇聚方法和汇聚周期；所述预聚合模块具体用于：以所述指标字段<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种日志告警监控方法，其特征在于，包括：获取采集配置信息；根据所述采集配置信息，采集目标服务器的日志数据，通过
kafka
将所述日志数据分流到磁盘上存储；将所述日志数据转化为结构化数据，通过所述
kafka
将所述结构化数据分流到
elasticsearch
集群上存储；获取监控告警系统上的监控策略配置信息；根据所述监控策略配置信息，对所述结构化数据进行预聚合计算，生成指标数据上报给所述监控告警系统，所述指标数据包括日志关键字和日志指标；通过所述监控告警系统根据所述监控策略配置信息，对所述指标数据进行告警检测，输出告警信息
。2.
根据权利要求1所述的方法，其特征在于，所述采集配置信息通过以下方式获得：将采集项配置为所述目标服务器；基于日志主题，配置插件配置信息和日志过滤信息，所述插件配置信息包括采集类型
、
采集目标
、
日志路径和日志字符集，所述日志过滤信息包括过滤规则；基于所述采集项
、
所述插件配置信息和所述日志过滤信息，获得所述采集配置信息
。3.
根据权利要求2所述的方法，其特征在于，根据所述采集配置信息，采集目标服务器的日志数据，通过
kafka
将所述日志数据分流到磁盘上存储包括：调用日志采集器根据所述采集项和所述插件配置信息，采集所述目标服务器的原始日志数据，所述日志采集器托管在
agent
上，所述
agent
安装部署在所述目标服务器上；根据所述日志过滤信息，对所述原始日志数据进行过滤，获得所述日志数据；将所述日志数据上报所述
kafka
，通过所述
kafka
将所述日志数据分流到所述磁盘上存储
。4.
根据权利要求3所述的方法，其特征在于，所述方法还包括：利用
Agent
命令管道
、
数据管道
、
文件管道对日志采集器的生命周期进行管理
。5.
根据权利要求1所述的方法，其特征在于，将所述日志数据转化为结构化数据，通过所述
kafka
将所述结构化数据分流到
elasticsearch
集群上存储包括：获取预先配置的清洗规则...

【专利技术属性】
技术研发人员：张路，毛东成，华成龙，宋乃鸿，
申请(专利权)人：广州嘉为科技有限公司，
类型：发明
国别省市：