一种基于日志的监控告警方法及系统技术方案

本发明专利技术公开了一种基于日志的监控告警方法及系统。该方法包括：预先在每台应用服务器中配置统一的日志格式以及在缓存中预先配置每个应用服务器对应的日志告警过滤规则；从应用服务器中采集日志，并在日志中添加应用服务器的设备标识；根据设备标识从缓存中获取应用服务器对应的日志告警过滤规则，并根据日志告警过滤规则对采集到的日志进行过滤，当日志满足日志告警过滤规则时，则触发应用服务器的告警信息。通过本发明专利技术可以对需要触发监控报警的日志配置过滤规则，当符合过滤规则时，则触发监控预警，以便运维人员第一时间接收到程序错误信息，及时采取有效措施。

Monitoring alarm method and system based on log

The invention discloses a method and a system for monitoring alarm based on log. The method includes: Advance in each application server configuration unified log format in the cache and pre configure each application server corresponding log alarm filtering rules; collecting logs from the application server, and add the application server in the log device identification; alarm filtering rules according to the log device identifier from the cache access to the corresponding application server and, according to filter the log alarm filtering rules on the collected log log, when meet the alarm filtering rules, triggering the alarm information of the application server. The invention can trigger to log configuration monitoring and alarm filtering rules, when complying with the filtering rule, triggering the warning and monitoring, operation and maintenance personnel for the first time to receive the program error information, to take timely and effective measures.

【技术实现步骤摘要】

本专利技术涉及互联网通信
，尤其涉及一种基于日志的监控告警方法及系统。
技术介绍
“高可用性”(HighAvailability)通常用来描述一个系统经过特殊设计，从而减少停止服务的时间，从而使其服务保持高度的可使用性。随着互联网行业的不断发展，网站系统的高可用性变得越来越重要。为了确保系统的高可用性，通常主要从系统架构、容灾性、监控报警、故障转移这四个方面来进行保障。其中，监控报警是指对在线服务和非在线服务的服务器和相应的进程进行状态检测，当出现宕机或者某项服务进程僵死之后，能够在尽量短的时间获得该信息，然后通过报警系统将报警信息发送到一线运维人员。然而，这种针对应用服务器和进程状态监测的方案至少具有如下缺陷：(1)存在服务进程状态正常，但是由于系统调用的其他第三方应用出现故障，而无法及时发现问题的情况，致使用户的使用体验差。(2)存在服务进程状态正常，各项硬件指标正常，但是系统本身某些未被监控的资源耗尽，同样无法及时发现问题。尤其在部署了大量应用服务器的场景下，无法及时发现系统故障会致使问题越发严重。
技术实现思路
本专利技术的主要目的在于提出一种基于日志的监控告警方法及系统，用以解决现有技术中应用服务器无法及时发现系统故障的问题。为实现上述专利技术目的，本专利技术采用下述的技术方案：依据本专利技术的一个专利技术，提供一种基于日志的监控告警方法，包括：预先在每台应用服务器中配置统一的日志格式以及在缓存中预先配置每个应用服务器对应的日志告警过滤规则；从应用服务器中采集日志，并在所述日志中添加所述应用服务器的设备标识；根据所述设备标识从所述缓存中获取所述应用服务器对应的日志告警过滤规则，并根据所述日志告警过滤规则对采集到的日志进行过滤，当所述日志满足所述日志告警过滤规则时，则触发所述应用服务器的告警信息。进一步地，所述日志格式包括日志时间、日志级别、日志输出类、日志内容。进一步地，所述日志告警过滤规则包括过滤字段和/或所述过滤字段的出现次数阈值；其中，所述过滤字段包括日志级别、日志输出类、日志内容中的任一种或者多种。进一步地，所述根据所述日志告警过滤规则对采集到的日志进行过滤，具体包括：当所述日志告警过滤规则包括所述过滤字段时，则将该条日志包含的字段分别与所述过滤字段进行匹配，当匹配时，则触发所述应用服务器的告警信息。进一步地，所述根据所述日志告警过滤规则对采集到的日志进行过滤，具体包括：当所述日志告警过滤规则包括所述过滤字段的出现次数阈值时，将该条日志包含字段分别与所述过滤字段进行匹配；当匹配时，则从缓存中获取所述过滤字段的出现次数；判断所述出现次数加1后的值是否大于所述出现次数阈值：若大于，则触发所述应用服务器的告警信息，并清空所述缓存中的出现次数；若小于或等于，则将出现次数加1后的值保存至所述缓存中。依据本专利技术的一个专利技术，提供一种基于日志的监控告警系统，包括：配置模块，用于预先在每台应用服务器中配置统一的日志格式以及在缓存中预先配置每个应用服务器对应的日志告警过滤规则；采集模块，用于从应用服务器中采集日志，并在所述日志中添加所述应用服务器的设备标识；告警模块，用于根据所述设备标识从所述缓存中获取所述应用服务器对应的日志告警过滤规则，并根据所述日志告警过滤规则对采集到的日志进行过滤，当满足所述日志告警过滤规则时，则触发所述应用服务器的告警信息。进一步地，所述配置模块配置的日志格式包括日志时间、日志级别、日志输出类、日志内容。进一步地，所述配置模块配置的日志告警过滤规则包括过滤字段和/或所述过滤字段的出现次数阈值；其中，所述过滤字段包括日志级别、日志输出类、日志内容中的任一种或者多种。进一步地，所述告警模块具体用于：当所述日志告警过滤规则包括所述过滤字段时，则将该条日志包含的字段分别与所述过滤字段进行匹配，当匹配时，则触发所述应用服务器的告警信息。进一步地，所述告警模块具体用于：当所述日志告警过滤规则包括所述过滤字段的出现次数阈值时，将该条日志包含字段分别与所述过滤字段进行匹配；当匹配时，则从缓存中获取所述过滤字段的出现次数；判断所述出现次数加1后的值是否大于所述出现次数阈值：若大于，则触发所述应用服务器的告警信息，并清空所述缓存中的出现次数；若小于或等于，则将出现次数加1后的值保存至所述缓存中。本专利技术的有益效果如下：本专利技术所提供的基于日志的监控告警方法及系统，预先在每台应用服务器中配置统一的日志格式以及在缓存中预先配置每个应用服务器对应的日志告警过滤规则；从应用服务器中采集日志，并在日志中添加应用服务器的设备标识；根据设备标识从缓存中获取应用服务器对应的日志告警过滤规则，并根据日志告警过滤规则对采集到的日志进行过滤，当日志满足日志告警过滤规则时，则触发应用服务器的告警信息。通过本专利技术可以对需要触发监控报警的日志配置过滤规则，当符合过滤规则时，则触发监控预警；预警信息可以及时通知给对应的运维人员，以便运维人员第一时间接收到程序错误信息，及时采取有效措施。附图说明图1为本专利技术实施例中基于日志的监控告警方法的流程图；图2为本专利技术实施例中基于日志的监控告警方法的结构框图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例提供一种基于日志的监控告警方法，如图1所示，具体包括如下步骤：步骤1，预先在每台应用服务器中配置统一的日志格式以及在缓存中预先配置每个应用服务器对应的日志告警过滤规则。在该步骤中，为了保证所有应用服务器中的日志都够被解析，本专利技术中对日志的格式进行了规范，采用统一的日志格式，从而保证每个应用服务器的打印日志能否被正确读取及解析。具体地，日志格式包括日志时间、日志级别、日志输出类以及日志内容。在配置日志格式时，需要调整日志格式中的分隔符、换行符和输出字段。对于分隔符，由于需要从日志中解析各个字段，为了避免分隔符在日志内容本身中出现，导致格式错误，需要选用不常用的字符。但是现有的日志输出工具，通常采用了常见分隔符，如空格，制表符等。为了与现有的日志格式区分开，本专利技术中采用^C作为分隔符，^C代表Ctrl+C，即ascii码的控制符\\003，为不可见字符。是由于^C通常不会在普通日志内容中输出，所以作为分隔符比较合适。对于日志的输出字段，本专利技术中应至少包含到毫秒的日志时间、日志输出类、日志级别、日志内容。通过设置毫秒级的日志输出字段，确保告警信息能够快速被监控到。对于换行符，在日志内容中，很可能出现换行符。而由于日志与日志之间也要通过换行符来进行分割，所以要对日志内容中的换行符进行转义。也就是将字符“\\n”转换为“\\\\n”。因此，调整后的具体地日志格式如下：2016-06-0919:57:06,954^CWARN^Ccn.nubia.log.demoServiceImpl^CFailtoReadFile在该步骤中，针对每个应用服务器配置日志告警过滤规则。本专利技术中将日志告警过滤规则根据每个应用服务器的设备标识添加到分布式缓存中。由于过滤日志的行为非常频繁，通过分布式缓存来存储日志告警过滤规则，可以有效避免因采用数据库存储造成的读取效率低的问题。例如，可以采用Redis搭建一个分布式本文档来自技高网...

【技术保护点】
一种基于日志的监控告警方法，其特征在于，包括：预先在每台应用服务器中配置统一的日志格式以及在缓存中预先配置每个应用服务器对应的日志告警过滤规则；从应用服务器中采集日志，并在所述日志中添加所述应用服务器的设备标识；根据所述设备标识从所述缓存中获取所述应用服务器对应的日志告警过滤规则，并根据所述日志告警过滤规则对采集到的日志进行过滤，当所述日志满足所述日志告警过滤规则时，则触发所述应用服务器的告警信息。

【技术特征摘要】
1.一种基于日志的监控告警方法，其特征在于，包括：预先在每台应用服务器中配置统一的日志格式以及在缓存中预先配置每个应用服务器对应的日志告警过滤规则；从应用服务器中采集日志，并在所述日志中添加所述应用服务器的设备标识；根据所述设备标识从所述缓存中获取所述应用服务器对应的日志告警过滤规则，并根据所述日志告警过滤规则对采集到的日志进行过滤，当所述日志满足所述日志告警过滤规则时，则触发所述应用服务器的告警信息。2.如权利要求1所述的方法，其特征在于，所述日志格式包括日志时间、日志级别、日志输出类、日志内容。3.如权利要求2所述的方法，其特征在于，所述日志告警过滤规则包括过滤字段和/或所述过滤字段的出现次数阈值；其中，所述过滤字段包括日志级别、日志输出类、日志内容中的任一种或者多种。4.如权利要求3所述的方法，其特征在于，所述根据所述日志告警过滤规则对采集到的日志进行过滤，具体包括：当所述日志告警过滤规则包括所述过滤字段时，则将该条日志包含的字段分别与所述过滤字段进行匹配，当匹配时，则触发所述应用服务器的告警信息。5.如权利要求3所述的方法，其特征在于，所述根据所述日志告警过滤规则对采集到的日志进行过滤，具体包括：当所述日志告警过滤规则包括所述过滤字段的出现次数阈值时，将该条日志包含字段分别与所述过滤字段进行匹配；当匹配时，则从缓存中获取所述过滤字段的出现次数；判断所述出现次数加1后的值是否大于所述出现次数阈值：若大于，则触发所述应用服务器的告警信息，并清空所述缓存中的出现次数；若小于或等于，则将出现次数加1后的值保存至所述...

【专利技术属性】
技术研发人员：林浩，
申请(专利权)人：努比亚技术有限公司，
类型：发明
国别省市：广东;44