用于应用程序的应用日志监控方法以及系统技术方案

本发明专利技术公开了一种用于应用程序的应用日志监控方法以及系统，该应用日志监控方法包括：对收集的应用日志的有效性进行检验，以筛选出有效应用日志；判断所筛选的所述有效应用日志是否属于堆栈；根据预定规则指标的配置项，对不属于所述堆栈的所述有效应用日志进行预见性异常和非预见性异常分析；根据所述配置项发送与分析结果相关的告警信息。本发明专利技术的目的至少在于，能够实时地、有针对性地对日志中业务逻辑可能出现的缺陷进行分析和告警。

【技术实现步骤摘要】
用于应用程序的应用日志监控方法以及系统
本专利技术涉及计算机
，具体来说，涉及一种用于应用程序的应用日志监控方法以及系统。
技术介绍
日志在计算机系统中是一个应用广泛的概念，操作系统内核、各种应用服务器等等、程序都有可能输出日志。日志的内容、规模和用途也各不相同，很难一概而论。随着软件技术的发展，软件的代码行数变得非常庞大，维护软件的工作也变得十分复杂和困难。通常，可以在编写代码的过程中，添加关键业务的日志记录代码，这样在软件运行过程中，关键业务的程序处理情况就记录在日志文件中了，一旦软件运行异常，就可以通过分析日志信息，做出相应的处理。现有的日志分析系统，通常由日志采集代理和日志分析管理系统构成，可以对数量较小的日志文件进行分析处理。然而，现有的日志分析系统无法胜任海量日志文件的分析处理，并且缺乏实时分析、查询和预警能力。市面上基于日志实时检索监控业务指标以及异常堆栈还没有具体功能实现。另一方面，随着计算机技术的成熟，运行于智能设备的应用程序虽然越来越完善，但是实际运行过程中又难免会出现错误的情况。因此，工程技术人员通常需要通过日志系统，记录应用程序的运行状态及操作内容，以便人员查看、作为调试设备的依据。日志记录应用程序的各种运行状态和操作信息，生成日志文件。但是查看和分析日志都是基于Linux脚本使用传统工具对日志进行检测。这些工具方法具有以下缺点：不及时，不能第一时间发现问题；不直观、不易扩展，适用范围只限于少量的主机和日志文件类型。现有监控应用日志的方法，应用服务器记录应用日志，定期地将应用日志文件上传到远程监控服务器，再由相关技术维护人员定期从监控服务器获取日志文件进行分析，从而无法实时、准确地对日志进行处理，满足应用层面对报警监控的实时性需求，使日志监控效率较低。
技术实现思路
针对相关技术中的问题，本专利技术提出一种用于应用程序的应用日志监控方法以及系统，能够实时地、有针对性地对日志中业务逻辑可能出现的缺陷进行分析和告警。本专利技术的技术方案是这样实现的：根据本专利技术的一个方面，提供了一种用于应用程序的应用日志监控方法，包括：对收集的应用日志的有效性进行检验，以筛选出有效应用日志；判断所筛选的所述有效应用日志是否属于堆栈；根据预定规则指标的配置项，对不属于所述堆栈的所述有效应用日志进行预见性异常和非预见性异常分析；根据所述配置项发送与分析结果相关的告警信息。根据本专利技术的实施例，应用日志监控方法还包括：通过可视化控台根据监控指标至少对错误码类型、统计指标类型中的一种进行监控，所述监控指标包括监控级别、是否升级报警、通知频率、通知人中的至少一种。根据本专利技术的实施例，发送所述告警信息包括：利用分钟级别定时任务来判断是否满足告警条件。根据本专利技术的实施例，根据所述配置项发送与分析结果相关的告警信息包括：基于指标来获取对应的统计项的结果，并对所述统计项的结果与所述指标的阈值进行比对；如果所述统计项的结果达到所述指标的所述阈值，则发送所述告警信息。根据本专利技术的实施例，应用日志监控方法还包括：在所述应用程序本地安装用于抓取所述收集应用日志的收集工具。根据本专利技术的另一方面，提供了一种用于应用程序的应用日志监控系统，其特征在于，包括：收集工具，安装于所述应用程序本地，用于将应用日志采集至分布式消息队列；日志路由模块，用于对所述分布式消息队列中的应用日志的有效性进行检验，以筛选出有效应用日志；日志处理模块，用于判断所筛选的所述有效应用日志是否属于堆栈，并且根据预定规则指标的配置项，对不属于所述堆栈的所述有效应用日志进行预见性异常和非预见性异常分析；报警通知模块，用于根据所述配置项发送与分析结果相关的告警信息。根据本专利技术的实施例，所述报警通知模块还用于接收无日志系统发送的socket请求或微服务请求，并且无日志应用被转换为所述有效应用日志。根据本专利技术的实施例，应用日志监控系统还包括跑批模块，用于定时加载所述配置项和相关指标。根据本专利技术的实施例，应用日志监控系统还包括可视化控台，用于根据监控指标至少对错误码类型、统计指标类型中的一种进行监控，所述监控指标包括监控级别、是否升级报警、通知频率、通知人中的至少一种。根据本专利技术的实施例，应用日志监控系统还包括分布式缓存或数据库，用于存储所述日志处理模块的分析结果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术实施例的用于应用程序的应用日志监控方法的流程图；图2是根据本专利技术实施例的应用日志监控方法的告警步骤的流程图；图3是根据本专利技术实施例的应用日志监控系统的架构示意图；图4是根据本专利技术实施例的应用日志监控系统的可视化控台错误码类配置的示意图；图5是根据本专利技术实施例的判断堆栈入库的配置项的示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。针对现有技术中的缺点，本专利技术提供了一种用于应用程序的应用日志监控方法和应用日志监控系统。该应用日志监控方法包括以下步骤S1至S4。以下接合图1所示，对本专利技术的应用日志监控方法进行说明。(1)步骤S1在该步骤S1处，首先对收集的应用日志的有效性进行检验，以筛选出有效应用日志。具体的，在步骤S1中，可以在判断应用日志的有效性之前收集应用日志，通过步骤S11进行filebeat(一种本地文件的日志数据采集器)正则校验；在步骤S12处，判断应用日志校验是否通过，在应用日志校验通过的情况下进行至步骤S13，将收集的应用日志上送至集群，例如上送至kafka集群。然后在图1中的步骤S14处，可以通过日志路由模块来消费集群的应用日志，并且判断应用日志是否有效。在判断引用日志有效的情况下，方法进行至步骤S2。(2)步骤S2在该步骤S2处，判断所筛选的所述有效应用日志是否属于堆栈。如图1所示，在该示出的方法流程示例中，在步骤S15处判断所筛选的所述有效应用日志是否属于堆栈。可以根据实际需要来配置判断是否属于堆栈的规则。当判断有效应用日志属于堆栈时，进行步骤S16，堆栈应用日志入库；当判断有效应用日志不属于堆栈时，则进行步骤S17，对需要监控的有效应用日志进行处理。图1中步骤S16处堆栈日志入库与不属于堆栈的有效日志入库逻辑相同。图5是根据本专利技术实施例的判断堆栈入库的配置项的示意图。(3)步骤S3在该步骤S3处，根据预定规则指标的配置项，对不属于所述堆栈的所述有效应用本文档来自技高网...

【技术保护点】
1.一种用于应用程序的应用日志监控方法，其特征在于，包括：/n对收集的应用日志的有效性进行检验，以筛选出有效应用日志；/n判断所筛选的所述有效应用日志是否属于堆栈；/n根据预定规则指标的配置项，对不属于所述堆栈的所述有效应用日志进行预见性异常和非预见性异常分析；/n根据所述配置项发送与分析结果相关的告警信息。/n

【技术特征摘要】
1.一种用于应用程序的应用日志监控方法，其特征在于，包括：
对收集的应用日志的有效性进行检验，以筛选出有效应用日志；
判断所筛选的所述有效应用日志是否属于堆栈；
根据预定规则指标的配置项，对不属于所述堆栈的所述有效应用日志进行预见性异常和非预见性异常分析；
根据所述配置项发送与分析结果相关的告警信息。


2.根据权利要求1所述的用于应用程序的应用日志监控方法，其特征在于，还包括：
通过可视化控台根据监控指标至少对错误码类型、统计指标类型中的一种进行监控，所述监控指标包括监控级别、是否升级报警、通知频率、通知人中的至少一种。


3.根据权利要求1所述的用于应用程序的应用日志监控方法，其特征在于，发送所述告警信息包括：
利用分钟级别定时任务来判断是否满足告警条件。


4.根据权利要求1所述的用于应用程序的应用日志监控方法，其特征在于，根据所述配置项发送与分析结果相关的告警信息包括：
基于指标来获取对应的统计项的结果，并对所述统计项的结果与所述指标的阈值进行比对；
如果所述统计项的结果达到所述指标的所述阈值，则发送所述告警信息。


5.根据权利要求1所述的用于应用程序的应用日志监控方法，其特征在于，还包括：
在所述应用程序本地安装用于抓取所述收集应用日志的收集工具。


6.一种用...

【专利技术属性】
技术研发人员：周晔，穆海洁，何晓楠，
申请(专利权)人：上海汇付数据服务有限公司，
类型：发明
国别省市：上海;31