软件系统的问题告警系统及方法技术方案

本发明专利技术实施例公开了一种软件系统的问题告警系统及方法，通过安装在客户端的filebeat采集日志数据；通过第一Kafka数据分发集群将日志数据分发至Storm数据分析集群；Storm数据分析集群对接收到的日志数据进行流式计算处理得到已处理日志数据；通过第二Kafka数据分发集群将已处理日志数据分发至文档式存储引擎进行数据存储；将已存储的已处理日志数据进行图形化处理，判断已处理日志数据是否存在异常值，若是，基于异常值和日志数据获取系统问题信息；基于系统问题信息发出告警提示信息。该软件系统的问题告警方法解决现有技术无法快速发现、定位并解决软件系统运行过程中出现的故障的问题。的故障的问题。的故障的问题。

【技术实现步骤摘要】
软件系统的问题告警系统及方法


[0001]本专利技术涉及计算机
，具体涉及一种软件系统的问题告警系统、方法、电子设备及存储介质。

技术介绍

[0002]软件系统在线运行过程会出现一系列问题，若对无法及时获取软件系统运行过程中出现的问题情况，可能会造成巨大的商业损失。现有的一些软件系统的监控业务功能比较单一，更多的是对软件系统硬件方面的监控，如cpu、内存和网络等，无法兼顾接口性能监控、异常监控、告警、日志追踪等综合能力，快速的发现问题，定位问题，从而方便快速去解决问题。
[0003]亟需一种能够快速的发现问题，定位问题，从而方便快速去解决问题的软件业务监控方法。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种软件系统的问题告警系统、方法、电子设备及存储介质，用以解决现有技术中无法快速发现、定位并解决软件系统运行过程中出现的故障的问题。
[0005]为实现上述目的，本专利技术实施例提供一种软件系统的问题告警方法，所述方法具体包括：
[0006]通过安装在客户端的filebeat采集日志数据；
[0007]将所述日志数据传入第一Kafka数据分发集群，通过第一Kafka数据分发集群将所述日志数据分发至Storm数据分析集群；
[0008]所述Storm数据分析集群对接收到的所述日志数据进行流式计算处理得到已处理日志数据；
[0009]将所述已处理日志数据传入第二Kafka数据分发集群，通过所述第二Kafka数据分发集群将所述已处理日志数据分发至文档式存储引擎进行数据存储；
[0010]将已存储的所述已处理日志数据进行图形化处理，判断所述已处理日志数据是否存在异常值，若是，基于所述异常值和日志数据获取系统问题信息；
[0011]基于所述系统问题信息发出告警提示信息。
[0012]在上述技术方案的基础上，本专利技术还可以做如下改进：
[0013]进一步地，所述通过安装在客户端的filebeat采集日志数据，包括：
[0014]获取用户信息，将用户信息和用户配置的日志采集参数写入filebeat默认配置文件中；
[0015]filebeat安装于所述客户端时，对用户信息进行验证。
[0016]进一步地，所述通过安装在客户端的filebeat采集日志数据，还包括：
[0017]所述filebeat成功启动后，携带用户信息与所述第一Kafka数据分发集群交互，以
进行数据传输。
[0018]进一步地，所述通过安装在客户端的filebeat采集日志数据，还包括：
[0019]基于应用场景对所述日志数据进行分级，所日志数据包括应用日志数据和性能日志数据；
[0020]通过所述应用日志数据记录业务应用信息，基于所述业务应用信息监控业务异常；
[0021]通过所述性能日志数据记录接口访问的性能信息，基于所述性能信息监控系统异常。
[0022]进一步地，所述将已存储的所述已处理日志数据进行图形化处理，判断所述已处理日志数据是否存在异常值，若是，基于所述异常值和日志数据获取系统问题信息，还包括：
[0023]确定各异常类型对应的异常码，监控每个异常码对应的异常情况，以确定系统问题对应的异常类型。
[0024]进一步地，所述基于所述系统问题信息发出告警提示信息，包括：
[0025]配置告警规则；
[0026]所述告警规则包括：当前分钟请求量大于第一预设值开始报警；
[0027]当前系统异常率大于第二预设值开始预警；
[0028]当前业务异常率大于第三预设值开始预警；
[0029]当前平均执行时间大于第四预设值开始预警；
[0030]当前响应时间大于第五预设值开始报警；
[0031]当前分钟请求量上周同比增长率大于第六预设值开始报警；
[0032]当前响应时间上周同比增长率大于第七预设值开始报警；
[0033]当前分钟请求量环比增长率大于第八预设值开始报警。
[0034]进一步地，所述基于所述系统问题信息发出告警提示信息，还包括：
[0035]配置告警提示信息的发送渠道，其中，所述发送渠道包括短信提示、邮件提示和微信提示；
[0036]所述告警提示信息包括告警产品线信息、告警应用名信息、告警方法信息、告警值信息、告警描述信息和触发时间信息。
[0037]一种软件系统的问题告警系统，包括：
[0038]filebeat模块，安装在客户端，用于采集日志数据；
[0039]第一Kafka数据分发集群，用于将所述日志数据分发至Storm数据分析集群；
[0040]Storm数据分析集群，用于对接收到的所述日志数据进行流式计算处理得到已处理日志数据；
[0041]第二Kafka数据分发集群，用于将所述已处理日志数据分发至文档式存储引擎进行数据存储；
[0042]异常值获取模块，用于将已存储的所述已处理日志数据进行图形化处理，判断所述已处理日志数据是否存在异常值，若是，基于所述异常值和日志数据获取系统问题信息；
[0043]告警提示模块，用于基于所述系统问题信息发出告警提示信息。
[0044]一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计
算机程序，所述处理器执行所述计算机程序时实现如所述方法的步骤。
[0045]一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述方法的步骤。
[0046]本专利技术实施例具有如下优点：
[0047]本专利技术中软件系统的问题告警方法，通过安装在客户端的filebeat采集日志数据；将所述日志数据传入第一Kafka数据分发集群，通过第一Kafka数据分发集群将所述日志数据分发至Storm数据分析集群；所述Storm数据分析集群对接收到的所述日志数据进行流式计算处理得到已处理日志数据；将所述已处理日志数据传入第二Kafka数据分发集群，通过所述第二Kafka数据分发集群将所述已处理日志数据分发至文档式存储引擎进行数据存储；将已存储的所述已处理日志数据进行图形化处理，判断所述已处理日志数据是否存在异常值，若是，基于所述异常值和日志数据获取系统问题信息；基于所述系统问题信息发出告警提示信息，解决了现有技术中无法快速发现、定位并解决软件系统运行过程中出现的故障的问题。
附图说明
[0048]为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。
[0049]本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种软件系统的问题告警方法，其特征在于，所述方法具体包括：通过安装在客户端的filebeat采集日志数据；将所述日志数据传入第一Kafka数据分发集群，通过第一Kafka数据分发集群将所述日志数据分发至Storm数据分析集群；所述Storm数据分析集群对接收到的所述日志数据进行流式计算处理得到已处理日志数据；将所述已处理日志数据传入第二Kafka数据分发集群，通过所述第二Kafka数据分发集群将所述已处理日志数据分发至文档式存储引擎进行数据存储；将已存储的所述已处理日志数据进行图形化处理，判断所述已处理日志数据是否存在异常值，若是，基于所述异常值和日志数据获取系统问题信息；基于所述系统问题信息发出告警提示信息。2.根据权利要求1所述软件系统的问题告警方法，其特征在于，所述通过安装在客户端的filebeat采集日志数据，包括：获取用户信息，将用户信息和用户配置的日志采集参数写入filebeat默认配置文件中；filebeat安装于所述客户端时，对用户信息进行验证。3.根据权利要求1所述软件系统的问题告警方法，其特征在于，所述通过安装在客户端的filebeat采集日志数据，还包括：所述filebeat成功启动后，携带用户信息与所述第一Kafka数据分发集群交互，以进行数据传输。4.根据权利要求1所述软件系统的问题告警方法，其特征在于，所述通过安装在客户端的filebeat采集日志数据，还包括：基于应用场景对所述日志数据进行分级，所日志数据包括应用日志数据和性能日志数据；通过所述应用日志数据记录业务应用信息，基于所述业务应用信息监控业务异常；通过所述性能日志数据记录接口访问的性能信息，基于所述性能信息监控系统异常。5.根据权利要求4所述软件系统的问题告警方法，其特征在于，所述将已存储的所述已处理日志数据进行图形化处理，判断所述已处理日志数据是否存在异常值，若是，基于所述异常值和日志数据获取系统问题信息，包括：确定各异常类型对应的异常码，监控每个异常码对应的异常情况，以确定系...

【专利技术属性】
技术研发人员：刘华，于泳洋，刘晓明，
申请(专利权)人：北京直客通科技有限公司，
类型：发明
国别省市：