一种日志处理运维监控系统技术方案

本发明专利技术公开了一种日志处理运维监控系统，包括日志收集层：将收集到的数据进行结构化和归一化，并进行日志集中管理存储；日志展示层：通过一个web展示界面，将日志数据收集层获取到的日志数据进行统一展示及提供多维度的检索方式；日志提取层：主要完成日志数据的筛选过滤和采集，并根据日志监控告警模块设定的规则，将需要监视的日志数据转发至日志监控告警模块；日志监控告警模块：主要完成监控设置，对符合告警规则的日志信息进行告警；并将告警结果进行集中展现及提供告警历史日志数据查询接口。本发明专利技术能够提升实时预警，高效问题定位能力，提前发现和避开灾难，有效地提高系统安全性，降低企业运营和系统维护成本。

Log processing operation and maintenance monitoring system

The invention discloses a log processing and monitoring system, including log collection: collected data will be structured and normalized, and the centralized management of log storage; the log display layer by a web display interface, the log data log data collection layer access to unified display and retrieval methods provide dimensions; log extraction layer: mainly complete log data filtering and collection, and according to the rules set alarm log monitoring module, log data will be forwarded to the need to monitor log monitoring alarm module; log monitoring alarm module: the main monitor settings, alarm to log information with alarm rules; and the warning results to show and alarm history log data query interface. The invention can improve the real-time warning, high efficiency problem locating ability, early detection and avoidance of disaster, effectively improve the system security and reduce the cost of operation and maintenance of the system.

【技术实现步骤摘要】

本专利技术涉及一种日志处理系统，尤其涉及一种日志处理运维监控系统。
技术介绍
随着IT行业的快速发展，系统压力的不断增加，在支撑能力上对支撑系统提出了越来越高要求。为满足全业务的支撑要求，大型的互联网及传统企业大都构建了同城或者异地双中心，并对应用系统进行了分布式架构的改造。由于业务种类越来越繁多、应用变更越渐频繁，系统架构越来越复杂，系统在运行过程中所产生大量日志信息，日志数据呈爆炸式增长。日志通常会记录下系统中硬件、软件、应用的问题信息以及事件信息，用户可以通过它来检查错误发生的原因，查看系统中发生过的事件，或者寻找受到攻击时攻击者留下的痕迹。因此IT系统日志信息管理工作对系统运维的工作非常重要。大规模、分布式的特性决定了日志的源头越来越分散，产生的速度越来越快，在运维过程中往往面临日志存储相对零散、无法多维度查询、不能及时进行日志分析和告警等问题。由于需要查看的数据量太大，传统的手段和工具显得日益力不从心，大量日志处理及情况反馈滞后带来一系列问题，有日志数据就如同没有收集任何数据一样毫无用处。日志价值在于利用日志进行数据分析、问题诊断、操作/安全审计、性能优化等。如何高效的收集和分析海量的日志数据，充分发挥日志的价值成为一个急需解决的难题。但目前实际应用中对日志的使用及分析方式，比较盲目，主要有以下几种途径：1)日志被动分析：依赖于操作用户报障，如用户在使用某项功能或执行某项操作响应变慢，执行时间较正常时超出许多，甚至应用系统无法正常使用。由用户报障给业务部门，业务部门自查后再报障给维护部门，再由维护人员通过分析性能问题涉及大量的业务日志进行跟进处理。2)日志管理方式：通常情况下，分为分散存储及集中存储管理两种方式，分散方式主要是将日志存储在各自机器上，当要用的时候，直接分析日志信息；集中存储方式，主要是编写脚本，在各个主机上部署定时任务，系统空闲时打包系统中的所有日志，集中上传到FTP或者文件服务器中。3)日志分析方式：牢记每个系统架构，主机信息，以及日志存放的位置，出现问题后，登陆到相应的系统，利用常用shell命令(grep、awk和wc等)逐一检查。当查看日志信息的时候，根据经验或者手册，辨别日志具体字段的含义。现有技术的缺点如下：1)日志被告动分析：通过用户报障，再去分析日志，这时业务已经受到影响，是个别用户性能问题，还是系统无法正常提供服务，无法统一进行判断，是一种后知后觉的处理方法。这种分析方式方式真正得到解决需要花费大量时间，对业务造成不可估量的影响。2)日志管理方式：这种方式当日志量比较大的时，集中上传日志到日志中心，对带宽要求比较高，势必会影响到现在运行系统性能，而与此同时因日志种类效多，当存储方式较为分散时，无法真正过滤到有效数据进行关联分析，另外缺乏辅助分析的技术手段，缺乏可视化操作界面，不了解底日志细节时，根本无从下手。3)日志分析方式，一般使用grep、awk和wc等Linux命令编写复杂正则进行匹配以及处理，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。另外这种分析方式缺乏关联分析机制，无法将一个用户在多个设备上的事件痕迹进行关联分析，形成一个完整的事件相关操作过程。由上可见，现有技术方案虽然有可以采集分析日志信息，都存在缺陷，无法精准的利用日志价值。日志采集与分析需要花费大量人力、时间来进行处理，存在一定的被动性及盲目性。
技术实现思路
本专利技术所要解决的技术问题是提供一种日志处理运维监控系统，能够对日志采集、存储、关联分析、告警进行集中处理，提升实时预警，高效问题定位能力，提前发现和避开灾难，有效地提高系统安全性，降低企业运营和系统维护成本。本专利技术为解决上述技术问题而采用的技术方案是提供一种日志处理运维监控系统，包括日志收集层：用于收集网络日志数据、业务系统日志数据、数据库日志数据、操作系统日志数据和中间件日志数据，将收集到的数据进行结构化和归一化，并进行日志集中管理存储；日志展示层：通过一个web展示界面，将日志数据收集层获取到的日志数据进行统一展示及提供多维度的检索方式；日志提取层：主要完成日志数据的筛选过滤和采集，并根据日志监控告警模块设定的规则，将需要监视的日志数据转发至日志监控告警模块；日志监控告警模块：主要完成监控脚本的设置、告警规则设置、告警阀值设置以及告警联系人设置，从日志提取层定时采集指定的日志数据，然后将采集到的数据与指定的报警阀值进行比较，对符合告警规则的日志信息进行告警；并将告警结果进行集中展现及提供告警历史日志数据查询接口。上述的日志处理运维监控系统，其中，所述日志收集层通过SNMP,IPMI,WMI,trappers,SSH,telnet,JMX或者Web拨测方式来获取对应的日志数据。上述的日志处理运维监控系统，其中，所述日志展示层通过曲线图、柱状图或饼状态图将数据进行图形化显示。上述的日志处理运维监控系统，其中，所述日志监控告警模块包括：告警规则配置层：对需要告警的日志数据进行告警规则设置、告警阀值设置、告警联系人设置和告警方式设置；告警事件生成层：将告警事件进行实时记录，将告警结果存入数据库以备调用，并将告警结果形成分析报表，统计一段时间内的故障率和故障发生趋势；用户展示管理层：通过可视化web界面方式，实时呈现日志监控信息，统计日志结果、日志报警故障结果进行统一展示，并对多用户的不同权限实现统一控制。上述的日志处理运维监控系统，其中，所述告警事件生成层还包括将符合告警规则的同一类型日志进行合并处理，统计出一段时间内同一条日志出现次数，并将日志监控信息通过短信或者邮件的方式推送给用户。上述的日志处理运维监控系统，其中，所述告警事件生成层还包括将同一用户在多个设备上的日志数据进行关联归并处理，形成一个完整的相关事件的操作过程。本专利技术对比现有技术有如下的有益效果：本专利技术提供的日志处理运维监控系统，主要分为日志数据收集展现模块、日志数据提取模块和日志监控报警模块，对日志采集、存储、关联分析、告警进行集中处理，提升实时预警，高效问题定位能力，提前发现和避开灾难，有效地提高系统安全性，降低企业运营和系统维护成本。附图说明图1为本专利技术日志处理运维监控系统结构示意图；图2为本专利技术日志处理运维监控系统的业务逻辑图。具体实施方式下面结合附图和实施例对本专利技术作进一步的描述。图1为本专利技术日志处理运维监控系统结构示意图。请参见图1，本专利技术提供的日志处理运维监控系统，主要分为三大模块，分别是日志数据收集展现模块、日志数据提取模块和日志监控报警模块，下面详细介绍每个模块完成的功能。1.日志搜集模块此模块主要完成基础日志数据的收集与图形展示。1)、收集层用于收集网络日志数据、业务系统日志数据、数据库日志数据、操作系统日志数据、中间件日志数据等，然后将收集到的数据进行规范化，并进行日志集中管理存储。数据收集的方式有很多种，包括代理方式，及无代理方式：SNMP,IPMI,WMI,trappers,SSH,telnet,JMX，Web拨测等方式来获取对应的日志数据，还可以通过自定义脚本实现。2)、展示层以往对日志监控的操作都是通过命令交互的方式进行，需要强大的命令能力做支撑，而此方案主要是通过一个web展示界面，本文档来自技高网...

【技术保护点】
一种日志处理运维监控系统，其特征在于，包括：日志收集层：用于收集网络日志数据、业务系统日志数据、数据库日志数据、操作系统日志数据和中间件日志数据，将收集到的数据进行结构化和归一化，并进行日志集中管理存储；日志展示层：通过一个web展示界面，将日志数据收集层获取到的日志数据进行统一展示及提供多维度的检索方式；日志提取层：主要完成日志数据的筛选过滤和采集，并根据日志监控告警模块设定的规则，将需要监视的日志数据转发至日志监控告警模块；日志监控告警模块：主要完成监控脚本的设置、告警规则设置、告警阀值设置以及告警联系人设置，从日志提取层定时采集指定的日志数据，然后将采集到的数据与指定的报警阀值进行比较，对符合告警规则的日志信息进行告警；并将告警结果进行集中展现及提供告警历史日志数据查询接口。

【技术特征摘要】
1.一种日志处理运维监控系统，其特征在于，包括：日志收集层：用于收集网络日志数据、业务系统日志数据、数据库日志数据、操作系统日志数据和中间件日志数据，将收集到的数据进行结构化和归一化，并进行日志集中管理存储；日志展示层：通过一个web展示界面，将日志数据收集层获取到的日志数据进行统一展示及提供多维度的检索方式；日志提取层：主要完成日志数据的筛选过滤和采集，并根据日志监控告警模块设定的规则，将需要监视的日志数据转发至日志监控告警模块；日志监控告警模块：主要完成监控脚本的设置、告警规则设置、告警阀值设置以及告警联系人设置，从日志提取层定时采集指定的日志数据，然后将采集到的数据与指定的报警阀值进行比较，对符合告警规则的日志信息进行告警；并将告警结果进行集中展现及提供告警历史日志数据查询接口。2.如权利要求1所述的日志处理运维监控系统，其特征在于，所述日志收集层通过SNMP,IPMI,WMI,trappers,SSH,telnet,JMX或者Web拨测方式来获取对应的日志数据。3.如权利要求1所述的日志处理运...

【专利技术属性】
技术研发人员：程永新，孙玉颖，暨景书，
申请(专利权)人：上海新炬网络技术有限公司，
类型：发明
国别省市：上海;31