系统日志的处理方法和系统日志的处理平台技术方案

本发明专利技术公开了一种系统日志的处理方法和系统日志的处理平台。本发明专利技术实施例提供的一种系统日志的处理方法包括：访问生成系统日志的设备，从该设备采集系统日志；将采集到的系统日志的格式与指定的设备模板进行匹配，确认各系统日志对应的设备类型；根据各系统日志的设备类型，利用指定的关键字模板对系统日志进行过滤；将过滤结果发送至服务器侧，由服务器侧对系统日志进行报警处理。

【技术实现步骤摘要】

本专利技术涉及互联网通信
，特别涉及一种系统日志的处理方法和系统日志的处理平台。
技术介绍
在现代运维体系中，规模化的应用系统与网络设备需要自动化的监管系统进行管理，对系统日志(syslog)信息的监管就是其中重要一环。然而在实际中，由于不同的应用系统、网络设备对应的日志格式各不相同，这给标准化的syslog分析带来了巨大难度。现有系统日志的处理方案主要是将各种设备的系统日志集中存储到一个指定服务器，通过系统的看门狗(watchdog)服务过滤和抓取日志，并对满足看门狗服务设定条件的记录进行报警。然而，看门狗服务仅能实现一些比较简单的操作，使用的过滤条件较单一，无法全面准确地区分出危险的日志，过滤效果差；并且，看门狗服务将各种类型的日志混杂在一起进行处理，各条日志存储的格式和内容差异较大，导致后续操作中对系统日志的利用和开发难度较大，资源利用率较低。目前亟待一种针对日志挖掘、分析和监控报警等于一体的综合服务平台。
技术实现思路
鉴于上述问题，本专利技术实施例提供了一种系统日志的处理方法和系统日志的处理平台。为达到上述目的，本专利技术实施例采用了如下技术方案：本专利技术一个实施例提供了一种系统日志的处理方法，该方法包括：访问生成系统日志的设备，从设备采集系统日志；将采集到的系统日志的格式与指定的设备模板进行匹配，确认各系统日志对应的设备类型；根据各系统日志的设备类型，利用指定的关键字模板对系统日志进行过滤；将过滤结果发送至服务器侧，由服务器侧对系统日志进行报警处理；其中，每种设备类型的所述设备模板由能够匹配该设备类型下的所有系统日志格式的条件表达式生成；每种设备类型的所述关键字模板由该设备类型下系统日志中允许包括的关键字或者禁止包括的关键字生成。本专利技术又一个实施例提供了一种系统日志的处理方法，包括：接收客户端侧上报的系统日志的过滤结果并按照预定的统一格式将过滤结果存储至数据库，该过滤结果包括系统日志和该系统日志对应的标志位，该标志位包括第一标志位、第二标志位和第三标志位，该方法还包括：当根据过滤结果获知系统日志具有第一标志位时，采用短信方式和邮件方式发送报警消息；当根据过滤结果获知系统日志具有第二标志位时，不执行报警操作；当根据过滤结果获知系统日志具有第三标志位时，采用邮件方式发送报警消息。本专利技术又一个实施例提供了一种系统日志的处理平台，该平台包括系统日志采集系统和系统日志管理系统，系统日志采集系统包括消息队列模块、模板选择器、关键字过滤器以及守护任务和调度器DTS；消息队列模块，用于访问生成系统日志的设备，从设备采集系统日志；模板选择器，用于将采集到的系统日志的格式与指定的设备模板进行匹配，确认各系统日志对应的设备类型；关键字过滤器，用于根据各系统日志的设备类型，利用指定的关键字模板对系统日志进行过滤，并将过滤结果发送至系统日志管理系统；DTS，用于对消息队列模块、模板选择器和关键字过滤器进行预定与调度；系统日志管理系统包括数据库、数据生成器、报警模块和数据访问和控制中心DACC；数据库，用于存储平台中的数据；数据生成器，用于接收来自系统日志采集系统的过滤结果，并按照预定的统一格式将过滤结果存储至数据库；报警模块，用于根据数据生成器中的数据进行报警；DACC，用于对数据库、数据生成器和报警模块进行管理；其中，每种设备类型的所述设备模板由能够匹配该设备类型下的所有系统日志格式的条件表达式生成；每种设备类型的所述关键字模板由该设备类型下系统日志中允许包括的关键字或者禁止包括的关键字生成。本专利技术实施例通过将系统日志与所建立的设备模板相匹配的技术手段，能够区分出不同设备的系统日志，对不同设备的系统日志进行不同处理，以及通过设备类型结合指定的关键字模板对系统日志进行过滤的手段，提高了过滤方式的灵活性，能够全面、准确地对日志进行过滤。由上，本专利技术实施例提供的系统日志处理方案，不但能够对不同类型的系统日志进行区分处理和存储，极大便利了后续对系统日志的利用，满足对系统日志二次开发的需求，提高资源利用率；而且能够提高日志过滤的精准度和灵活性，实现问题的精准定位、精确报警和问题预警，提高系统的运维质量。附图说明图1为根据本专利技术一个实施例的一种系统日志的处理平台结构示意图；图2为根据本专利技术一个实施例的系统日志采集系统的工作流程示意图；图3为根据本专利技术一个实施例的另一种系统日志的处理平台的结构示意图；图4为根据本专利技术又一个实施例的系统日志的处理方法流程示意图；图5为根据本专利技术又一个实施例的系统日志的处理方法流程示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。本专利技术实施例实现了一种集中分析、精准定位、实时报警、面向多用户、便于查询与深入分析的系统日志的处理平台，既可以满足不同应用、不同设备的日志分析需求，又是一套完整的监控与报警综合服务平台。本专利技术一个实施例提供的一种系统日志的处理平台，参见图1，该平台包括系统日志采集系统和系统日志管理系统。本实施例不对平台及其各器件的名称进行严格限定，如系统日志的处理平台可以称之为系统日志信息采集与管理系统(Syslog Information Collection And Management System，SICMS)，SICMS包括系统日志采集系统100和系统日志管理系统200。系统日志采集系统100包括守护任务和调度器(Daemon Task and Scheduler，DTS)、系统日志信息采集(Syslog Information Collection，SIC)功能和系统日志信息管理(Syslog Information Analyse，SIA)功能。SIC中包括消息队列(Message Queue)模块112和心跳检测(Heartbeat Monitor)模块113；SIA中包括模板选择器(Template Selector)114和关键字过滤器(Keywords Filter)115。系统日志管理系统200包括数据库(Data Center)214、数据生成器212、报警模块213、数据访问和控制中心(Data Access&Control Centre，DACC)211。其中报警模块213可以设置在监控中心(Monitor Cent本文档来自技高网...

【技术保护点】
一种系统日志的处理方法，其特征在于，所述方法包括：访问生成系统日志的设备，从所述设备采集系统日志；将采集到的系统日志的格式与指定的设备模板进行匹配，确认各系统日志对应的设备类型；根据各系统日志的设备类型，利用指定的关键字模板对系统日志进行过滤；将所述过滤结果发送至服务器侧，由服务器侧对所述系统日志进行报警处理；其中，每种设备类型的所述设备模板由能够匹配该设备类型下的所有系统日志格式的条件表达式生成；每种设备类型的所述关键字模板由该设备类型下系统日志中允许包括的关键字或者禁止包括的关键字生成。

【技术特征摘要】
1.一种系统日志的处理方法，其特征在于，所述方法包括：
访问生成系统日志的设备，从所述设备采集系统日志；
将采集到的系统日志的格式与指定的设备模板进行匹配，确认各系统日
志对应的设备类型；
根据各系统日志的设备类型，利用指定的关键字模板对系统日志进行过
滤；
将所述过滤结果发送至服务器侧，由服务器侧对所述系统日志进行报警
处理；
其中，每种设备类型的所述设备模板由能够匹配该设备类型下的所有系
统日志格式的条件表达式生成；
每种设备类型的所述关键字模板由该设备类型下系统日志中允许包括的
关键字或者禁止包括的关键字生成。
2.根据权利要求1所述的方法，其特征在于，所述访问生成系统日志的
设备，从所述设备采集系统日志包括：
利用日志工具logtail访问所述设备，当该设备中存在系统日志时，采集
该系统日志并生成消息队列形式的系统日志消息流；当该设备中不存在系统
日志时，通过建立的守护任务和调度器DTS向该设备发送心跳消息，若该设
备根据心跳消息返回系统日志，则采集该系统日志并生成消息队列形式的系
统日志消息流，若该设备根据心跳消息返回指示发生故障的应答，则将相应
设备的信息记录在DTS中，由DTS发送至服务器侧进行报警。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
向服务器侧发送请求获取所述设备模板和/或关键字模板的请求；
接收服务器侧根据所述请求下发的设备模板和/或关键字模板。
4.根据权利要求1所述的方法，其特征在于，所述指定的关键字模板包
括一级关键字模板和二级关键字模板，为不同设备类型的系统日志设置的二
级关键字模板不同，所述一级关键字模板由该设备类型下系统日志中禁止包

\t括的关键字生成，所述二级关键字模板由该设备类型下系统日志中允许包括
的关键字生成，
所述根据各系统日志的设备类型，利用指定的关键字模板对系统日志进
行过滤包括：
利用一级关键字模板对所有设备类型的系统日志进行匹配，为一级关键
字模板匹配成功的系统日志设置第一标志位，将匹配成功的系统日志、该系
统日志的第一标志位及设备类型上报至服务器侧；
对一级关键字模板匹配失败的系统日志，利用该系统日志的设备类型对
应的二级关键字模板对该系统日志进行匹配，为二级关键字模板匹配成功的
系统日志设置第二标志位，将匹配成功的系统日志、该系统日志的设备类型
上报至服务器侧；以及，
为一级关键字模板和二级关键字模板都匹配失败的系统日志设置第三标
志位，将该系统日志、该系统日志的第三标志位及设备类型上报至服务器侧。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：当采集
到的系统日志没有匹配的设备模板时，将该系统日志的设备类型设置为未定
义设备类型；
所述利用指定的关键字模板对系统日志进行过滤包括：
仅利用一级关键字模板对该系统日志进行匹配，将匹配成功的系统日志、
该系统日志的第一标志位及设备类型上报至服务器侧，将匹配失败的系统日
志记录在临时文件中。
6.一种系统日志的处理方法，其特征在于，所述方法包括：
接收客户端侧上报的系统日志的过滤结果并按照预定的统一格式将过滤
结果存储至数据库，所述过滤结果包括系统日志和该系统日志对应的标志位，
所述标志位包括第一标志位和第三标志位；
当根据所述过滤结果获知系统日志具有第一标志位时，采用短信方式和
邮件方式发送报警消息；
当根据所述过滤结果获知系统日志具有第三标志位时，采用邮件方式发

\t送报警消息；
当根据所述过滤结果获知系统日志不具有第一标志位或第三标志位时，
不执行报警操作。
7.根据权利要求6所述的方法，其特征在于，
所述过滤结果中还包括系统日志的设备类型，所述方法还包括：
根...

【专利技术属性】
技术研发人员：常福刚，戴相龙，
申请(专利权)人：北京新媒传信科技有限公司，
类型：发明
国别省市：北京;11