一种网关日志与告警管理的系统及其方法技术方案

本发明专利技术涉及一种网关日志与告警管理的系统及其方法，网关APP模块，根据用户设置启动与停止，产生日志或告警，用以网关运营与维护；日志告警LIB库模块，一动态链接库，提供写入日志或告警的接口，封装日志或告警信息处理与发送逻辑；日志告警服务端模块，用以接收各个网关APP模块发送的日志或告警消息，根据用户设置自定义的管理策略，处理接收到的日志或告警；文本存储模块，用以日志与告警的文本格式存储，用于查看与上传；明文存储的文本日志文件，供查看与分析；日志数据库模块，存储日志信息的数据库；告警数据库模块，存储告警信息的数据库。将网关各业务运行日志和告警信息按策略整合后，统一提供到设备管理页面或远程管理平台。台。台。

【技术实现步骤摘要】
一种网关日志与告警管理的系统及其方法


[0001]本专利技术涉及一种网关日志与告警管理的系统及其方法，属于计算机网络通信


技术介绍

[0002]网关是连接两个网络的连接器，在网络层以上实现网络互连，基于提速降费的政策，各大运营商近年都在大力建设基础网络，用于连接家庭或政企到Internet网络或私有云或电话网络的网关设备也得到大力发展，但也带来了一些运维和安全的问题。
[0003]网络业务多样，分支互联、企业入云等；网络运维复杂，管理平台、告警平台、移动APP等；网络安全形势严峻，信息泄露、信息窃取、数据伪造、网络攻击等。
[0004]而现有设备运维和安全相关的日志和告警管理有以下的缺点：
[0005]1)现有的日志通常根据不同业务应用记录到不同的日志文件中，业务应用增加时，日志文件就越多，维护复杂度较高；
[0006]2)部分业务应用也有使用syslog来统一记录日志的，但是格式单一，无法满足多业务应用场景下各种个性化日志需求；
[0007]3)传统的网关很少有完善的告警管理系统，但是面对愈发严峻的安全形势，完善的告警管理系统必不可少。

技术实现思路

[0008]本专利技术的目的是克服现有技术存在的不足，提供一种网关日志与告警管理的系统及其方法。
[0009]本专利技术的目的通过以下技术方案来实现：
[0010]一种网关日志与告警管理的系统，特点是：包括网关APP模块、日志告警LIB库模块、日志告警服务端模块、文本存储模块、日志数据库模块和告警数据库模块；
[0011]所述网关APP模块，根据用户设置启动与停止，产生日志或告警，用以网关运营与维护；
[0012]所述日志告警LIB库模块，一动态链接库，提供写入日志或告警的接口，封装日志或告警信息处理与发送逻辑；
[0013]所述日志告警服务端模块，用以接收各个网关APP模块发送的日志或告警消息，根据用户设置自定义的管理策略，处理接收到的日志或告警；
[0014]所述文本存储模块，用以日志与告警的文本格式存储，用于查看与上传；明文存储的文本日志文件，供维护人员查看与分析；可定时发送到运营商统一管理平台；
[0015]所述日志数据库模块，存储日志信息的数据库，包含发生时间、日志类型、日志等级、发生日志应用、日志信息的字段，用以日志管理的多条件过滤查询；
[0016]所述告警数据库模块，存储告警信息的数据库，包含告警ID、告警状态、首次发生时间、最近发生时间，发生次数、告警信息的字段，用以告警管理的查询、告警状态更新。
[0017]进一步地，上述的一种网关日志与告警管理的系统，其中，所述日志告警服务端模块，具有线程池处理逻辑，将消耗时间的数据库读写置于线程池。
[0018]进一步地，上述的一种网关日志与告警管理的系统，其中，所述日志告警服务端模块，为提高日志文件和数据库读写速率，将程序实时操作的文件或数据库置于内存中，根据同步策略回写到Flash上，用以防止数据丢失。
[0019]进一步地，上述的一种网关日志与告警管理的系统，其中，所述日志告警服务端模块，为使网关有限的Flash下存储较多有效消息，优化数据库清理机制，设定最大日志或告警条数，优先清理50％最大条数的已清除告警信息，其次清理全部的已清除告警信息，再次清除时间最远的20％的所有告警消息，并将其中状态未清除的告警信息上报到管理平台。
[0020]进一步地，上述的一种网关日志与告警管理的系统，其中，所述日志告警服务端模块，具有自动告警处理机制，根据相应告警ID注册其回调函数，用以处理相应告警的初步检查、分析与恢复。
[0021]本专利技术一种网关日志与告警管理的方法，网关APP模块通过动态库方式加载日志告警LIB库模块，根据需要调用相关函数接口；然后日志告警LIB库模块根据函数入参，封装自定义的日志头，与日志或告警信息拼装成消息体，然后通过Linux本地Socket将消息体发送到日志告警服务端模块；日志告警服务端模块收到消息体后，对消息体进行解封装，并对日志头进行校验与处理，对日志或告警信息进行转码，并根据日志头中的内容进行不同处理，日志等级决定是否需要写存储，日志和告警信息写入文本存储模块和日志数据库模块，并根据告警ID、告警状态新增或更新或清除告警数据库模块中告警记录，然后按设定的内存文件路径、Flash文件路径、最大日志文件字节数、日志文件循环备份数、数据库最大条数、最大线程池数策略写入文件或数据库。
[0022]更进一步地，上述的一种网关日志与告警管理的方法，对网关日志和告警统一管理，包括以下步骤：
[0023]S201：网关APP模块启动，通过动态库加载方式加载日志告警LIB库模块；
[0024]S202：网关APP模块需写入日志或告警时，调用日志告警LIB库模块的函数接口，根据使用场景填入对应的函数入参；
[0025]S203：日志告警LIB库模块根据函数入参及固定字段拼装成日志头，固定字段包含日志时间、校验字段，日志头和日志或告警信息封装成消息体；
[0026]S204：日志告警LIB库模块通过本地Socket作为Client端，将封装好的消息体发送到日志告警服务端模块；
[0027]S211：日志告警服务端模块在设备启动过程中拉起运行，且配备有Watchdog守护进程；运行后，创建本地Socket(AF_UNIX)服务端，通过select等待接收Client发送的消息体；
[0028]S212：日志告警服务端模块接收到消息体后，首先对日志头进行解析与校验，确保日志或告警信息的完整性，同时后续可根据日志头信息确定不同的处理逻辑；
[0029]S213：日志告警服务端模块通过日志头的日志等级、日志类型、发生的日志应用信息，与配置的日志与告警管理策略比较，确认此条日志是否需要存储：如果不需要存储，则直接回到步骤S211等待处理下一个消息体；如果需要存储，则进入下一步骤S214；
[0030]S214：日志告警服务端模块将消息体添加到存储链表中，并根据配置的线程池策
略与当前线程池状态确定下一步操作，如果当前线程池数未到最大，同时当前存储链表中消息体数超过已存在的线程池处理能力，则创建新的线程池；否则直接不做任何处理；回到步骤S211等待处理下一个消息体；
[0031]S215：通过从存储链表中取出一个待处理的消息体，超过超时时间后还未取到，则可将此线程退出回收；
[0032]S216：对取出的日志或告警消息体进行转码，将不可打印字符转为特殊格式的可打印字符，将固定格式的日志或告警信息转为配置的语言，适用于国际化的多国语言网关设备上；
[0033]S217：将日志头和日志或告警信息，按格式写入到文本存储模块和日志数据库模块，如果是告警消息，则同时按格式写入到告警数据库模块；
[0034]S218：根据告警ID查找对应注册的告警回调函数，如果未找到则直接回到步骤S215，继续处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网关日志与告警管理的系统，其特征在于：包括网关APP模块(1)、日志告警LIB库模块(2)、日志告警服务端模块(3)、文本存储模块(4)、日志数据库模块(5)和告警数据库模块(6)；所述网关APP模块(1)，根据用户设置启动与停止，产生日志或告警，用以网关运营与维护；所述日志告警LIB库模块(2)，一动态链接库，提供写入日志或告警的接口，封装日志或告警信息处理与发送逻辑；所述日志告警服务端模块(3)，用以接收各个网关APP模块发送的日志或告警消息，根据用户设置自定义的管理策略，处理接收到的日志或告警；所述文本存储模块(4)，用以日志与告警的文本格式存储，用于查看与上传；明文存储的文本日志文件，供查看与分析；所述日志数据库模块(5)，存储日志信息的数据库，包含发生时间、日志类型、日志等级、发生日志应用、日志信息的字段，用以日志管理的多条件过滤查询；所述告警数据库模块(6)，存储告警信息的数据库，包含告警ID、告警状态、首次发生时间、最近发生时间，发生次数、告警信息的字段，用以告警管理的查询、告警状态更新。2.根据权利要求1所述的一种网关日志与告警管理的系统，其特征在于：所述日志告警服务端模块(3)，具有线程池处理逻辑，将消耗时间的数据库读写置于线程池。3.根据权利要求1所述的一种网关日志与告警管理的系统，其特征在于：所述日志告警服务端模块(3)，为提高日志文件和数据库读写速率，将程序实时操作的文件或数据库置于内存中，根据同步策略回写到Flash上，用以防止数据丢失。4.根据权利要求1所述的一种网关日志与告警管理的系统，其特征在于：所述日志告警服务端模块(3)，为使网关有限的Flash下存储较多有效消息，优化数据库清理机制，设定最大日志或告警条数，优先清理50％最大条数的已清除告警信息，其次清理全部的已清除告警信息，再次清除时间最远的20％的所有告警消息，并将其中状态未清除的告警信息上报到管理平台。5.根据权利要求1所述的一种网关日志与告警管理的系统，其特征在于：所述日志告警服务端模块(3)，具有自动告警处理机制，根据相应告警ID注册其回调函数，用以处理相应告警的初步检查、分析与恢复。6.根据权利要求1所述的一种网关日志与告警管理的方法，其特征在于：网关APP模块(1)通过动态库方式加载日志告警LIB库模块(2)，根据需要调用相关函数接口；然后日志告警LIB库模块(2)根据函数入参，封装自定义的日志头，与日志或告警信息拼装成消息体，然后通过Linux本地Socket将消息体发送到日志告警服务端模块(3)；日志告警服务端模块(3)收到消息体后，对消息体进行解封装，并对日志头进行校验与处理，对日志或告警信息进行转码，并根据日志头中的内容进行不同处理，日志等级决定是否需要写存储，日志和告警信息写入文本存储模块(4)和日志数据库模块(5)，并根据告警ID、告警状态新增或更新或清除告警数据库模块中告警记录，然后按设定的内存文件路径、Flash文件路径、最大日志文件字节数、日志文件循环备份数、数据库最大条数、最大...

【专利技术属性】
技术研发人员：李远，王平，刘继明，金宁，陈浮，
申请(专利权)人：网经科技苏州有限公司，
类型：发明
国别省市：