本发明专利技术公开了一种基于日志数据的自定义日志告警的方法,该方法包括：在网络安全领域，日志数据字段根据实际业务需求自定义，日志告警规则制定者可以根据实际需要，拉取不同日志数据，通过对日志数据字段的条件判断，逻辑比较，范围，值枚举等内置预设计的运算规则，自定义日志数据告警规则。实现了基于日志数据字段的多种逻辑规则解析引擎，自动判断日志数据是否到达告警规则的阀值。若达到告警阀值，则系统自动触发邮件方式的告警推送。统自动触发邮件方式的告警推送。统自动触发邮件方式的告警推送。
【技术实现步骤摘要】
一种基于日志数据的自定义日志告警方法和装置
[0001]本专利技术涉及网络安全领域，基于日志数据字段的自定义告警方法的实现方法和步骤。
技术介绍
[0002]如今的大数据时代下，网络应用多种多样，各种应用由于软件程序本身的设计实现问题，依靠各个应用软件本身的网络安全防御，是一件很难的事情。所以现在的各个互联网服务器，局域网服务器，都选择购买安装一些专业的网络安全产品来提高服务器的安全性。
[0003]在网络安全产品在防护的过程中，采用日志的方式将防护信息告诉运维人员的常用的方式。但是这就需要运维人员主动的去查看日志文件，以致于工作效率不高，工作量较大。而且目前的网络安全产品日志监控告警都是固定了几个告警指标，上线后，想修改监控指标，增加监控维度都需要开发和更新监控程序才能实现。采用基于日志数据字段，自定义的设定日志告警，形成一套告警条件自定义程度高，可以实时监控日志数据并告警的网络安全告警系统，会极大的方便运维管理工作，提高工作效率。
技术实现思路
[0004]本专利技术公开了一种基于日志数据字段自定义日志告警方法，用以解决现有技术需要人为监控日志文件，并且告警指标固定，需要不断更改所导致的工作效率不高，工作量大且运营成本过高的技术问题。该方法应用于网络安全产品在防护的过程中，包括：首先，定义日志数据的字段，根据实际的业务需求，每种日志数据设定一个日志类型字段。不同领域中日志数据字段的类型不同, 在网络安全领域中，日志字段应当包含网络上行流量，网络下行流量，网络发送数据包数，网络下载数据包数，日志记录时间戳，网络安全标记等必要字段。在网络安全产品防护的过程中，根据业务的设计，在必要的时间点或者场景下，记录相应的日志到设备的日志文件。
[0005]根据上述步骤中日志字段设计日志告警表达式，使用日志数据的字段,进行自定义的表达式逻辑编写。表达式逻辑支持日志字段的与，或，非，大于，等于，小于，大于等于，小于等于，不等于，数值范围，日期范围，字段求和，字段加减乘除等运算，完成自定义告警表达式设计。程序将设计好的告警表达式保存到数据库，供后续的表达式解析引擎解析。
[0006]具体地，所述自定义告警表达式是基于日志数据字段类型自定义的设定日志告警，自定义程度大大高于原有技术方案中的固定告警指标，并且不需要人为改动告警指标，增加了日志告警的灵活性，减少了固定指标的死板性。
[0007]其次，根据自定义告警表达式设计表达式解析引擎，用以解析后进行判断是否要进行日志告警。表达式解析引擎主要为了解析上述与，或，非，大于，等于，小于，大于等于，小于等于，不等于，数值范围，日期范围，字段求和，字段加减乘除等运算。
[0008]具体地，所述表达式解析引擎是根据所述自定义告警表达式中的逻辑运算确定
的，用以解析出所述自定义告警表达式自定义确定的告警指标，根据解析出的结果判断是否需要告警；节省了现有技术中需要运维人员主动的去查看日志文件判断是否告警的人力，大大提高工作效率。
[0009]根据上述步骤中定义的日志数据字段、根据所述日志数据字段确定的自定义告警表达式以及根据自定义表达式确定的表达式解析引擎，搭建日志收集，日志流处理，日志存储环境，用以存储其产生的数据。使用logstash模块收集各个设备的日志数据，实时传输到kafka模块，日志处理程序订阅kafka模块中的数据，输出日志到elasticsearch模块存储。
[0010]最后，使用日志处理程序实时处理kafka模块中的日志数据，读取日志数据和通过逻辑判断得到的告警表达式，将之输入到表达式解析引擎中，通过表达式解析引擎进行计算，判断输出是否需要告警。如果需要告警，转下一步进行告警；需要告警的日志告警信息，使用系统统一的邮件发送模块，进行邮件告警。
[0011]相应的，本专利技术还提供了一种基于日志数据字段的自定义告警的装置，应用于网络安全产品在防护的过程中，所述装置包括：自定义模块，该模块根据实际的业务需求，定义日志数据的字段，赋予每种日志数据设定一个日志类型字段。所述日志字段应当包含网络上行流量，网络下行流量，网络发送数据包数，网络下载数据包数，日志记录时间戳，网络安全标记等必要字段。具体地，在网络安全产品在防护过程中，根据业务的设计，在必要的时间点或者场景下，记录相应的日志到设备的日志文件。以便处理模块使用日志数据的字段,进行自定义的表达式逻辑编写。
[0012]处理模块，该模块使用日志数据的字段，进行自定义的表达式逻辑编写，以确定自定义告警表达式。表达式逻辑支持日志字段的与，或，非，大于，等于，小于，大于等于，小于等于，不等于，数值范围，日期范围，字段求和，字段加减乘除等运算，用以完成自定义告警表达式的设计。程序将设计好的告警表达式保存到数据库，供后续的表达式解析引擎解析。根据所述自定义告警表达式设计表达式解析引擎来识别所述告警表达式中的各种逻辑判断和计算方法进行解析。
[0013]存储模块，该模块利用上述模块产生的数据搭建日志收集，日志流处理，日志存储环境。本模块使用logstash模块收集各个设备的日志数据，实时传输到kafka模块，日志处理程序订阅kafka模块中的数据，输出日志到elasticsearch模块存储。
[0014]相应地，所述处理模块中的自定义告警表达式根据日志数据生成的逻辑判断存储在本模块中；所述表达式解析引擎需要解析所述自定义告警表达式的逻辑判断时从本模块中调用相应的数据。
[0015]告警模块，使用日志处理程序实时处理kafka模块中的日志数据，读取日志数据和通过逻辑判断得到的告警表达式，输入表达式解析引擎，通过表达式解析引擎进行计算，判断输出是否需要告警。如果需要告警，转下一步进行告警；需要告警的日志告警信息，使用系统统一的邮件发送模块，进行邮件告警。
[0016]由此可见，通过应用以上技术方案，动态的实现了基于日志数据字段确定自定义告警表达式，在基于自定义告警表达式确定表达式引擎，当表达式解析引擎解析出的结果需要告警时，进行告警；如不需要则继续监控。所属自定义报警表达式可根据不同类型的字段动态定义告警指标，实现了在不用代码开发，不用更新监控程序的条件下，就可以动态的基于日志数据字段，修改监控指标，修改监控维度，不需要人为查看维护日志文件，节省了
人力，提高运维的方便性，节省运营成本。
附图说明
[0017]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1示出了本专利技术实施例的一种基于日志数据的自定义日志告警方法的基于日志数据字段的自定义告警方法数据处理流程图；图2示出了本专利技术实施例的一种基于日志数据的自定义日志告警方法的告警表达式设计与解析；图3示出了本专利技术实施例的一种基于日志数据的自定义日志告警设备的结构示意图。
具体实施方式本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于日志数据的自定义日志告警的方法, 其特征在于，应用于网络安全领域，所述方法包括：(1)使用日志数据的字段进行自定义的表达式逻辑自定义确定日志告警表达式，所述日志数据的字段是根据业务需求定义的；(2)根据所述告警表达式设计表达式解析引擎，用以自动解析所述自定义的表达式逻辑编写确定的日志告警表达式；(3)根据表达式解析引擎实时监控日志数据，并根据表达式解析引擎的结果判断是否告警。2.如权利要求1所述的一种基于日志数据的自定义日志告警的方法，其特征在于，所述定义日志数据的字段，具体为：所述日志数据字段用于确定日志告警表达式，根据日志数据字段的类型进行自定义表达式逻辑编写，确定日志告警表达式；其中，所述日志数据字段，根据每种日志数据先设定一个日志类型字段，再根据确定好的日志类型字段定义，其中，所述的定义日志字段应当包含网络上行流量，网络下行流量，网络发送数据包数，网络下载数据包数，日志记录时间戳，网络安全标记等必要字段。3.如权利要求1所述的一种基于日志数据的自定义日志告警的方法，其特征在于，所述使用日志数据的字段进行自定义的表达式逻辑编写确定日志告警表达式，具体为：所述自定义告警表达式通过实时处理程序将其保存到数据库，以便后续的表达式解析引擎解析；其中，所述自定义告警表达式，根据拉取日志字段元数据，结合所述日志数据字段的与，或，非，大于，等于，小于，大于等于，小于等于，不等于，数值范围，日期范围，字段求和，字段加减乘除等运算，自定义组装确定的；所述实时处理程序，通过将所述自定义告警表达式存储，以便表达式解析引擎调取。4.如权利要求1所述的一种基于日志数据的自定义日志告警的方法，其特征在于，所述表达式解析引擎用于实现日志告警表达式的解析并根据结果判断是否需要报警的方法，具体为：根据表达式解析引擎解析后的结果进行判断是否要告警，具体包括：通过日志处理程序实时处理产生的日志数据，读取日志数据和告警表达式，输入给表达式解析引擎，通过表达式解析引擎进行计算，输出是否需要告警；如果需要告警，转下一步进行告警；需要告警的日志告警信息，使用系统统一的邮件发送模块，进行邮件告警；告警数据统一入库存储到专用的告警记录索引表，供后续的可视化展示；若果不需要告警，则继续解析；其中，所述表达式解析引擎，根据所述日志告警表达式通过与，或，非，大于，等于，小于，大于等于，小于等于，不等于，数值范围，日期范围，字段求...
【专利技术属性】
技术研发人员：董环，刘学毅，
申请(专利权)人：合肥卓讯云网科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。