一种基于模板和流量状态的日志解析方法及系统技术方案

本发明专利技术公开了一种基于模板和流量状态的日志解析方法及系统，包括：获取网络日志；通过预先确定的日志模板库对所述网络日志进行匹配判断，若匹配成功则输出解析日志，若匹配失败则通过流量状态实时库继续对网络日志进行匹配判断，若匹配成功则输出解析日志，并将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库，若匹配失败则输出原始日志。优点：本发明专利技术能够解决现有网络安全监测装置解析日志能力有限的问题，进一步提高了网络日志的自动化解析能力，进而提高了整个系统的安全性。性。性。

【技术实现步骤摘要】
一种基于模板和流量状态的日志解析方法及系统


[0001]本专利技术涉及一种基于模板和流量状态的日志解析方法及系统及系统，属于数据处理


技术介绍

[0002]网络安全监测装置部署于变电站或电厂，用于收集站内信息并将重要日志上送。在规范的实施过程中，对所接入设备的日志格式进行了规范。但是在实际存量变电站或电厂中，大量的网络设备或安防设备的日志并没有按照规范所定义的格式来发送，这就导致网络安全监测装置所能采集到的信息收到了限制。

技术实现思路

[0003]本专利技术所要解决的技术问题是克服现有技术的缺陷，提供一种基于模板和流量状态的日志解析方法及系统及系统。
[0004]为解决上述技术问题，本专利技术提供一种基于模板和流量状态的日志解析方法，包括：获取网络日志；通过预先确定的日志模板库对所述网络日志进行匹配判断，若匹配成功则输出解析日志，若匹配失败则通过流量状态实时库继续对网络日志进行匹配判断，若匹配成功则输出解析日志，并将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库，若匹配失败则输出原始日志，后续进行人工分析处理。
[0005]进一步的，所述获取网络日志的过程包括：通过设置本机为syslog服务器来获取网络日志，或通过抓取交换机上的网络流量并获取514端口的UDP（用户数据报协议）报文来获取网络日志。
[0006]进一步的，所述通过预先确定的日志模板库对所述网络日志进行匹配判断的过程包括：获取与所述网络日志相关的一类装置的日志范式化解析模板，根据范式化解析模板通过关键字匹配或正则表达式匹配进行匹配判断。
[0007]进一步的，所述流量状态实时库为网络中针对某个IP建立的网络状态行为特征库；所述网络状态行为特征库中的特征为某一时刻网络连接、中断、正常交互的过程或一段时间内的连接、流量特征。
[0008]进一步的， 还包括审核过程，用于在将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库之前进行审核，审核通过后再添加到日志模板库中。
[0009]一种基于模板和流量状态的日志解析系统，包括：获取模块，用于获取网络日志；
匹配模块，用于通过预先确定的日志模板库对所述网络日志进行匹配判断，若匹配成功则输出解析日志，若匹配失败则通过流量状态实时库继续对网络日志进行匹配判断，若匹配成功则输出解析日志，并将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库，若匹配失败则输出原始日志，后续进行人工分析处理。
[0010]进一步的，所述获取模块包括：第一获取模块，用于通过设置本机为syslog服务器来获取网络日志；第二获取模块，用于通过抓取交换机上的网络流量并获取514端口的UDP报文来获取网络日志。
[0011]进一步的，所述匹配模块包括：日志模板库构建模块，用于获取与所述网络日志相关的一类装置的日志范式化解析模板；判断模块，用于根据范式化解析模板通过关键字匹配或正则表达式匹配进行匹配判断。
[0012]进一步的，所述匹配模块包括：网络状态行为特征获取模块，用于获取某一时刻网络连接、中断、正常交互的过程或一段时间内的连接、流量特征。
[0013]进一步的，还包括审核模块，用于在将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库之前进行审核，审核通过后再添加到日志模板库中。
[0014]本专利技术所达到的有益效果：本专利技术能够解决现有网络安全监测装置解析日志能力有限的问题，进一步提高了网络日志的自动化解析能力，进而提高了整个系统的安全性。
附图说明
[0015]图1是本专利技术的逻辑框图。
具体实施方式
[0016]下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。
[0017]一种基于模板和流量状态的日志解析方法，如图1所示，包括如下步骤：步骤1、通过设置syslog服务器或网络流量获取网络日志；其中网络日志的获取可以通过设置本机为syslog（系统日志）服务器来接收日志，具体方法为打开本机的UDP（用户数据报协议） 514端口，并将相应设备的日志服务器地址指定为本机；或通过抓取交换机上的网络流量并获取514端口的UDP报文来获取日志。
[0018]步骤2、通过模板库对日志进行匹配，若匹配成功则输出解析日志，若匹配失败则进入步骤3；日志的模板库通常为某一类装置（如linux主机）日志的范式化解析模板，匹配的过程可以通过关键字匹配或正则表达式匹配。通常操作系统的日志格式是有固定格式的，可以预先将此类格式固定的设备日志做成模板并导入模板库。
[0019]步骤3、从流量状态实时库中对日志进行匹配，若匹配失败则输出原始日志，若匹
配成功则输出解析日志并进入步骤4；流量状态实时库为网络中针对某个IP建立的网络状态行为特征库。网络状态行为特征既表示某一时刻网络连接、中断、正常交互的过程，也包括一段时间内的连接、流量特征。
[0020]匹配的过程以交换机的syslog事件为例，若交换机发出的syslog日志无法通过模板匹配，则在流量状态实时库中查看该交换机是否存在网络状态行为特征。譬如交换机在当前是否发生了一个基于http或https的连接，则该syslog很可能是一个登陆类事件。譬如交换机当前是否正遭受某种dos攻击，则该syslog很可能是一个dos攻击告警事件。
[0021]步骤4、将步骤3中通过流量状态匹配成功的日志形成模板并添加入模板库。
[0022]对于流量状态匹配成功的日志，自动形成模板，并添加入模板库。这个添加过程可以增加人工审核的过程以提高模板的正确率。
[0023]相应的本专利技术还提供一种基于模板和流量状态的日志解析系统，包括：获取模块，用于获取网络日志；匹配模块，用于通过预先确定的日志模板库对所述网络日志进行匹配判断，若匹配成功则输出解析日志，若匹配失败则通过流量状态实时库继续对网络日志进行匹配判断，若匹配成功则输出解析日志，并将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库，若匹配失败则输出原始日志。
[0024]所述获取模块包括：第一获取模块，用于通过设置本机为syslog（系统日志）服务器来获取网络日志；第二获取模块，用于通过抓取交换机上的网络流量并获取514端口的UDP（用户数据报协议）报文来获取网络日志。
[0025]所述匹配模块包括：日志模板库构建模块，用于获取与所述网络日志相关的一类装置的日志范式化解析模板；判断模块，用于根据范式化解析模板通过关键字匹配或正则表达式匹配进行匹配判断。
[0026]所述匹配模块包括：网络状态行为特征获取模块，用于获取某一时刻网络连接、中断、正常交互的过程或一段时间内的连接、流量特征。
[0027]还包括审核模块，用于在将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库之前进行人工审核，人工审核通过后再添加到日志模板库中。
[0028]本领域内的技术人员应明白，本申请的实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模板和流量状态的日志解析方法，其特征在于，包括：获取网络日志；通过预先确定的日志模板库对所述网络日志进行匹配判断，若匹配成功则输出解析日志，若匹配失败则通过流量状态实时库继续对网络日志进行匹配判断，若匹配成功则输出解析日志，并将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库，若匹配失败则输出原始日志，后续进行人工分析处理。2.根据权利要求1所述的基于模板和流量状态的日志解析方法，其特征在于，所述获取网络日志的过程包括：通过设置本机为syslog服务器来获取网络日志，或通过抓取交换机上的网络流量并获取514端口的UDP报文来获取网络日志。3.根据权利要求1所述的基于模板和流量状态的日志解析方法，其特征在于，所述通过预先确定的日志模板库对所述网络日志进行匹配判断的过程包括：获取与所述网络日志相关的一类装置的日志范式化解析模板，根据范式化解析模板通过关键字匹配或正则表达式匹配进行匹配判断。4.根据权利要求1所述的基于模板和流量状态的日志解析方法，其特征在于，所述流量状态实时库为网络中针对某个IP建立的网络状态行为特征库；所述网络状态行为特征库中的特征为某一时刻网络连接、中断、正常交互的过程或一段时间内的连接、流量特征。5.根据权利要求4所述的基于模板和流量状态的日志解析方法，其特征在于，还包括审核过程，用于在将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库之前进行审核，审核通过后再添加到日志模板库中。6.一种基于模...

【专利技术属性】
技术研发人员：张云飞，勇明，侯永春，徐行之，华德峰，苏和，马益峰，陈昊，张兆君，
申请(专利权)人：国网江苏省电力有限公司检修分公司，
类型：发明
国别省市：