一种实时检测日志序列异常的方法和系统技术方案

本发明专利技术涉及工控信息安全领域，公开了一种实时检测日志序列异常的方法和系统，其包括日志采集，通过主动采集和被动采集的方式获取日志；日志解析，通过drain算法对采集的日志进行解析；并对解析后的匹配正确的日志事件分入相应的日志组；日志异常检测，通过N‑gram模型和LSTM模型对解析后的日志实时的进行日志异常检测；基于Drain日志解析算法可实时对工业系统日志流进行自动化解析成工控系统运行状态和各关键节点重要事件的日志事件序列；通过N‑gram模型、LSTM模型对解析的日志事件序列进行异常检测，实现对工业控制系统异常进行告警。将工控日志流进行实时自动化解析和系统异常发现告警，使得工控系统故障和攻击能够及时发现。

【技术实现步骤摘要】
一种实时检测日志序列异常的方法和系统
本专利技术涉及工控信息安全领域，尤其涉及了一种实时检测日志序列异常的方法和系统。
技术介绍
现代工业控制系统的规模正在变得越来越庞大和复杂，工业控制系统的系统日志记录了各种系统的运行状态和各关键节点的重要事件，帮助人们理解系统状态，调试系统故障，用于分析、查找故障根本原因。一旦工业控制系统的系统日志运行出现差错，不能及时发现问题并定位问题所在，对于生产造成的损失是巨大的。传统的日志采集分析系统对于故障发生后的原因分析有所帮助，但是在实时工业控制系统的系统日志异常检测上有所欠缺，因为每次分析的日志都是某一阶段产生的日志，发现的问题可能是在几天前发生的，并不是当时发生的，也就不能及时发现系统的故障状态。专利标题：用于把工业控制系统的安全事件记入日志的系统和方法，申请号：CN103376794B，申请日：2013-04-28的专利申请中一种系统包括包含存储器和处理器的安全服务器，安全服务器配置成接收来自人机界面(HMI)设备的第一组通信，其中第一组通信涉及HMI设备安全事件。安全服务器还配置成接收本文档来自技高网...

【技术保护点】
1.一种实时检测日志序列异常的方法，其特征在于，包括如下步骤：/n日志采集，通过主动采集和被动采集的方式获取日志；/n日志解析，对原始采集的日志进行处理，通过drain算法对采集的日志进行解析；并对解析后的匹配正确的日志事件分入相应的日志组；/n日志异常检测，通过N-gram模型和LSTM模型对解析后的日志实时的进行日志异常检测。/n

【技术特征摘要】
1.一种实时检测日志序列异常的方法，其特征在于，包括如下步骤：
日志采集，通过主动采集和被动采集的方式获取日志；
日志解析，对原始采集的日志进行处理，通过drain算法对采集的日志进行解析；并对解析后的匹配正确的日志事件分入相应的日志组；
日志异常检测，通过N-gram模型和LSTM模型对解析后的日志实时的进行日志异常检测。


2.根据权利要求1所述的一种实时检测日志序列异常的方法，其特征在于，主动采集的方式为通过Flumeagent的方法，将运行的日志转发至Flumeagent，Flumeagent为中央服务器；
被动采集方式通过syslog协议或SNMP协议获取运行状态的日志，获取的日志包括路由器和交换机的日志。


3.根据权利要求1所述的一种实时检测日志序列异常的方法，其特征在于，日志解析包括如下步骤：
日志预处理，采集的原始日志通过drain，依据正则表达式进行数据的预处理；通过Drain固定深度的解析树算法来引导日志组搜索，解析树中的每一条路径都以一个叶子结点为结束，叶子结点中存储了一个日志组的列表；每一个日志组都由两部分组成：日志模板和属于该日志组的所有日志；日志模板是描述该组日志消息的模板，包含日志消息的常量部分；
日志消息长度搜索，Drain将预处理日志消息的长度值通过解析树进行日志组的遍历，确定具有相同日志消息长度值日志模板的日志组列表；
日志前缀字段搜索，在前面选出的日志组列表中，再次检索筛选出与预处理日志消息的前缀字段相同的日志组列表；
日志字段相似度搜索，通过计算预处理日志消息和上面筛选出的每个日志组的日志事件之间的相似性sim，从日志组列表中选择相似度最高的日志组；
解析树的更新，当返回相似度最高的日志组，则无需更新日志组；否则，通过Drain进行日志组的更新。


4.根据权利要求3所述的一种实时检测日志序列异常的方法，其特征在于，日志字段相似度搜索步骤如下，
根据公式1计算日志消息和每个日志组的日志事件之间的相似度sim；



公式1中，seq1为日志消息的字段序列，seq2为日志事件的字段序列，seq(...

【专利技术属性】
技术研发人员：殷伟斌，严耀良，肖艳炜，孔飘红，陈国恩，王跃强，张磊，章杜锡，徐红泉，张仲孝，尚浩志，胡健鹏，徐晨，
申请(专利权)人：国网浙江省电力有限公司嘉兴供电公司，嘉兴恒创电力集团有限公司华创信息科技分公司，
类型：发明
国别省市：浙江;33