基于日志工作流挖掘的分布式系统异常检测方法技术方案

本发明专利技术公开了一种基于日志工作流挖掘的分布式系统异常检测方法，主要解决在海量非结构化分布式系统日志中系统异常检测困难的问题。方案包括：1)对分布式系统产生的日志进行解析，提取日志中事件模板并挖掘日志事件之间的时序关系；2)构造系统单进程FSM模型，并利用进程间的通道对每个进程对应的FSM进行整合得到工作流图；3)对工作流图进行抽象处理，根据时序关系对其进行检查，将不符合实例之间时序关系的部分进行修改，得到最终工作流图模型；4)使用基于Top

【技术实现步骤摘要】
基于日志工作流挖掘的分布式系统异常检测方法


[0001]本专利技术属于信息安全
，进一步涉及异常检测方法，具体为一种基于日志工作流挖掘的分布式系统异常检测方法，可用于主流分布式系统的异常检测和识别。

技术介绍

[0002]分布式系统能够动态分布任务并进行全局管理，具有极高的容错性、可扩展性和资源共享性，广泛运用于云计算等平台，服务于众多大数据应用平台。计算需求的增加促使分布式系统进行任务协调的计算机节点数量呈现大幅度增加，并且分布式系统具有复杂的系统结构和功能，这将直接导致分布式系统异常和故障发生概率的显著增加，一旦系统出现异常，将会给服务商以及客户带来巨大的损失。其中分布式系统的下述特征是导致分布式系统产生异常普遍原因：
①
分布式通信协议多种多样,计算需求庞大。分布式系统并行处理海量任务，庞大的计算需求导致通信方式的多样化，同时对分布式系统的数据处理能力带来巨大的压力，节点之间存在一定的通信错误与数据丢失现象。
②
分布式系统计算节点数量庞大。大量的计算节点在复杂的任务执行过程中出现故障的概率增大，表现为分布式系统服务器节点出现宕机和“僵死”现象。
③
分布式系统架构复杂，组件种类繁多。复杂的功能导致分布式系统的架构变得复杂，并且需要众多的组件支持相应的分布式服务，大量的计算节点之间资源共享，一旦组件或节点之间存在安全漏洞，非常容易被黑客攻击导致分布式系统瘫痪和数据泄露。
[0003]异常检测技术是能够保证系统安全的关键一步，在大多数异常检测技术当中，系统日志被广泛应用于异常检测当中，其主要原因是系统的日志记录了系统执行流程、系统状态信息以及各种突发事件的记录等能够为异常检测提供信息来源的重要数据。现阶段的研究方法为了缩小低等级的日志和上层人类可理解的图表及语言之间的差异，采用构造工作流的方式来对系统运行状况进行建模，其中系统日志是构造工作流的重要数据来源。然而目前通过分析分布式系统日志进行异常检测还存在一些难点，首先分布式系统产生的日志体量庞大，甚至达到每小时吉比特字节的数据，其次分布式系统不同的组件设备之间产生的日志涉及不同方面的信息，产生的非结构化日志具有多样性的特点，此外分布式系统的资源共享性导致分布式系统产生的日志分散难以进行处理，这些都给异常检测带来了巨大的困难。

技术实现思路

[0004]本专利技术目的在于针对上述现有技术的不足，提出一种基于日志工作流挖掘的分布式系统异常检测方法，解决现有技术针对海量非结构化日志解析难、利用难、异常检测无法利用日志之间存在的空间特征等问题。本专利技术能够利用工作流图挖掘分布式系统日志间的信息空间结构，有效提高分布式系统日志异常检测的准确率。
[0005]实现本专利技术方案的思路是：首先通过日志解析提取出日志中事件的模板，并挖掘日志事件之间的时序关系；然后通过将分布式系统日志提取构造工作流图，利用时序关系
对图模型检查，再将事件转移时间转化为时间向量作为图中边的权重，接着对子图进行融合，实现对分布式系统的状态和执行轨迹的准确反映；最后通过图卷积神经网络对工作流图的信息空间结构以及节点特征和图结构信息进行提取和训练，最终实现工作流图的异常检测。
[0006]本专利技术实现上述目的具体步骤如下：
[0007](1)对分布式系统产生的日志进行解析，将非结构化日志转化为结构化日志，提取日志事件模板；
[0008](2)基于线性时态逻辑LTL挖掘系统运行过程中事件之间的时序关系，即时间不变量；
[0009](3)对结构化的分布式系统日志构造工作流图，实现如下：
[0010](3.1)对经过解析的结构化日志构造单进程的有限状态机FSM模型：
[0011]将系统日志中存在的多个并行任务称为轨迹，每个轨迹中不同对象具有不同的进程，设一篇系统日志L由h个进程生成，分别对这些进程构造有限状态机模型，得到第i个进程P
i
对应的有机状态机F
i
：
[0012]F
i
＝＜Q
i
,E
i
,δ
i
＞，
[0013]其中，i＝1,2,...,h，Q
i
表示输入日志构造的有限状态机F
i
中所有状态的集合，E
i
表示进程P
i
中所有事件实例的集合，δ
i
表示进程P
i
的转化函数；
[0014](3.2)提取进程之间的通道，通过进程之间发送和接收信息的途径使进程之间产生交互，利用进程间的通道对每个进程对应的有机状态机进行整合，生成FSM模型F：
[0015]F＝＜Q,E,Δ,M＞，
[0016]其中，Q表示输入日志的FSM中所有状态的集合，E表示日志L中所有事件实例的集合，Δ＝{δ
i
|P
i
∈L}表示日志L中转化函数的集合，M＝{c
ij
|P
i
,P
j
∈L}表示第i个进程与第j个进程间通道c
ij
的集合，j＝1,2,...,h,且i≠j；
[0017](3.3)将生成的FSM模型进行转换，得到工作流图G：
[0018]G＝(V,E)，
[0019]其中，V＝{v
i
|i∈0}表示G的节点集合，E＝{e
vivj
|v
i
,v
j
∈V}表示G中第i个节点v
i
指向第j个v
j
的有向边的集合；0为正整数；
[0020](4)对工作流图G按照如下步骤进行改进：
[0021](4.1)对工作流图G进行抽象处理，去除冗余部分，即将一组事件实例的序列作为一个整体的状态，对多组相同的事件实例序列进行归并，形成一个新的抽象状态，针对所有事件构造得到一系列抽象状态，获取状态之间的关系；
[0022](4.2)利用步骤(2)挖掘的时间不变量对对构造的工作流图G进行检查，针对不符合实例之间时序关系的部分进行修改，得到最终工作流图模型；
[0023](5)将异常检测视为二分类任务，即正常类或异常类，使用基于Top
‑
K池化机制的图卷积神经网络作为异常检测模型，通过提取图中节点的嵌入表示和图的结构信息对最终工作流图模型执行图分类任务，实现对分布式系统日志的异常检测。
[0024]本专利技术与现有技术相比具有以下优点：
[0025]第一、由于本专利技术采用图卷积神经网络模型，对工作流图模型提取的节点特征、图结构特征以及空间信息特征进行提取并训练，从而解决了传统日志异常检测过程中忽略日
志序列之间空间结构信息的问题；因此，以工作流图的形式表示分布式系统日志来进行异常检测能够更充分地考虑到系统执行轨迹之间的关系，将其作为图空间结构信息加入到图卷积神经网络模型中进行异常检测，使得对分布式系统的异常本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于日志工作流挖掘的分布式系统异常检测方法，其特征在于，包括如下步骤：(1)对分布式系统产生的日志进行解析，将非结构化日志转化为结构化日志，提取日志事件模板；(2)基于线性时态逻辑LTL挖掘系统运行过程中事件之间的时序关系，即时间不变量；(3)对结构化的分布式系统日志构造工作流图，实现如下：(3.1)对经过解析的结构化日志构造单进程的有限状态机FSM模型：将系统日志中存在的多个并行任务称为轨迹，每个轨迹中不同对象具有不同的进程，设一篇系统日志L由h个进程生成，分别对这些进程构造有限状态机模型，得到第i个进程P
i
对应的有机状态机F
i
：F
i
＝＜Q
i
,E
i
,δ
i
＞，其中，i＝1,2,...,h，Q
i
表示输入日志构造的有限状态机F
i
中所有状态的集合，E
i
表示进程P
i
中所有事件实例的集合，δ
i
表示进程P
i
的转化函数；(3.2)提取进程之间的通道，通过进程之间发送和接收信息的途径使进程之间产生交互，利用进程间的通道对每个进程对应的有机状态机进行整合，生成FSM模型F：F＝＜Q,E,Δ,M＞，其中，Q表示输入日志的FSM中所有状态的集合，E表示日志L中所有事件实例的集合，Δ＝{δ
i
|P
i
∈L}表示日志L中转化函数的集合，M＝{c
ij
|P
i
,P
j
∈L}表示第i个进程与第j个进程间通道c
ij
的集合，j＝1,2,...,h,且i≠j；(3.3)将生成的FSM模型进行转换，得到工作流图G：G＝(V,E)，其中，表示G的节点集合，表示G中第i个节点v
i
指向第j个v
j
的有向边的集合；为正整数；(4)对工作流图G按照如下步骤进行改进：(4.1)对工作流图G进行抽象处理，去除冗余部分，即将一组事件实例的序列作为一个整体的状态，对多组相同的事件实例序列进行归并，形成一个新的抽象状态，针对所有事件构造得到一系列抽象状态，获取状态之间的关系；(4.2)利用步骤(2)挖掘的时间不变量对对构造的工作流图G进行检查，针对不符合实例之间时序关系的部分进行修改，得到最终工作流图模型；(5)将异常检测视为二分类任务，即正常类或异常类，使用基于Top
‑
K池化机制的图卷积神经网络作为异常检测模型，通过提取图中节点的嵌入表示和图的结构信息对最终工作流图模型执行图分类任务，实现对分布式系统日志的异常检测。2.根据权利要求1所述的方法，其特征在于：步骤(2)基于线性时态逻辑LTL挖掘系统运行过程中事件之间的时序关系，是挖掘系统运行过程中事件之间的时序关系常量，该常量由实际的系统日志中记录挖掘得到，当模型中存在不符合常量的时序关系时，将其剔除；将日志中事件实例的时序关系用符号来表示，令t1表示第一事件e1在日志中被记录的时间，t2代表第二事件e2被记录的时间，e2∈T
i
,对于事件实例m
i
∈P
i
,n
j
∈P
j
共挖掘得到如下三种常量关系：
其中，m
i
表示进程P
i
中的事件实例，n
j
表示进程P
j
中的事件实例，表示任意，表示存在,表示不存在。3.根据权利要求2所述的方法，其特征在于：挖掘系统运行过程中事件之间的时序关系常量,根据如下规则进行：(a)若事件实例m
i
在日志中出现的次数和m
i
出现在n
j
前的次数相等，则认为事件实例m
i
、n
j
满足m
i
→
n
j
关系。(b)若事件实例m
i
出现在n
j
前的次数为0，则认为事件实例m
i

【专利技术属性】
技术研发人员：李腾，魏少博，韩相宇，张胜凯，朱雄杰，孙小敏，马卓，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：