一种基于语义距离和TCN-Attention的日志序列异常检测方法技术

本发明专利技术公开了一种基于语义距离和TCN‑Attention的日志序列异常检测方法，包括以下步骤：利用Drain算法进行日志解析，将非结构化的日志条目转化为结构化的日志集合；采用LDA提取日志主题词并采用Word2vec建模词向量，通过计算语义距离为所有日志词赋予不同大小的权重因子，基于加权聚合的方式生成日志语义特征；利用TCN来分析日志序列中相邻和间隔日志事件间的关系，在局部和全局角度捕获日志上下文信息；利用attention自动地学习不同日志事件的重要性，捕获日志序列的关键特征；将日志序列关键特征输入到MLP进行日志序列异常检测。本发明专利技术能够突出日志序列的关键特征，从而准确地检测出更多异常日志序列。

【技术实现步骤摘要】

本专利技术涉及计算机系统，具体来说涉及一种基于语义距离和tcn-attention的日志序列异常检测方法。

技术介绍

1、软件系统的状态、行为等都记录在日志信息中，通过对日志分析能有效避免系统异常行为的发生。基于日志序列的异常检测对保证系统正常运行具有至关重要的作用。

2、日志序列由一系列日志组成，这些日志按系统执行先后顺序排列而成。系统生成的单条日志中包含丰富的信息，例如事件、参数、时间戳等，整体上可以划分为变量部分和常量部分，变量部分记录系统的时间戳、ip地址等属性，常量部分则记录日志事件的内容，其由固定字符串组成，是日志消息的模板。现有基于日志序列的异常检测方法主要以日志模板为主体进行特征提取。依据特征提取方式的不同，可将主流的日志序列异常检测方法划分为两类，分别是基于日志事件(模板)索引的方法和基于日志语义特征的方法。

3、基于日志事件索引的日志序列异常检测方法。该类方法为不同的日志模板赋予不同的id，然后将其映射到索引的特征空间中进行异常检测。例如，deeplog将模板索引序列作为输入，采用lstm模型学习正常的日志序列模本文档来自技高网...

【技术保护点】

1.一种基于语义距离和TCN-Attention的日志序列异常检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于语义距离和TCN-Attention的日志序列异常检测方法，其特征在于，利用Drain算法进行日志解析包括：

3.根据权利要求1所述的一种基于语义距离和TCN-Attention的日志序列异常检测方法，其特征在于，采用LDA提取日志主题词，包括：

4.根据权利要求1所述的一种基于语义距离和TCN-Attention的日志序列异常检测方法，其特征在于，通过计算语义距离为所有日志词赋予不同大小的权重因子，包括根据以下公式计算主...

【技术特征摘要】

1.一种基于语义距离和tcn-attention的日志序列异常检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于语义距离和tcn-attention的日志序列异常检测方法，其特征在于，利用drain算法进行日志解析包括：

3.根据权利要求1所述的一种基于语义距离和tcn-attention的日志序列异常检测方法，其特征在于，采用lda提取日志主题词，包括：

4.根据权利要求1所述的一种基于语义距离和tcn-attention的日志序列异常检测方法，其特征在于，通过计算语义距离为所有日志词赋予不同大小的权重因子，包括根据以下公式计算主题词与日志词的语义距离：

5.根据权利要求4所述的一种基于语义距离和tcn-attentio...

【专利技术属性】
技术研发人员：张秀国，王培鹏，曹志英，陈雨田，李旺旺，徐伟刚，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：