一种日志异常检测方法及系统技术方案

本发明专利技术提供一种日志异常检测方法，日志预处理后利用日志解析算法对日志进行解析生成日志模板，流程中创新主要包含日志折叠向量表征、基于索引的轮询掩码2个模块；日志折叠向量表征采用Volume Embedding表征某日志连续出现次数，Positional Embedding表征日志出现位置，Token Embedding表征日志文本，该种表征可以使日志序列向量中包含更丰富的日志上下文信息；基于索引的轮询掩码，将位置下标再映射到对应的日志模板进行掩码，可以保证每次被掩码的日志模板在日志序列中随机分布，同时整个序列中的日志模板都将被掩码。该掩码方式保证日志序列中的每个位置都被掩码；基于每次的掩码比例n(0<n<1)相当于将训练数据集扩充为1/n份，使异常检测模型的健壮性更强。使异常检测模型的健壮性更强。使异常检测模型的健壮性更强。

【技术实现步骤摘要】
一种日志异常检测方法及系统


[0001]本专利技术涉及人工智能
，特别是涉及一种日志异常检测方法及系统。

技术介绍

[0002]日志是一种由时间戳和文本信息组成的非结构化时序文本数据，实时记录业务运行状态，是运维人员分析系统故障的重要依据。现代系统的规模和复杂性不断增加，使得日志量暴增。若依靠人工分析日志数据来识别系统中是否发生了故障则效率低下，因此有必要引入AI算法进行日志异常检测，以达到降低运维成本，显著提升业务体验的目的。
[0003]在AIOps领域中，日志异常检测(Log Anomaly Detection，LAD)是指将统计学习、机器学习、深度学习等AI算法与运维人员的领域知识融合，用来识别日志序列数据中不符合预期行为的模式，可以发现或预知系统中已发生或潜在的故障，提高运维人员排障效率。通常采用决策树模型、DeepLog模型和LogBERT模型进行日志异常检测。
[0004]决策树模型是使用训练数据以自顶向下的方式构建的树形结构。树中每个节点都是使用当前的“最佳(信息增益最大)”属性(日志模板&本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志异常检测方法，其特征在于，日志预处理后利用日志解析算法对日志进行解析，生成日志模板，所述日志模板经过日志折叠向量表征以及基于索引的轮询掩码后输入BERT模型中进行模型离线训练生成异常检测模型，用于日志序列异常检测；所述日志折叠向量表征采用Volume Embedding表征某日志连续出现次数，Positional Embedding表征日志出现位置，Token Embedding表征日志文本，最终将三者相加表示日志序列的整体向量表征；所述基于索引的轮询掩码，即将每条日志序列中日志模板的位置下标打乱后再按顺序对位置下标进行滑窗采样，将位置下标再映射到对应的日志模板进行掩码，可以保证每次被掩码的日志模板在日志序列中随机分布，同时整个序列中的日志模板都将被掩码。2.根据权利要求1所述的日志异常检测方法，其特征在于：还包括用于日志序列异常检测的最终目标函数为：最终目标函数中的L
MLKP
为日志模板掩码预测(MLKP)损失函数Masked Log Key Prediction(MLKP)形式，具体为：其中表示在第j个日志序列中，掩码位置i处的真实日志模板，表示第j个日志序列中，掩码位置i处的预测的日志模板，M表示日志序列j中总的掩码个数，N表示日志序列个数；最终目标函数中的L
VHM
为超球面体积最小化Volume of Hypersphere Minimization(VHM)损失函数，具体为：其中，N表示日志序列个数，c为超球的中心点，为第j个日志序列的向量表示；最终目标函数中的α为MLKP损失函数和VHM损失函数的平衡因子。3.据权利要求1所述的日志异常检测方法，其特征在于：输入至模型离线训练后的模型，即将掩码后的日志序列输入模型，预测掩码位置处候选TopN个日志模板，若真实日志模板在TopN集...

【专利技术属性】
技术研发人员：田富龙，何诚，李睿，王平辉，
申请(专利权)人：上海鼎茂信息技术有限公司，
类型：发明
国别省市：