一种基于孤立森林的日志异常检测系统技术方案

本发明专利技术公开了一种基于孤立森林的日志异常检测系统包括日志收集模块、日志过滤模块、日志处理模块、模型训练模块和模型预测模块，本发明专利技术是基于机器学习中的孤立森林算法，同时结合了模式匹配技术，提出了一种高准确率、实时的用户日志异常检测系统；孤立森林技术的引入大大提高了检测系统的检测准确率，提高了系统的安全性；模式匹配技术的引入进一步提高了检测系统的检测速度，提高了系统的实时性；此外，当网络环境中出现新的异常行为时，只需要管理员重新训练模型然后替换原有模型即可，节约了大量的开发成本；这些优势丰富了机器学习的应用生态，对机器学习日志领域的发展起到了非常大的推动作用。非常大的推动作用。非常大的推动作用。

【技术实现步骤摘要】
一种基于孤立森林的日志异常检测系统


[0001]本专利技术属于数据处理
，具体涉及一种基于孤立森林的日志异常检测系统。

技术介绍

[0002]用户异常行为是如今网络面临的巨大威胁之一，用户异常行为指的是用户在访问网络过程中对网络运行环境造成影响的行为，常见的用户异常行为有DDoS攻击、XXS攻击和重放攻击等。这些异常行为危害了网络安全，降低了网络的服务质量，提高了运维成本。用户日志异常检测系统在实时发现用户异常行为中扮演着极其重要的角色。用户日志异常检测系统包含日志收集、日志存储和日志分析等多个模块，它能够实时地采集用户在访问服务器过程中产生的行为日志，对日志在线检测，从而及时发现用户的异常行为。通过这种方式，维护人员能够及时发现网络中存在的风险，做出对应的措施，规避可能造成的损害。
[0003]然而，目前大部分的日志异常检测系统基于统计学方法来判断日志是否合法。这种检测方式语义清楚、实现简单，但是它难以检测出复杂的异常行为，这会降低检测的准确率。由于这些问题的存在，基于统计学方法的检测系统存在着巨大的安全隐患，甚至会造成公司巨大本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于孤立森林的日志异常检测系统，其特征在于：包括以下模块：日志收集模块，所述日志收集模块负责对用户访问过程中生成的用户日志进行接收、整合并存储在本地；日志过滤模块，所述日志过滤模块从日志收集模块中获取用户日志，通过对日志进行模式匹配，提前处理掉能够被模式匹配检测出的异常日志，输出被模式匹配检测为正常的日志；日志处理模块，所述日志处理模块在训练场景下输入为用户日志数据集，在检测场景下输入为需要检测的用户日志，输出是编码后的用户日志；模型训练模块，所述模型训练使用经过了日志处理模块的用户日志数据集作为输入，输出是训练模型；通过孤立森林算法训练模型：包括以下步骤：a）、从训练数据中随机选择n个点作为样本子集，放入树的根节点；b）、随机指定一个样本特征，在当前节点数据中随机产生一个切割点 p；c）、以此切割点生成一个超平面，然后将当前节点数据空间划分为2个子空间：把指定特征中小于 p 的数据放在当前节点的左子节点，把大于等于 p 的数据放在当前节点的右子节点；d）、在子节点中递归步骤b）和c），不断构造新的子节点，直到子节点中只有一个数据或子节点已到达限定高度；e）、循环a）至d），直至生成 T 个孤立树；f）、获得T个孤立树之后，孤立森林训练结束，然后进入数据的预测阶段。对于每一个数据点 x，令其遍历每一颗孤立树得到路径长度h(x)，计算数据点x异常值分数的公式如下所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)公式中E(h(x))表示点 x在多颗孤立树的平均路径长度，c(n)表示用n条数据构建的二叉树的平均路径长度，做归一化；从异常分值的公式看，若数据 x 在多棵孤立树中的平均路径长度越短，得分越接近 1，表明数据 x 越异常；若数据 x 在多棵孤立树中的平均路径长度越长，得分越接近 0，表示数据 x 越正常；若数据 x 在多棵孤立树中的平均路径长度接近整体均值，则得分接近0.5；模型预测模块，将处理好的待检测日志输入模型预测模块得到运算结果，根据结果判断是不是异常日志，输出1表示日志是异常日志，输出0表示日志是正常日志。2.根据权利要求1所述的一种基于孤立森林的日志异常检测系统，其特征在于：所述日志收集模块采用轻量的、在工业界常用的日志收集器Filebeat，日志共包含10个字段，字段涉及到操作系统层面、网络层面、应用层面。3.根据权利要求1所述的一种基于孤立森林的日志异常检测系统，其特征在于：所述日志处理模块分为日志裁剪和日志编码...

【专利技术属性】
技术研发人员：李挥，杨振远，彭明，
申请(专利权)人：江苏数一互联网有限公司，
类型：发明
国别省市：