一种基于实时聚合异常检测的安全数据分析方法技术

本发明专利技术提供一种基于实时聚合异常检测的安全数据分析方法，包括：S1、实时获取安全数据，进行特征提取，将提取的特征数据发送到Kafka消息队列的一个或多个主题中；S2、Apache Spark应用程序从Kafka的主题中读取特征数据流；S3、从Apache Spark的数据中实时读取数据点，并将其插入到采用BIRCH算法构建的BIRCH树中；S4、通过对叶子节点进行密度聚类的方式从BIRCH树中提取聚类结果；S5、将所述聚类结果输入离群检测算法，计算每个数据点的局部离群因子LOF，判断LOF值是否大于设定阈值，从而确定是否将某个数据点标记为离群点。是否将某个数据点标记为离群点。是否将某个数据点标记为离群点。

【技术实现步骤摘要】
一种基于实时聚合异常检测的安全数据分析方法


[0001]本专利技术涉及信息安全
，具体涉及一种基于实时聚合异常检测的安全数据分析方法。

技术介绍

[0002]随着信息技术的快速发展和广泛应用，各种类型的安全数据不断涌现，如网络日志、入侵检测系统产生的报警、用户行为日志等。如何对这些海量的安全数据进行高效、准确的分析和处理，成为了当前信息安全领域亟待解决的问题。
[0003]传统的安全数据分析方法主要依靠规则引擎、统计方法等，然而面对大规模、快速变化的数据，这些传统方法存在一些问题。首先，规则引擎面临规则维护困难、规则覆盖不完全等问题；统计方法无法处理实时数据并且精确率和召回率较低。因此，需要一种能够实时处理海量数据、准确地识别异常行为的安全数据分析方法。

技术实现思路

[0004]鉴于上述技术问题，为了克服上述现有技术的不足，本专利技术提出了一种基于实时聚合异常检测的安全数据分析方法，通过采用实时数据聚合和离群点检测算法，能够高效地从大规模实时数据中识别出异常和离群情况，大幅提高安全数据分析的处理速度和效率。...

【技术保护点】

【技术特征摘要】
1.一种基于实时聚合异常检测的安全数据分析方法，其特征在于，包括：S1、实时获取安全数据，进行特征提取，将提取的特征数据发送到Kafka消息队列的一个或多个主题中；S2、Apache Spark应用程序从所述Kafka的主题中读取特征数据流；S3、从所述Apache Spark的数据中实时读取数据点，并将其插入到采用BIRCH算法构建的BIRCH树中；S4、通过对叶子节点进行密度聚类的方式从所述BIRCH树中提取聚类结果；S5、将所述聚类结果输入离群检测算法，计算每个数据点的局部离群因子LOF，判断LOF值是否大于设定阈值，从而确定是否将某个数据点标记为离群点。2.根据权利要求1所述的分析方法，其特征在于，所述S1中，所述安全数据包括网络流量数据、系统日志和入侵检测数据，所述特征包括网络流量特征、系统日志特征和入侵检测特征。3.根据权利要求1所述的分析方法，其特征在于，所述S2中，所述Apache Spark应用程序通过Spark Streaming模块连接到所述Kafka。4.根据权利要求1所述的分析方法，其特征在于，所述S3中，包括构建BIRCH树的步骤：S31、创建一个空的多叉树结构的BIRCH树，用于存储和组织聚类结果；S32、定义初始化BIRCH树时的初始聚类簇数量、定义每个叶子节点可以存储的最大数据点数量、每个分支节点可以存储的最大叶子节点数量；S33、设置聚类簇的直径阈值，用于决定是否将新的数据点聚合到现有的聚类簇中。5.根据权利要求1所述的分析方法，其特征在于，所述...

【专利技术属性】
技术研发人员：张晨，张涵茗，赵崇鹏，潘天朋，赵少川，姚珊珊，
申请(专利权)人：北京安信天行科技有限公司，
类型：发明
国别省市：