一种基于流数据分析的Web 攻击实时在线检测系统技术方案

本发明专利技术公开了一种基于流数据分析的Web攻击实时在线检测系统，包括日志数据采集客户端、日志数据缓存集群和流数据检测集群；本发明专利技术的技术效果在于，采用多缓存队列，实时在线采集信息系统应用日志，能够防止黑客完成攻击后清除日志数据；采用集群框架设计，整个安全日志数据处理流程由志数据缓存集群和流数据检测集群组成，能够实现负载均衡和解决单点故障，提高数据处理的实时性和可靠性；采用基于动态时间窗口的流数据分析方法，能够根据不同的场景，动态调整时间窗口阈值，提高数据融合的准确性。

A real time online detection system for Web attacks based on streaming data analysis

The invention discloses a Web attack real-time online detection system based on data flow analysis, including log data acquisition, client log data cache cluster and data stream cluster detection; technical effect of the invention is that the cache queue, real-time information online system and application logs, to prevent hackers attack after removal of log data the cluster; the framework design, the security log data processing by the data cache and data stream cluster of cluster detection, can achieve load balance and solve the single point of failure, improve the reliability and real-time data processing; the dynamic data flow analysis method based on time window, according to different scenarios, dynamic adjustment time the window threshold, improve the accuracy of data fusion.

【技术实现步骤摘要】
一种基于流数据分析的Web攻击实时在线检测系统
本专利技术涉及一种基于流数据分析的Web攻击实时在线检测系统。
技术介绍
随着Web技术的发展，大量的信息系统部署在网络上对外提供服务。信息系统在为信息发布和交互带来便利的同时，针对系统的Web攻击越来越多，系统安全已成为一个日益重要的问题。根据国家互联网应急中心发布《中国互联网站发展状况及其安全报告(2016)》显示，针对信息系统的SQL注入、网页篡改、网站后门等Web攻击事件层出不穷，党政机关、科研机构、重要行业单位网站是黑客组织攻击的重点目标。对于采用技术手段绕过防火墙的入侵攻击，防火墙无法检测和告警。信息系统的应用服务器有记录用户访问行为的日志数据，包括用户操作行为、访问请求和系统错误异常等。因此要全面掌握系统安全状况，及时定位Web攻击，实时分析信息系统日志数据非常必要。黑客在获得控制权后会立即窃取篡改数据或实施破坏行为，完成攻击后很有可能清除入侵痕迹。因此，第一时间发现Web攻击行为十分重要，特别是对于规模庞大的信息系统或者数据中心，Web攻击检测方法必须要支持海量的日志数据实时在线检测。当前关于Web攻击的检测方法侧重于研本文档来自技高网...

【技术保护点】
一种基于流数据分析的Web攻击实时在线检测系统，其特征在于，包括日志数据采集客户端、日志数据缓存集群和流数据检测集群；所述的日志数据采集客户端是将信息系统应用服务器日志封装成Syslog消息格式的客户端软件；所述的日志数据缓存集群由至少两个日志数据缓存模块组成，通过以太网与日志数据采集客户端、流数据检测集群连接；所述的流数据检测集群由至少两个流数据检测模块组成；所述的日志数据缓存模块包括分发线程、维护线程和至少一个缓冲队列；分发线程接收来自日志数据采集客户端的Syslog消息，并转化为统一格式的消息对象，再将消息对象分发到缓存队列，维护线程用于清理缓冲队列中不符合要求的消息对象；所述的流数据检...

【技术特征摘要】
1.一种基于流数据分析的Web攻击实时在线检测系统，其特征在于，包括日志数据采集客户端、日志数据缓存集群和流数据检测集群；所述的日志数据采集客户端是将信息系统应用服务器日志封装成Syslog消息格式的客户端软件；所述的日志数据缓存集群由至少两个日志数据缓存模块组成，通过以太网与日志数据采集客户端、流数据检测集群连接；所述的流数据检测集群由至少两个流数据检测模块组成；所述的日志数据缓存模块包括分发线程、维护线程和至少一个缓冲队列；分发线程接收来自日志数据采集客户端的Syslog消息，并转化为统一格式的消息对象，再将消息对象分发到缓存队列，维护线程用于清理缓冲队列中不符合要求的消息对象；所述的流数据检测模块包括流数据生产模块、流数据一级处理模块、流数据二级处理模块和流数据三级处理模块；流数据生产模块提取日志数据缓存模块的消息对象，并转化为统一格式的流数据单元；流数据一级处理模块采用wu-manber多模匹配算法检测流数据单元中是否含有攻击特征关键字，将含有特征关键字的流数据单元发送到流数据二级处理模块中；流数据二级处理模块采用流数据分析模型，去除重复的攻击事件，统计攻击次数，并将融合的攻击事件检测结果发送至流数据三级检测模块；流数据三级检测模块将检测结果存入关系数据库中。2.根据权利要求1所述的一种基于流数据分析的Web攻击实时在线检测系统，其特征在于，所述的分发线程将Syslog消息转化成格式为<消息头，消息体>，表示为<head,body>的统一格式的消息对象。3.根据权利要求1所述的一种基于流数据分析的Web攻击实时在线检测系统，其特征在于，所述的分发线程根据消息对象根据分配函数，将消息对象分发到第i个缓存队列，分配函数公式如下：i＝|H(head)|％n其中H(head)为消息对象头字符串的哈希值，n为缓冲队列的个数。4.根据权利要求1所述的一种基于流数据分析的Web攻击实时在线检测系统，其特征在于，维护线程清理缓冲队列中不符合要求的消息对象，是从缓冲队列中删除距离当前时间超过维护线程时间阈值T1的消息对象，其中维护线程时间阈值T1是在系统启动初始化时进行设置的。5.根据权利要求1所述的一种基于流数据分析的Web攻击实时在线检测系统，其特征在于，所述的流数据生产模块包括至少一个处理单元、流数据维护线程和流数据缓冲队列；所述的处理单元用于提取日志数据缓存模块中的消息对象，并转换成流数据单元；流数据缓冲队列的一个元素为一个流数据单元，队列长度根流数据单元的规模进行配置；流数据维护线程用于从流数据缓冲队列中删除日志时间距离当前时间超过流数据维护线程时间阈值T3的消息对象，其中流数据维护线程时间阈值T3是在系统启动初始化时进行设置的。6.根据权利要求...

【专利技术属性】
技术研发人员：田建伟，田峥，黎曦，乔宏，朱宏宇，漆文辉，薛海伟，邓杰，
申请(专利权)人：国家电网公司，国网湖南省电力公司，国网湖南省电力公司电力科学研究院，
类型：发明
国别省市：北京,11