【技术实现步骤摘要】
一种云防护日志系统及其工作方法
本专利技术涉及一种云防护日志系统及其工作方法，属于信息安全应用
技术介绍
近年来，随着我国企业网络技术的蓬勃发展，企业用户的需求也随之日益增长。企业用户在对网络服务追求高速率和高质量的同时，网络安全也得到了越来越多的关注，而网络安全的发展总是伴随着网络技术的革新而不断发展。目前，网络攻击方式日益复杂，加之普通企业员工网络安全防范意识淡薄，这就导致企业内部网络被入侵和攻击的事件频繁发生。传统网络安全解决方案正逐渐丧失作用，面临被淘汰的局面。而随着云计算和分布式技术的成熟，各大信息安全企业以及网络安全专家都开始着手研究基于分布式云计算的云防护系统。传统本地防护系统只单纯地将防护系统部署在本地服务器或本地局域网内，此时只有当网络威胁到达本地时，防护系统才会发挥作用实施拦截。而新型云防护系统在保留本地防护系统的同时，进一步将防护系统分布式地部署在多个地区的云服务器上。云防护系统作为企业局域网的反向代理，成为实现企业局域网与外部Internet安全连接的桥梁。网络威胁在入侵企业局域网时，必须要...
【技术保护点】
1.一种云防护日志系统及其工作方法，该系统包括日志收集模块、日志处理模块和日志存储模块，日志收集模块负责采集和聚合云防护平台下杀毒引擎集群产生的日志数据，之后将日志数据发送到日志处理模块进行实时处理；待实时处理完成后，日志处理模块将日志数据存储到日志存储模块中；此后日志处理模块对日志存储模块中的日志数据进行离线处理；日志处理模块中实时处理和离线处理产生的数据报表将存储到日志存储模块中；日志收集模块包括日志收集系统Flume和消息队列Kafka，Flume包括负责日志数据采集的Flume Agent和对采集的日志数据进行聚合的Flume Collector，Flume采集和聚...
【技术特征摘要】
1.一种云防护日志系统及其工作方法，该系统包括日志收集模块、日志处理模块和日志存储模块，日志收集模块负责采集和聚合云防护平台下杀毒引擎集群产生的日志数据，之后将日志数据发送到日志处理模块进行实时处理；待实时处理完成后，日志处理模块将日志数据存储到日志存储模块中；此后日志处理模块对日志存储模块中的日志数据进行离线处理；日志处理模块中实时处理和离线处理产生的数据报表将存储到日志存储模块中；日志收集模块包括日志收集系统Flume和消息队列Kafka，Flume包括负责日志数据采集的FlumeAgent和对采集的日志数据进行聚合的FlumeCollector，Flume采集和聚合日志数据后，将日志数据发送到Kafka中缓存；日志处理模块包括分布式实时大数据处理框架Storm和分布式离线大数据处理框架MapReduce，两者分别负责对日志数据进行实时和离线处理；日志存储模块包括负责存储海量日志数据的Hadoop分布式文件系统HDFS以及负责存储和缓存数据报表的关系型数据库MySQL和非关系型数据库Redis，外部的数据访问层DAL查询MySQL中的数据报表时，将优先去Redis中查询，如缓存未命中，则直接去MySQL中查询；云防护日志系统通过日志收集模块中的FlumeAgent集成到云防护平台内部进行日志数据的采集工作；数据报表存储于MySQL中，外部的DAL可以通过Redis和MySQL直接查询和展示数据报表，其工作流程为：日志收集系统Flume采集、聚合各区域云防护平台上杀毒引擎产生的日志数据，之后将日志数据缓存到消息队列Kafka中；负责执行实时处理任务的Storm会去Kafka中提取和处理日志数据；待日志数据处理完后，将其保存到HDFS中；而负责离线处理任务的MapReduce会在HDFS上运行数据挖掘算法；经过实时处理和离线处理的数据报表将被存储到MySQL中，该方法的具体步骤如下：
1)云防护平台部署在各区域的云服务器上，用户在购买云防护平台的服务后，用户内部主机与外部网络交换数据时，其数据流量将转发到云防护平台的杀毒引擎集群进行扫描，杀毒引擎集群通过生成日志数据的形式来记录当前数据流量的重要信息以及扫描结果，同时日志数据是以流式数据的形式持续地从杀毒引擎集群中产生；日志数据产生后，云防护平台将日志数据存放到指定文件目录进行保存；
2)云防护平台所在区域的云服务器上集成了FlumeAgent，FlumeAgent不间断地采集该区域云防护平台内的日志数据，之后FlumeAgent将日志数据发送到FlumeCollector进行日志数据的聚合，Flu...
【专利技术属性】
技术研发人员：白智全，寇晓辉，杨颖超，庞珂，郭蒙，霍克，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。