基于大数据分析的防恶意攻击系统技术方案

技术编号:14890834 阅读:74 留言:0更新日期:2017-03-28 23:25
一种基于大数据分析的防恶意攻击系统,Web服务器,应用服务器,行为防御服务器、ES服务器、数据分析服务器和防火墙服务器;Web服务器访问日志发给数据分析服务器;行为防御服务器,将行为防御日志通过ES服务器发给数据分析服务器;数据分析服务器对行为防御日志和访问日志进行分析得到黑名单,并将黑名单发送给规则服务器,规则服务器将黑名单推送到Web服务器和防火墙服务器。本发明专利技术综合利用了访问日志和行为防御日志,对其进行实时分析,动态维护黑名单或者利用大数据的机器学习功能,对访问用户进行预测式分析,进行主动防御,还能够充分利用外部行为防御系统积累的防护经验,使得不同级别的防护设备同时得到防护加强。

【技术实现步骤摘要】

本专利技术涉及网络防护领域,具体的,涉及一种利用访问日志和行为防御日志进行大数据分析的防恶意攻击系统。
技术介绍
随着网络应用深入人们的生活,网络攻击层出不穷,尤其在一些重要的网络节点,例如大型政府网站、政府机构、以及一些提供服务和售票服务的系统,常常面临各种网络的攻击威胁。在这种情况下,人们对于设备的防攻击效果提出了更高的要求。现有的防恶意攻击系统主要分为直接IP防御和行为防御。其中直接IP防御,通常是直接将恶意IP配置在防护机上,一般多用于防火墙以及WAF等设备。行为防御,通常是预先设置好规则,运行时根据用户的行为判断是否为恶意用户,从而进行拦截。这种防御系统一般会配合应用系统使用,在应用系统的关键部位埋点,进行风险判断。而上述的两种防恶意攻击系统存在一定的缺陷,具体为,直接IP防御,虽然简单易行,但是需要人工维护黑名单,需要投入较多运维人员实时监控,而且黑名单始终处于滞后状态,只能采取被动防御的态势。行为防御,比较依赖规则的指定,需要维护庞大复杂的规则库,而且行为防御系统必须和应用系统配合使用,对于应用系统有一定入侵。并且由于行为防御系统的防御特点,使得其必须在应用层采取防御措施,会使得应用层面对较大压力,承担很多恶意用户的访问以及攻击。因此,如何规避现有技术的缺陷,能够实时、主动的更新黑名单,且降低应用层的防御压力,分散防御压力,成为现有技术亟需解决的技术问题。
技术实现思路
本专利技术的目的在于提出一种基于大数据分析的防恶意攻击系统,使得能够利用访问日志和行为防御日志进行大数据分析,自动地更新黑名单。为达此目的,本专利技术采用以下技术方案:一种基于大数据分析的防恶意攻击系统,该系统包括Web服务器1,应用服务器2,行为防御服务器3、ES服务器4、数据分析服务器5和防火墙服务器8;Web服务器1,用于接收用户7发出的各种请求,向应用服务器2请求所需要的服务,并将访问日志发给数据分析服务器5;应用服务器2,用于向所述Web服务器2提供所需要的各种服务,并在业务操作中,调用行为防御服务器3,进行行为防御;行为防御服务器3,用于在应用服务器2提供各种服务时,针对所受到的各种攻击提供防御服务,并将行为防御日志发送到ES服务器4;ES服务器4,能够用于存储行为防御服务器3中的行为防御日志,并将所述行为防御日志发送给数据分析服务器5;数据分析服务器5,用于对行为防御日志和访问日志进行分析,得到黑名单,并将黑名单发送给防护设备。进一步的,还包括规则服务器6,所述数据分析服务器5将分析得到的所述黑名单发给所述规则服务器6,所述规则服务器6将黑名单推送到Web服务器1和防火墙服务器9,使得Web服务器1和防火墙服务器9能够根据所述黑名单进行防御。进一步的,所述数据分析服务器5,包括数据分析模块,所述数据分析模块能够利用不同的算法对行为防御日志和访问日志进行分析和整合,得到黑名单。进一步的,所述访问日志包括用户7访问系统的url、时间、ip以及cookie,行为防御日志为行为防御的结果,包括何时,哪个用户访问系统,违反了什么规则,系统建议如何处理,处理方式包括:通过、人工审核、拒绝。进一步的,所述黑名单包括ip黑名单、用户黑名单或者其它维度的黑名单。进一步的,所述数据分析模块能够利用离线分析对行为防御日志和访问日志进行分析和整合,所述离线分析指对大规模数据进行大数据分析。进一步的,所述数据分析模块能够利用流式分析对行为防御日志和访问日志进行分析和整合,所述流式分析,按照某种频率对数据流进行持续分析,要求结果实时返回。进一步的,所述数据分析模块能够利用机器学习对行为防御日志和访问日志进行分析和整合,所述机器学习,通过从数据里提取规则或模式来把数据转换成信息。进一步的,还具有其它风险数据源9,将其它风险数据源9提供给数据分析服务器5,由数据分析模块进行分析,以得到黑名单。本专利技术综合利用了访问日志和行为防御日志,对其进行实时分析,动态维护黑名单或者利用大数据的机器学习功能,对访问用户进行预测式分析,进行主动防御,还能够充分利用外部行为防御系统积累的防护经验,利用不断累积的数据,不断调整数据分析方法,使得系统具备自我学习能力,产生的黑名单以广播的形式推送到不同防护设备,使得不同级别的防护设备同时得到防护加强。附图说明图1是根据本专利技术具体实施例的基于大数据分析的防恶意攻击系统的模块图。图中的附图标记所分别指代的技术特征为:1、Web服务器;2、应用服务器;3、行为防御服务器;4、ES服务器;5、数据分析服务器;6、规则服务器;7、用户;8、防火墙服务器;9、其它风险数据源。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本专利技术,而非对本专利技术的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本专利技术相关的部分而非全部结构。参见图1,示出了根据本专利技术具体实施例的基于大数据分析的防恶意攻击系统的模块图,该系统包括Web服务器1,应用服务器2,行为防御服务器3、ES服务器4、数据分析服务器5和防火墙服务器8。Web服务器1,用于接收用户7发出的各种请求,向应用服务器2请求所需要的服务,并将访问日志发给数据分析服务器5;在本专利技术中,Web服务器1是一种高性能反向代理服务器,也可作为负载均衡服务器使用,例如Web服务器可以为Nginx服务器。应用服务器2,用于向所述Web服务器2提供所需要的各种服务,并在业务操作中,调用行为防御服务器3,进行行为防御。该应用服务器2例如,可以部署应用程序包的中间件,常见的有tomcat、weblogic等;行为防御服务器3,用于在应用服务器2提供各种服务时,针对所受到的各种攻击提供防御服务,并将行为防御日志发送到ES服务器4。例如行为防御服务器3主要用于提供行为防御功能,能够针对异常登录、异常交易等风险动作进行防护,其中规则包括诸如单位时间内ip访问次数过多、设备id缺失、地址相似等等。ES服务器4,能够用于存储行为防御服务器3中的行为防御日志,并将所述行为防御日志发送给数据分析服务器5。该ES服务器4,ElasticSearch是一个基于Lucene的搜索服务器,它提供了一个分布式多用户能力的全文搜索引擎,基于RESTfulweb接口。数据分析服务器5,用于对行为防御日志和访问日志进行分析,得到黑名单,并将黑名单发送给防护设备。因此,本专利技术通过构建数据分析服务器,对行为防御日志和访问日志的相关信息进行分析,动态地提取各种黑名单,包括用户黑名单,以及IP黑名单,发送给不同的防护设备,例如,Web服务器1和防火墙服务器9,使得Web服务器1和防火墙服务器9能够根据所述黑名单进行防御。,既动态的更新了信息,又缓解了系统的压力,使得Web服务器1和防火墙服务器9也能够防御部分恶意攻击。进一步的,还包括规则服务器6,所述数据分析服务器5将分析得到的黑名单发给所述规则服务器6,所述规则服务器6将黑名单推送到Web服务器1和防火墙服务器9,使得Web服务器1和防火墙服务器9能够根据所述黑名单进行防御。更进一步的,规则服务器6能够通过广播的方式将得到的黑名单推送到不同的防护设备,Web服务器、WAF甚至防火墙,使得不同级别的防护设备同时得到防护加强。本文档来自技高网...
基于大数据分析的防恶意攻击系统

【技术保护点】
一种基于大数据分析的防恶意攻击系统,该系统包括Web服务器(1),应用服务器(2),行为防御服务器(3)、ES服务器(4)和数据分析服务器(5);Web服务器(1),用于接收用户(7)发出的各种请求,向应用服务器(2)请求所需要的服务,并将访问日志发给数据分析服务器(5);应用服务器(2),用于向所述Web服务器(2)提供所需要的各种服务,并在业务操作中,调用行为防御服务器(3),进行行为防御;行为防御服务器(3),用于在应用服务器(2)提供各种服务时,针对所受到的各种攻击提供防御服务,并将行为防御日志发送到ES服务器(4);ES服务器(4),能够用于存储行为防御服务器(3)中的行为防御日志,并将所述行为防御日志发送给数据分析服务器(5);数据分析服务器(5),用于对行为防御日志和访问日志进行分析,得到黑名单,并将黑名单发送给防护设备。

【技术特征摘要】
1.一种基于大数据分析的防恶意攻击系统,该系统包括Web服务器(1),应用服务器(2),行为防御服务器(3)、ES服务器(4)和数据分析服务器(5);Web服务器(1),用于接收用户(7)发出的各种请求,向应用服务器(2)请求所需要的服务,并将访问日志发给数据分析服务器(5);应用服务器(2),用于向所述Web服务器(2)提供所需要的各种服务,并在业务操作中,调用行为防御服务器(3),进行行为防御;行为防御服务器(3),用于在应用服务器(2)提供各种服务时,针对所受到的各种攻击提供防御服务,并将行为防御日志发送到ES服务器(4);ES服务器(4),能够用于存储行为防御服务器(3)中的行为防御日志,并将所述行为防御日志发送给数据分析服务器(5);数据分析服务器(5),用于对行为防御日志和访问日志进行分析,得到黑名单,并将黑名单发送给防护设备。2.根据权利要求1所述的防恶意攻击系统,其特征在于:还包括规则服务器(6),所述数据分析服务器(5)将分析得到的所述黑名单发给所述规则服务器(6),所述规则服务器(6)将黑名单推送到Web服务器(1)和防火墙服务器(9),使得Web服务器(1)和防火墙服务器(9)能够根据所述黑名单进行防御。3.根据权利要求1或2所述的防恶意攻击系统,其特征在于:所述数据分析服务器(5),包括数据分析模块,所述数...

【专利技术属性】
技术研发人员:曹杰冯雨晖宿晓坤苏建辉李苏曹永
申请(专利权)人:北京红马传媒文化发展有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1