一种面向WEB的攻击检测方法及系统技术方案

本发明专利技术公开了一种面向WEB的攻击检测方法及系统，方法如下：首先对用户的访问url进行攻击特征检测；接着对检测结果进行误报分析和漏报分析处理，误报分析主要解决网站的正常内嵌资源和网络爬虫所造成的误报；漏报分析是要处理检测出的异常用户所进行的并未检测出来的异常行为。通过以上处理的结果，再计算出各个异常用户在各个域名下的异常访问总次数，当访问次数小于所有用户的均值时，取其与均值的比例为其异常评分指数；否则，异常评分值为其与所有用户的最大访问数的比例加权值w。经过本发明专利技术的误报与漏报处理，面向WEB的攻击检测方法的效率有了明显提升。

【技术实现步骤摘要】
一种面向WEB的攻击检测方法及系统
本专利技术涉及网络安全领域，具体涉及一种面向WEB的攻击检测方法及系统。
技术介绍
基于攻击特征的检测是目前常用的一种对web访问请求的攻击检测方法。这种方法是通过对已知的web攻击请求进行分析，提取出一系列对应于不同攻击特征的防护规则对新的访问请求进行匹配。基于攻击特征的检测方法优势在于部署简单、检测速度快，开源软件lorg、scalp都是使用这种方法对访问日志进行攻击检测。但其缺陷也是非常明显：第一，它只能针对已知的攻击进行检测，对于未知的攻击没有任何效果，产生大量的漏报；第二，当被访问资源当中含有能被规则匹配的内容时，则会造成大量的误报。目前有很多与基于攻击特征检测有关的专利，而并没有对这种检测方法的改进做相关工作。申请专利号为：201310455652.X，201310098783.7，200880115316.8的专利技术专利，其中都只是在所提出的系统内部利用规则进行过滤，并未考虑结果的准确性。综上所述，在进行web访问请求异常分析时，仅基于攻击特征的检测是不够的。需要提出一个改进的系统，对该种检测进行优化，提升方法的准确率。
技术实现思路
本专利技术提出了一种面向WEB的攻击检测方法及系统，以用户的WEB访问请求数据为源，通过特征检测、误报分析、漏报分析、异常指数计算四个阶段实现面向WEB的攻击检测。为了实现上述目的，本专利技术采用以下技术方案：一种面向WEB的攻击检测方法，具体步骤如下：1)提取用户的WEB访问请求数据信息，得到WEB信息元组X＝<访问ip，访问UserAgent，访问域名，访问url，referrer，访问返回码>；2)通过对用户访问url进行攻击特征检测，将得到的有攻击行为的访问请求存入异常访问库，没有攻击行为的访问请求存入正常访问库；3)对异常访问库中的数据进行误报分析，从异常访问库中去掉误报数据；4)结合正常访问库对异常访问库中的数据进行漏报分析，向异常访问库中增加漏报数据；5)根据上述步骤得到的异常访问库，计算用户异常指数，实现面向WEB的攻击检测。进一步地，步骤2)中利用正则表达式对用户访问url进行攻击特征检测。更进一步，所述误报分析，包括网站资源分析与爬虫分析两步，具体如下：1)网站资源分析，目的是辨别访问url是否属于网站的内嵌资源：a)统计异常访问库中各个访问url的访问ip数，访问ip数大于阈值w0，视为误报，前三个字段相同的访问ip视为相同ip，前两个字段相同的访问ip视为相似度为1-w1(w1为0到1之间的常数),访问ip数增加w1，其他情况视为不同ip，访问ip数增加1；b)统计referrer所在的域名数；c)在访问ip数足够大或者referrer域名数足够小的情况下，判定该访问url为误报数据，将其加入误报库。2)爬虫分析，目的是辨别访问url是否为网络爬虫进行的访问：a)将异常访问库中各个访问url的访问ip与网络爬虫库中的ip地址进行匹配；b)对访问ip中未匹配到的ip以及已匹配到的ip，根据不同的访问UserAgent建立访问url的字符特征向量；c)根据已匹配到的ip的字符特征向量，和与其(已匹配到的ip)具有相同访问UserAgent的未匹配到的ip的字符特征向量计算余弦相似度；d)余弦相似度高于设定阈值时，认定该访问ip为网络爬虫，将其加入网络爬虫库；e)用更新后的网络爬虫库进行最终匹配，从异常访问库中删除匹配成功的访问请求。更进一步，所述漏报分析，具体步骤如下：1)提取异常访问库中的用户未被检测出来的访问记录；2)分析上述访问记录，若满足如下条件之一，则标记为异常：a)referrer与request请求相同；b)referrer为空，但request请求不是最早的；c)referrer的域名与用户的WEB访问请求数据的访问域名相同，但用户并未对referrer所指url进行访问。更进一步，所述计算用户异常指数，包括异常统计和异常评分，用于评价用户的异常程度，步骤如下：1)根据经过误报分析与漏报分析处理的异常访问库，计算出用户对各个域名的攻击数，实现异常统计，攻击数量越多，以及攻击的域名数越多，则异常程度越高；2)根据上述结果，统计出用户对各个域名的攻击数之和作为用户异常访问的总次数；3)计算每个用户的异常指数，实现异常评分，评分越高，异常程度越高：a)统计出所有用户异常访问的总次数的最大值max及均值mean；b)如果用户异常访问的总次数n小于均值mean，则异常指数为n/mean；否则异常指数为n/max与权值w(w>＝1)之和。本专利技术还提出了一种面向web的攻击检测系统，包括：特征检测模块、误报分析模块、漏报分析模块、异常统计模块、异常评分模块，其中：所述特征检测模块，用于提取WEB信息元组X＝<访问ip，访问UserAgent，访问域名，访问url，referrer，访问返回码>，并对访问url进行攻击特征检测，得出异常访问库。所述误报分析模块，主要完成网站资源分析与爬虫分析两部分误报处理功能，从异常访问库中去掉误报数据。其一，通过某访问url的访问ip数和referrer所在的域名总数，判断其是否为网站资源，从而去掉该访问url产生的误报；其二，通过网络爬虫库ip地址和访问记录与网络爬虫的访问相似度来判断访问ip是否为网络爬虫ip，从而去掉该访问ip产生的误报。所述漏报分析模块，分析正常访问库及异常访问库中用户的非异常访问记录，通过“referrer与url相同或者referrer为空且非最早访问或者referrer属于内部域名但并未被访问过”来判断访问异常，从而向异常访问库中补充漏报数据。所述异常统计模块，统计用户对网站的攻击次数，用于用户的异常程度评价。所述异常评分模块，计算每个用户的异常指数，用于用户的异常程度评价。通过对异常统计模块的输出进行处理，得到用户异常访问的总次数，再计算每个用户的异常访问次数与整体的均值的比值或与最大值的比值加上某一权值w(w>＝1)，得到用户的异常评分。本专利技术的有益效果本专利技术在对访问url进行攻击特征检测的基础上，处理了网站内嵌资源和网络爬虫产生的误报，有效提升了检测准确度；再者，我们在检测到的异常用户的基础上，对这些用户其他的访问记录采取了有效的方式进行分析，降低了漏报率。经过本专利技术的误报与漏报处理，面向WEB的攻击检测方法的效率有了明显提升。本专利技术也提出了异常统计与异常评分两个模块，可以从统计数据当中，得出用户的异常指数。附图说明图1为本专利技术系统整体架构示意图。图2为本专利技术一实施例中特征检测模块流程示意图。图3为本专利技术一实施例中误报分析模块的网站资源分析流程示意图。图4为本专利技术一实施例中误报分析模块的爬虫分析流程示意图。图5为本专利技术一实施例中异常统计模块的流程示意图。图6为本专利技术一实施例中异常评分模块的流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，可以理解的是，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属本文档来自技高网...

【技术保护点】
一种面向WEB的攻击检测方法，具体步骤如下：1)提取用户的WEB访问请求数据信息，得到WEB信息元组X＝<访问ip，访问UserAgent，访问域名，访问url，referrer，访问返回码>；2)通过对用户访问url进行攻击特征检测，将得到的有攻击行为的访问请求存入异常访问库，没有攻击行为的访问请求存入正常访问库；3)对异常访问库中的数据进行误报分析，从异常访问库中去掉误报数据；4)结合正常访问库对异常访问库中的数据进行漏报分析，向异常访问库中增加漏报数据；5)根据上述步骤得到的异常访问库，计算用户异常指数，实现面向WEB的攻击检测。

【技术特征摘要】
1.一种面向WEB的攻击检测方法，具体步骤如下：1)提取用户的WEB访问请求数据信息，得到WEB信息元组X＝&lt;访问ip，访问UserAgent，访问域名，访问url，referrer，访问返回码&gt;；2)通过对用户访问url进行攻击特征检测，将得到的有攻击行为的访问请求存入异常访问库，没有攻击行为的访问请求存入正常访问库；3)对异常访问库中的数据进行误报分析，从异常访问库中去掉误报数据，所述误报分析包括网站资源分析与爬虫分析两步，通过网站资源分析辨别访问url是否属于网站的内嵌资源；通过所述爬虫分析辨别访问url是否为网络爬虫进行的访问；4)结合正常访问库对异常访问库中的数据进行漏报分析，向异常访问库中增加漏报数据；5)根据上述步骤得到的异常访问库，计算用户异常指数，实现面向WEB的攻击检测。2.如权利要求1所述的面向WEB的攻击检测方法，其特征在于，步骤2)中利用正则表达式对用户访问url进行攻击特征检测。3.如权利要求1所述的面向WEB的攻击检测方法，其特征在于，所述网站资源分析包括以下步骤：a)统计异常访问库中各个访问url的访问ip数，访问ip数大于阈值w0，视为误报，前三个字段相同的访问ip视为相同ip，前两个字段相同的访问ip视为相似度为1-w1，w1为0到1之间的常数,访问ip数增加w1，其他情况视为不同ip，访问ip数增加1；b)统计referrer所在的域名数；c)在访问ip数足够大或者referrer域名数足够小的情况下，判定该访问url为误报数据，将其加入误报库。4.如权利要求1所述的面向WEB的攻击检测方法，其特征在于，所述爬虫分析包括以下步骤：a)将异常访问库中各个访问url的访问ip与网络爬虫库中的ip地址进行匹配；b)对访问ip中未匹配到的ip以及已匹配到的ip，根据不同的访问UserAgent建立访问url的字符特征向量；c)根据已匹配到的ip的字符特征向量，和与其具有相同访问UserAgent的未匹配到的ip的字符特征向量计算余弦相似度；d)余弦相似度高于设定阈值时，认定该访问ip为网络爬虫，将其加入网络爬虫库；e)用更新后的网络爬虫库进行最终匹配，从异常访问库中删除匹配成功的访问请求。5.如权利要求1所述的面向WEB的攻击检测方法，其特征在于，所述漏报分析的具体步骤如下：1)提取异常访问库中的用户未被检测出来的访...

【专利技术属性】
技术研发人员：罗熙，杨婧，徐震，宋晨，刘艇，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：北京;11