一种基于回馈和监督学习的WAF检测方法及系统技术方案

本发明专利技术提供一种基于回馈和监督学习的WAF检测方法，该方法通过增加分类机制，在对访问者的请求进行规则匹配前先提取其特征，并将提取的特征经过分类器进行分类得到分类结果。由于该方法提取的特征具有资源消耗极低的特点，且只对那些不能明确判断为攻击或非攻击的请求进行规则匹配，因此，该方法极大的减少了WAF系统的资源消耗。同时，该方法还通过增加回馈和学习的机制，用最后ΔT时间内所有请求的特征和判定结果作为训练数据重新训练分类器，以使该方法能够自动适应新的攻击请求，相较于人工干预，该方法极大的提高了新的攻击的响应速度和拦截效果。

【技术实现步骤摘要】
一种基于回馈和监督学习的WAF检测方法及系统
本专利技术涉及通信
，尤其涉及一种基于回馈和监督学习的WAF检测方法及系统。
技术介绍
WAF(WebApplicationFirewall)是指Web应用防火墙，也被称为Web应用防护系统或网站应用级入侵防御系统。利用国际上公认的一种说法，Web应用防火墙是通过执行一系列针对HTTP/HTTPS的安全策略来专门为Web应用提供保护的一款产品。HTTP(HyperTextTransferProtocol，超文本传输协议)是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个协议标准。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。1960年，美国人TedNelson构思了一种通过计算机处理文本信息的方法，并称之为超文本(hypertext)，这成为了HTTP超文本传输协议标准架构的发展根基。TedNelson组织协调万维网协会(WorldWideWebConsortium)和互联网工程工作小组(InternetEngineeringTaskForce)共同合作研究，最终发布了一系列的RFC，其中著名的RFC2616定义了HTTP1.1。监督学习是指利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程。即监督学习是从标记的训练数据来推断一个功能的机器学习任务。所述训练数据包括一套训练示例。在监督学习中，每个实例都是由一个输入对象(通常为向量)和一个期望的输出值(也称为监督信号)组成。监督学习算法是分析该训练数据并产生一个推断的功能，其可以用于映射出新的实例。一个最佳的方案将允许该算法来正确地决定那些看不见的实例的类标签。随着信息技术的发展，互联网走进了千家万户。作为最主要的互联网服务之一的HTTP/HTTPS技术也成为日常生活不可或缺的部分。HTTP/HTTPS技术使用浏览器/服务器的服务模式，即浏览器将访问者的请求格式化后通过TCP连接传输到服务器端，服务器端通过访问本地资源并进行一定处理后回传给浏览器，之后由浏览器展示给访问者。浏览器/服务器的服务模式的一大弊端就是服务器的性能和稳定性成为整个系统的瓶颈，一旦服务器遭到攻击，所有的访问者都受到影响，甚至使服务中断，造成巨大的损失。针对这种情况，网络防护机制应运而生，WAF就是其中一种。WAF主要针对HTTP/HTTPS层的攻击，通过检查客户端发送的访问内容，判断和拦截攻击请求，以保证服务器提供安全的服务。现有的WAF机制主要通过扫描每一条请求的请求头和请求体，将其与安全规则进行逐条匹配。通常有安全专家根据已知安全漏洞和可能存在的安全漏洞配置安全规则，这些安全规则通常是正则表达式。通过将每一条请求的请求数据(即请求头和请求体)与这些安全规则进行逐一匹配。如果某一条请求的请求数据匹配成功，则按照攻击请求进行拦截。如果所有安全规则都不能匹配，则此次请求为正常请求，予以放行，由服务器继续进行处理。这种方式可以保证较高检出率，但是会消耗大量的WAF系统资源(内存和CPU)。而且已经出现一些专门针对WAF系统的攻击，通过快速连续发送大量超大的请求导致WAF系统在检查过程中耗尽系统资源，出现拒绝服务的现象。由上可知，现有的WAF机制的缺点主要体现在：1、在日常情况中，正常请求占访问量的90％以上，而每个正常请求都要与所有的安全规则进行规则匹配，以致浪费大量WAF系统资源；2、当攻击者快速连续发送大量超大的请求时，对这些请求的检查会导致WAF系统资源耗尽无法进行服务。然而，由于这些请求是通过程序批量发送，请求内容通常是相似或相同的，事实上并不需要完整的检查。
技术实现思路
针对上述不足，本专利技术的目的是提供一种基于回馈和监督学习的WAF检测方法系统，能够有效减少WAF系统的资源消耗，以保证WAF系统能够有效检测攻击者发送的攻击请求；同时，该方法减少了人工干预，提高了WAF系统对于新的攻击的响应速度。为达上述目的，本专利技术所采用的技术方案为：一种基于回馈和监督学习的WAF检测方法，其步骤包括：对欲访问HTTP/HTTPS服务器的请求进行检测，通过分类器对所述请求进行特征提取，并根据提取的特征对所述请求进行分类；若所述请求为攻击请求，则对该攻击请求直接进行拦截操作；若所述请求为非攻击请求，则对该非攻击请求直接进行放行操作；若所述请求为不确定请求，则将该不确定请求输入匹配器进行规则匹配，以得到匹配结果，并根据该匹配结果对该不确定请求进行拦截或放行操作；将所述特征、匹配结果以及攻击请求和非攻击请求的判定结果作为训练数据，使所述分类器进行周期性的监督学习并得到更新。进一步地，所述特征是指由所述请求的一种或多种属性组合成的向量。进一步地，所述属性包括客户端IP、UA(用户代理)、URL(统一资源定位符)、Host(主机)、refer(引用页)、头部字段数、头部总长度、头部md5值、协议版本、请求体长度、请求体md5值、请求体参数个数、请求方法(GET/POST/HEAD/PUT)。进一步地，所述规则匹配是指所述匹配器根据其内部的所有安全规则对不确定请求的内容进行匹配，如果该不确定请求的内容与至少一条安全规则匹配，则该不确定请求为攻击请求，否则为非攻击请求。进一步地，所述分类器将训练数据存放到一先进先出的队列中，且该队列只保存最后ΔT时间内的训练数据。进一步地，所述分类器每隔Δt时间从所述队列中选取最后ΔT时间内的训练数据重新进行监督学习，其中Δt<ΔT。一种基于回馈和监督学习的WAF检测系统，包括：一分类器，对欲访问HTTP/HTTPS服务器的请求进行特征提取，并根据提取的特征对所述请求进行分类，将属于攻击请求/非攻击请求的进行拦截/放行操作；并根据匹配结果以及攻击请求和非攻击请求的判定结果进行周期性的监督学习及更新；一匹配器，对所述分类器判定的不确定请求进行规则匹配，并根据匹配结果对该不确定请求进行拦截或放行操作。本专利技术提供一种基于回馈和监督学习的WAF检测方法，该方法通过增加分类机制，在对访问者欲访问HTTP/HTTPS服务器的请求进行规则匹配前先提取其特征，并将提取的特征经过分类器进行分类得到分类结果。由于提取的特征具有资源消耗极低的特点，且只对那些不能明确判断为攻击或非攻击的请求进行规则匹配，因此，该方法极大地减少了WAF系统的资源消耗。同时，该方法还通过增加回馈和学习的机制，用最后ΔT时间内所有请求的特征和匹配结果作为训练数据重新训练分类器。因此本专利技术的优点主要体现在：1、分类器能够判定大多数请求是攻击请求还是正常请求(即非攻击请求)，这些请求不需要经过规则匹配的处理，有效减少了规则匹配使用次数。且特征和分类器的引入在极大地降低资源消耗的同时也降低了用户时延。2、针对WAF系统的拒绝服务攻击，由于攻击者发送的大量攻击请求具有相同或相似的特征，这些攻击请求可以被分类器以较小的计算代价立刻识别，不再逐个进行规则匹配。3、将WAF系统的判定结果和所有请求的特征实时回馈给分类器，并通过这些判定结果和特征周期性重新训练分类器，以使本专利技术方法能够自动适应新的攻击请求，相较于人工干预，本专利技术方法极大的提高了新的攻击的响应速度和拦截效果。4、本专利技术提取消耗资源少的特征代替使本文档来自技高网...

【技术保护点】
一种基于回馈和监督学习的WAF检测方法，其步骤包括：对欲访问HTTP/HTTPS服务器的请求进行检测，通过分类器对所述请求进行特征提取，并根据提取的特征对所述请求进行分类；若所述请求为攻击请求，则对该攻击请求直接进行拦截操作；若所述请求为非攻击请求，则对该非攻击请求直接进行放行操作；若所述请求为不确定请求，则将该不确定请求输入匹配器进行规则匹配，以得到匹配结果，并根据该匹配结果对该不确定请求进行拦截或放行操作；将所述特征、匹配结果以及攻击请求和非攻击请求的判定结果作为训练数据，使所述分类器进行周期性的监督学习并得到更新。

【技术特征摘要】
1.一种基于回馈和监督学习的WAF检测方法，其步骤包括：对欲访问HTTP/HTTPS服务器的请求进行检测，通过分类器对所述请求进行特征提取，并根据提取的特征对所述请求进行分类；若所述请求为攻击请求，则对该攻击请求直接进行拦截操作；若所述请求为非攻击请求，则对该非攻击请求直接进行放行操作；若所述请求为不确定请求，则将该不确定请求输入匹配器进行规则匹配，以得到匹配结果，并根据该匹配结果对该不确定请求进行拦截或放行操作；将所述特征、匹配结果以及攻击请求和非攻击请求的判定结果作为训练数据，使所述分类器进行周期性的监督学习并得到更新。2.如权利要求1所述的方法，其特征在于，所述特征是指由所述请求的一种或多种属性组合成的向量。3.如权利要求2所述的方法，其特征在于，所述属性包括客户端IP、UA、URL、Host、refer、头部字段数、头部总长度、头部md5值、协议版本、请求体长度、请求体md5值、请求体参数个数、请求方法。4.如权利要求1...

【专利技术属性】
技术研发人员：赵晨晖，王小虎，王春鹏，罗意，石函，熊杰，
申请(专利权)人：北京知道未来信息技术有限公司，
类型：发明
国别省市：北京,11