一种基于深度学习的异常流量检测方法及系统技术方案

本发明专利技术公开了一种基于深度学习的异常流量检测方法，包括：设备源向目标服务器发起HTTP请求；Web应用防护系统通过执行针对HTTP/HTTPS的安全活动规则对HTTP的请求进行异常检测，拒绝不符合安全活动规则的请求并发送至安全团队；将符合安全活动规则的请求向下一级转发；AI WAF对通过WEB应用防护系统检测的请求再次检测，对其中的异常请求进行检测、标记并可视化传送至安全团队。还公开了一种系统，包括：设备源、Web应用防护系统、AI WAF、目标服务器和安全团队。采用AI WAF辅助传统WAF工作，解决传统WAF的准确率不高，效率低下的问题；提高了安全专家的观察和分析恶意流量效率。

【技术实现步骤摘要】
一种基于深度学习的异常流量检测方法及系统
本专利技术涉及网络信息安全
，具体的说，是一种基于深度学习的异常流量检测方法及系统。
技术介绍
随着智能设备的广泛应用，以及物联网的普及，只要攻克物联网中的一台设备，其他设备就可能瞬间被瓦解。随着互联网的不断发展，内网和外网的分界线逐渐模糊。Web应用防护系统(WAF)是信息安全的第一道防线。其中一个重要的特点通过执行针对HTTP/HTTPS的安全活动规则对HTTP的请求进行异常检测，拒绝不符合活动规则的请求。它可以增大攻击者的攻击难度和攻击成本。但是WAF不是万能的，一方面，硬规则在灵活的黑客面前，很容易通过SQL注入等手段被绕过，并且基于以往知识的规则集难以应对0day攻击(还没有补丁的漏洞)。另一方面，面对黑客试水新技术的工具，单靠安全团队要学习并检测出所有的威胁几乎不可能。这种情况下，防守方规则的构造和维护门开高成本大。
技术实现思路
本专利技术的目的在于提供一种基于深度学习的异常流量检测方法及系统，用于解决现有技术中传统WAF的安全活动规则存在异常流量漏检的问题。本专利技术通过下述技术方案解决上述问题：一种基于深度学习的异常流量检测方法，包括：步骤S100：设备源向目标服务器发起HTTP请求；步骤S200：Web应用防护系统通过执行针对HTTP/HTTPS的安全活动规则对HTTP的请求进行异常检测，拒绝不符合安全活动规则的请求并发送至安全团队；将符合安全活动规则的请求向下一级转发；步骤S300：AIWAF对通过WEB应用防护系统检测的请求再次检测，对其中的异常请求进行检测、标记并可视化传送至安全团队；所述步骤S300具体包括：步骤S310：对每条请求数据进行数据清洗、去重；步骤S320：用所有请求数据构建特征矩阵；步骤S330：将特征矩阵输入恶意流量检测模型，输出得到预测每条请求数据正常的概率、每条请求数据异常的概率以及词向量中每个元素异常的概率：如果预测一条请求数据是正常的概率比是异常的概率高，则判断为是正常请求数据，直接通过；如果预测一条请求数据是异常的概率比是正常的概率的高，则判断为是异常请求数据并拦截该条请求数据；根据词向量中每个元素异常的概率进行异常等级划分，用不同颜色对词汇进行标记并输出至安全团队。进一步地，所述恶意流量检测模型的训练方法为：步骤A：通过流量镜像获取通过Web应用防护系统的真实数据，由WAF强规则进行流量标记；步骤B：对标记的数据进行数据清洗、去重；步骤C：选取一部分数据作为训练数据集构建特征矩阵，其余数据作为测试数据集，用于检测和评价恶意流量检测模型；步骤D：利用特征矩阵训练深度网络模型，训练得到恶意流量检测模型；将提取数据中的其余数据作为测试数据集输入恶意流量检测模型，数据输入模型后都会输出得到该条数据是正常请求数据的概率和该数据是异常请求数据的概率(两个值)、词向量中每个元素异常的概率。比较是正常的概率和是异常的概率的数值，选择更高的作为模型预测的最终结果：如果预测该条请求数据是异常的概率比是正常的概率的高，则判断为是异常请求数据并预测为‘+1’；如果预测该条请求数据是正常的概率比是异常的概率高，则判断为是正常请求数据并预测为‘-1’。将预测结果与真实标签进行对比，记录标签和预测结果不同的数据个数和相同的个数，用这些数据来计算出准确率(Accuracy)、假阳性率(FPR,又称FalsePositiveRate)、真阳性率(TPF,又称TruePositiveRate)、和AUC(AreaUnderCurve)作为模型的评价标准。进一步地，步骤S320和步骤C中构建特征矩阵的方法相同，区别在于采用的输入数据不同。构建特征矩阵的方法包括构建字符级HTTP请求矩阵和单词级HTTP请求矩阵；所述构建字符级HTTP请求矩阵的方法为：将数据按字符分词得到字符ID序列，将字符ID序列输入到嵌入层得到字符级HTTP请求矩阵；所述构建单词级HTTP请求矩阵的方法为：按单词分词，分别得到单词ID序列和以字符ID形式的单词序列，所述单词ID序列输入嵌入层得到第一单词级HTTP请求矩阵；以字符ID形式的单词序列依次输入嵌入层和求和池化层，得到第二单词级HTTP请求矩阵，将第一单词级HTTP请求矩阵和第二单词级HTTP请求矩阵通过元素加法的方法合成单词级HTTP请求矩阵。一种基于深度学习的异常流量检测系统，包括：设备源，用于向目标服务器发起HTTP请求；Web应用防护系统，用于对HTTP请求执行安全活动规则的检测，拒绝不符合安全活动规则的HTTP请求，并发送检测结果至安全团队，将通过检测的HTTP请求向后一级传送；AIWAF，用于检测Web应用防护系统遗漏的异常攻击，并输出至安全团队，并将通过检测的HTTP请求传送至目标服务器；目标服务器，用于执行设备源的HTTP请求。进一步地，所述AIWAF具体包括：数据收集标记模块，将WAF规则限制调至最高，在网络的核心层或汇聚层交换机上设置端口，用网络流量镜像收集通过Web应用防护系统后的真实数据；预处理模块，进行数据清洗和去重；特征提取模块，进行数据分词和提取词汇特征，构建特征矩阵；深度神经网络模块，由训练数据集提取的特征矩阵中的数据训练和优化预设的深度网络模型得到，用于检测恶意流量；输出模型，输出正常域异常的概率以及词向量中每个元素的异常概率，并对异常程度进行分级，用不同颜色对词汇进行标出。本专利技术与现有技术相比，具有以下优点及有益效果：(1)本专利技术提出一种深度神经网络模型用于HTTP请求流量的异常检测方法辅助传统WAF(Web应用防护系统)进行工作，在能保证WAF的功能的同时能够快速、准确的识别流量行为、并能够识别全新的恶意流量，解决传统WAF的准确率不高，效率低下的问题；提高了安全专家的观察和分析恶意流量效率。(2)本专利技术提出一种异常HTTP请求流量的异常部分定位并可视化功能，能够为安全团队快速定位，提高WAF更新效率。(3)本专利技术降低了深度学习模型在数据不平衡性状态下学习过程不稳定的问题；自学习模式极大减少了安全专家的人工干预过程以及降低了系统维护所需时间，节约了大量的时间成本。附图说明图1为本专利技术的应用场景示意图；图2为AIWAF的结构框图；图3为数据处理中的分词示意图；图4为特征矩阵构建示意图；图5为深度神经网络模型。具体实施方式下面结合实施例对本专利技术作进一步地详细说明，但本专利技术的实施方式不限于此。实施例1：结合附图1所示，一种基于深度学习的异常流量检测方法，包括：步骤S100：设备源向目标服务器发起HTTP请求；步骤S200：Web应用防护系统通过执行针对HTTP/HTTPS的安全活动规则对HTTP的请求进行异常本文档来自技高网...

【技术保护点】
1.一种基于深度学习的异常流量检测方法，其特征在于，包括：/n步骤S100：设备源向目标服务器发起HTTP请求；/n步骤S200：Web应用防护系统通过执行针对HTTP/HTTPS的安全活动规则对HTTP的请求进行异常检测，拒绝不符合安全活动规则的请求并发送至安全团队；将符合安全活动规则的请求向下一级转发；/n步骤S300：AI WAF对通过WEB应用防护系统检测的请求再次检测，对其中的异常请求进行检测、标记并可视化传送至安全团队；/n所述步骤S300具体包括：/n步骤S310：对每条请求数据进行数据清洗、去重；/n步骤S320：用所有请求数据构建特征矩阵；/n步骤S330：将特征矩阵输入恶意流量检测模型，输出得到预测每条请求数据正常的概率、每条请求数据异常的概率以及词向量中每个元素异常的概率：/n如果预测一条请求数据是正常的概率比是异常的概率高，则判断为是正常请求数据，直接通过；/n如果预测一条请求数据是异常的概率比是正常的概率的高，则判断为是异常请求数据并拦截该条请求数据；/n根据词向量中每个元素异常的概率进行异常等级划分，用不同颜色对词汇进行标记并输出至安全团队。/n

【技术特征摘要】
1.一种基于深度学习的异常流量检测方法，其特征在于，包括：
步骤S100：设备源向目标服务器发起HTTP请求；
步骤S200：Web应用防护系统通过执行针对HTTP/HTTPS的安全活动规则对HTTP的请求进行异常检测，拒绝不符合安全活动规则的请求并发送至安全团队；将符合安全活动规则的请求向下一级转发；
步骤S300：AIWAF对通过WEB应用防护系统检测的请求再次检测，对其中的异常请求进行检测、标记并可视化传送至安全团队；
所述步骤S300具体包括：
步骤S310：对每条请求数据进行数据清洗、去重；
步骤S320：用所有请求数据构建特征矩阵；
步骤S330：将特征矩阵输入恶意流量检测模型，输出得到预测每条请求数据正常的概率、每条请求数据异常的概率以及词向量中每个元素异常的概率：
如果预测一条请求数据是正常的概率比是异常的概率高，则判断为是正常请求数据，直接通过；
如果预测一条请求数据是异常的概率比是正常的概率的高，则判断为是异常请求数据并拦截该条请求数据；
根据词向量中每个元素异常的概率进行异常等级划分，用不同颜色对词汇进行标记并输出至安全团队。


2.根据权利要求1所述的一种基于深度学习的异常流量检测方法，其特征在于，所述恶意流量检测模型的训练方法为：
步骤A：通过流量镜像获取通过Web应用防护系统的真实数据，由WAF强规则进行流量标记；
步骤B：对标记的数据进行数据清洗、去重；
步骤C：选取一部分数据作为训练数据集构建特征矩阵，其余数据作为测试数据集，用于检测和评价恶意流量检测模型；
步骤D：利用特征矩阵训练深度网络模型，训练得到恶意流量检测模型。


3.根据权利要求1或2所述的一种基于深度学习的异常流量检测方法，其特征在于，所述构建特征矩阵的方法包括构建字...

【专利技术属性】
技术研发人员：徐小雄，彭凝多，唐博，魏华强，
申请(专利权)人：四川虹微技术有限公司，
类型：发明
国别省市：四川;51