一种基于网络流量报文的异常检测和攻击发起者分析系统技术方案

本发明专利技术公开一种基于网络流量报文的异常检测和攻击发起者分析系统，其包括：数据属性提取模块，用于从防火墙网关截获网络流量的原始报文数据，并且根据截获的原始报文数据提取网络流速，解析报文信息生成基础属性特征，并且将这些属性特征存储在数据库；攻击者群类特征生成模块，用于依次对原始数据标准化、计算数据的复杂属性、分配各个属性的权重、采用聚类算法的交叉验证，引入无监督机器学习聚类指标，采取聚类指标得分最高的聚类模型得出攻击者群类特征聚类；攻击检测模块，用于对所有触发自定义规则的网络攻击报文进行攻击群类特征的匹配分析和攻击者群类特征的增量修正。该系统能够挖掘出单次攻击中发起者的特征，定位攻击的发起嫌疑人。攻击的发起嫌疑人。攻击的发起嫌疑人。

【技术实现步骤摘要】
一种基于网络流量报文的异常检测和攻击发起者分析系统


[0001]本专利技术属于网络流量异常检测和分析领域，具体涉及一种基于网络流量报文的异常检测和攻击发起者分析系统。

技术介绍

[0002]随着移动设备的普及和IOT设备的海量增长，网络流量的速率呈现着几何倍数的递增，同时也伴随着网络攻击的泛滥。在如今的网络环境中，网络攻击的异常流量和海量的常规流量混杂，给企业的网络财产保护提出了严峻的考验。企业防火墙作为保护企业网络财产的关键性设施，所有从外部网络向内部服务器传输的报文都会首先发往防火墙网关，然后经由防火墙网关转发给内部的不同业务服务器，因此防火墙网关处往往会收到难以计数的海量报文数据，其中包含着来自各种各样不同攻击者伪装的攻击数据。由于网络流速极大，不论存储数据还是即时分析都会造成难以接受的空间/时间消耗，从而导致对于攻击防护的成本高于企业接受的程度。
[0003]同时由于线上资产具有的特殊性质，往往会吸引到竞争对手或者黑客的攻击，但是由于互联网其自由的特征，所有的格式合法报文都可以在互联网中得到转发和流通，所以常规的防护工作无法识别的发起者和真实来源，更不提进行网络攻击的溯源。使得企业没有办法掌握足够的信息来找出攻击发起者的嫌疑对象，从而进一步完善防御或者掌握其发起攻击的证据。

技术实现思路

[0004]针对现有技术的不足，本专利技术提供一种基于网络流量报文的异常检测和攻击发起者分析系统，该系统可以挖掘出单次攻击中发起者的特征，定位攻击的发起嫌疑人。具体技术方案如下：
[0005]一种基于网络流量报文的异常检测和攻击发起者分析系统，该系统包括数据属性提取模块、攻击者群类特征生成模块以及攻击检测模块；
[0006]所述的数据属性提取模块用于从防火墙网关截获网络流量的原始报文数据，并且根据截获的原始报文数据提取网络流速，解析报文信息生成基础属性特征，并且将这些属性特征存储在数据库；
[0007]所述的攻击者群类特征生成模块用于对原始数据标准化处理，然后计算数据的复杂属性，采用分类器交叉验证，根据最优结果分配各个属性的权重，最后采用聚类算法的交叉验证，引入无监督机器学习聚类指标，采取聚类指标得分最高的聚类模型得出攻击者群类特征聚类；
[0008]所述的攻击检测模块用于对所有触发自定义规则的网络流量报文进行攻击群类特征的匹配分析和攻击者群类特征的增量修正。
[0009]进一步地，所述的数据属性提取模块包括如下三个子模块：
[0010](1)部署在防火墙网关的报文截获子模块，该子模块由自定义的规则构建，对于未
触发自定义规则的常规流量进行流速的监控，对于触发自定义规则的异常网络流量，进行网络流量报文的截获，并将信息转发给数据属性解析计算子模块，同时对外开放自定义规则修改接口；
[0011](2)部署在服务器上的数据属性解析计算子模块，该子模块用于判断报文是否合法，丢弃非法的报文并记录非法报文所占比例，并解析合法报文的各项属性，丢弃加密信息；
[0012](3)数据库存储子模块，使用MongoDB作为数据库的框架，采用JSON的输入格式来记录解析后的特征属性。
[0013]进一步地，所述的攻击者群类特征生成模块对数据标准化处理时，首先丢弃无效数据，然后判断数据类型，统一非数字类型数据的格式标准，正规化部分数据，数字化部分枚举类型。
[0014]进一步地，所述的攻击者群类特征生成模块通过结合多个原始数据属性计算数据的复杂属性。
[0015]进一步地，所述的攻击者群类特征生成模块进行属性特征权重分配时，采用已经标记的攻击类型，且经过原始数据标准化、复杂属性特征计算的特征属性作为训练数据集，采用多种分类器交叉验证，根据最优结果分配各个属性的权重，抛弃权重比例低的属性。
[0016]进一步地，所述的攻击者群类特征生成模块执行无监督机器学习聚类时，首先选取权重比例高的属性数据，采用多种聚类算法进行交叉验证，同时引入多种无监督机器学习聚类指标，采取指标得分最高的聚类模型，得出攻击者群类特征聚类。
[0017]进一步地，所述的攻击检测模块进行攻击群类特征的匹配分析时，首先根据新攻击标准化、复杂属性计算得到的属性特征，计算其与现有的不同攻击群类特征簇质心的映射距离，映射距离不超过最大阈值时，归于映射距离最小的攻击群类特征中。
[0018]进一步地，所述的攻击检测模块进行攻击者群类特征的增量修正时，对于所述的映射距离大于最大阈值的攻击特征，生成新的攻击群类簇，并将其添加至现有攻击群类特征中，如此循环更新特征群类簇的质心。
[0019]本专利技术的有益效果如下：
[0020]本专利技术的异常检测和攻击发起者分析系统通过对于企业防火墙搭建自定义规则的监视器，完成攻击流量数据的信息提取和存储，构建了一个较为完善的不同攻击者行为特征局限和偏好的数据库；通过对于数据库所存储的基础信息的标准化和复杂信息的计算，提取出可利用的信息，并且通过权重分析筛选去除低价值信息，降低了信息存储的容量；通过机器学习的方法生成了攻击者群类特征，可以帮助企业挖掘出单次攻击中发起者的特征，定位攻击的发起嫌疑人。
附图说明
[0021]图1为本专利技术的基于网络流量报文的异常检测和攻击发起者分析系统。
具体实施方式
[0022]下面根据附图和优选实施例详细描述本专利技术，本专利技术的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0023]如图1所示，本专利技术的基于网络流量报文的异常检测和攻击发起者分析系统，该系统包括：
[0024](1)数据属性提取模块，该模块用于从防火墙网关截获网络流量的原始报文数据，并且根据截获的原始报文数据提取网络流速，解析报文信息生成基础属性特征，并且将这些属性特征存储在数据库；该模块具体实现分为三个子模块进行部署：
[0025]①
部署在防火墙网关的报文截获子模块，该子模块由自定义的规则构建，对于未触发自定义规则的常规流量进行流速的监控，对于触发自定义规则的异常网络流量，进行网络流量报文的截获，并将信息转发给数据属性解析计算子模块，同时对外开放自定义规则修改接口；其中，网络流量报文为触发报文截获子模块自定义攻击规则的单次攻击包含的全部流量报文。
[0026]②
部署在服务器上的数据属性解析计算子模块，该子模块用于判断报文是否合法，丢弃非法的报文并记录非法报文所占比例，并解析合法报文的各项属性，丢弃加密信息；
[0027]③
数据库存储子模块，该子模块使用MongoDB作为数据库的框架，采用JSON的输入格式来记录解析后的特征属性。
[0028](2)攻击者群类特征生成模块，该模块用于按顺序实现如下功能：1)原始数据标准化；2)复杂属性特征计算；3)属性特征权重分配；4)无监督机器学习聚类。从而形成对(1)中数据的信息整合和群类特征生成。具体如下：
[0029]①
原始数据标准化：对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于网络流量报文的异常检测和攻击发起者分析系统，其特征在于，该系统包括数据属性提取模块、攻击者群类特征生成模块以及攻击检测模块；所述的数据属性提取模块用于从防火墙网关截获网络流量的原始报文数据，并且根据截获的原始报文数据提取网络流速，解析报文信息生成基础属性特征，并且将这些属性特征存储在数据库。所述的攻击者群类特征生成模块用于对原始数据标准化处理，然后计算数据的复杂属性，采用分类器交叉验证，根据最优结果分配各个属性的权重，最后采用聚类算法的交叉验证，引入无监督机器学习聚类指标，采取聚类指标得分最高的聚类模型得出攻击者群类特征聚类；所述的攻击检测模块用于对所有触发自定义规则的网络流量报文进行攻击群类特征的匹配分析和攻击者群类特征的增量修正。2.根据权利要求1所述的基于网络流量报文的异常检测和攻击发起者分析系统，其特征在于，所述的数据属性提取模块包括如下三个子模块：(1)部署在防火墙网关的报文截获子模块，该子模块由自定义的规则构建，对于未触发自定义规则的常规流量进行流速的监控，对于触发自定义规则的异常网络流量，进行网络流量报文的截获，并将信息转发给数据属性解析计算子模块，同时对外开放自定义规则修改接口；(2)部署在服务器上的数据属性解析计算子模块，该子模块用于判断报文是否合法，丢弃非法的报文并记录非法报文所占比例，并解析合法报文的各项属性，丢弃加密信息；(3)数据库存储子模块，使用MongoDB作为数据库的框架，采用JSON的输入格式来记录解析后的特征属性。3.根据权利要求1所述的基于网络流量报文的异常检测和攻击发起者分析系统，其特征在于，所述的攻击者群类特征生成模块对数据标准化处理时，首先...

【专利技术属性】
技术研发人员：陈卓，吴磊，周亚金，任奎，赵俊，单夏烨，任新新，段吉瑞，
申请(专利权)人：光通天下网络科技股份有限公司，
类型：发明
国别省市：