基于大数据实时网络流量异常检测方法技术

本发明专利技术公开一种基于大数据实时网络流量异常检测方法，包括：S1，获取已收集并分析得出攻击类型、存储在数据库中带攻击标签的历史流量数据；S2，对S1中的历史流量数据进行数据特征预处理，构建第一类特征向量；S3，基于S2中的第一类特征向量构建聚类模型并利用模型评估与调优得到满足预设条件的目标模型；S4将S3得到的目标模型保存并部署上线；S5，抓取收集局域网内传输的实时网络数据流量包信息；S6，对S5中的实时网络数据流量包进数据特征预处理，构建第二类特征向量；S7，根据S3中的目标模型和S6中的第二类特征向量，实时在线分析检测并判断出当前的实时网络数据流量是异常流量或是正常流量。

Real time network traffic anomaly detection method based on big data

【技术实现步骤摘要】
基于大数据实时网络流量异常检测方法
本专利技术涉及计算机应用于互联网安全
，特别涉及一种基于大数据环境下网络流量异常检测方法。
技术介绍
当前网络安全态势异常严峻，网络攻击越来越多地见诸报道，对重点企业、个人和重要部门机关带来了严重的网络安全威胁。这种高级持续性威胁(APT,advancedpersistentthreat)利用其极强的针对性、伪装性和阶段性等特性能够很容易地躲避传统检测技术的识别。新型攻击手段技术层出不穷，使得一般的入侵防御系统不能有效匹配识别。与此同时，任何网络攻击都是通过网络传输，在攻击主机与被攻击主机之间必然会有相关数据包传输，这给予了很多网络安全工程师与灵感。其中，从分析、处理网络之间传输流量的角度去检测网络攻击是一种最有效途径之一。若只是监测、分析部分网络传输数据，则会大大降低网络攻击检测的成功率，一旦局域网被攻破，会带来各种巨大的意想不到的损失。但从全局实时处理所有数据，需要大量的时间及强大的运算能力。网络异常检测系统需要强大的时效性，越早发现出网络异常，就能更早的阻断网络攻击，也就能很好的减轻甚至避本文档来自技高网...

【技术保护点】
1.一种基于大数据实时网络流量异常检测方法，其特征在于，所述基于大数据实时网络流量异常检测方法包括：/n步骤S1，获取已收集并分析得出攻击类型、存储在数据库中带攻击标签的历史流量数据；/n步骤S2，对步骤S1中的所述历史流量数据进行特征提取，数据特征预处理，将类别特征进行文本特征提取编码，对数值型特征进行标准化处理，构建第一类特征向量；/n步骤S3，基于步骤S2中的所述第一类特征向量，通过模型训练构建聚类模型，并利用模型评估与调优得到满足预设条件的目标模型；/n步骤S4将步骤S3得到的所述目标模型保存并部署上线；/n步骤S5，实时抓取、收集局域网内传输的实时网络数据流量包信息；/n步骤S6，对...

【技术特征摘要】
1.一种基于大数据实时网络流量异常检测方法，其特征在于，所述基于大数据实时网络流量异常检测方法包括：
步骤S1，获取已收集并分析得出攻击类型、存储在数据库中带攻击标签的历史流量数据；
步骤S2，对步骤S1中的所述历史流量数据进行特征提取，数据特征预处理，将类别特征进行文本特征提取编码，对数值型特征进行标准化处理，构建第一类特征向量；
步骤S3，基于步骤S2中的所述第一类特征向量，通过模型训练构建聚类模型，并利用模型评估与调优得到满足预设条件的目标模型；
步骤S4将步骤S3得到的所述目标模型保存并部署上线；
步骤S5，实时抓取、收集局域网内传输的实时网络数据流量包信息；
步骤S6，对步骤S5中的所述实时网络数据流量包进行特征提取，数据特征预处理，将类别特征进行文本特征提取编码，对数值型特征进行标准化处理，构建第二类特征向量；
步骤S7，根据步骤S3中的所述目标模型和所述步骤S6中的所述第二类特征向量，实时在线分析检测并判断出当前的实时网络数据流量是异常流量或是正常流量。


2.如权利要求1所述的基于大数据实时网络流量异常检测方法，其特征在于，所述步骤S2及步骤S6对相应的数据包提取的特征特性，包含：网络数据包的基本数据属性及网络流量的统计特性作为数据属性特征。


3.如权利要求1所述的基于大数据实时网络流量异常检测方法，其特征在于，所述步骤S2及步骤S6...

【专利技术属性】
技术研发人员：李中耀，宋安军，
申请(专利权)人：上海海事大学，
类型：发明
国别省市：上海;31