【技术实现步骤摘要】
基于深度特征粗糙编码的分布式网络异常检测方法及系统
[0001]本专利技术涉及的是一种网络安全领域中网络异常的检测技术，具体是一种基于深度特征粗糙编码的分布式网络异常检测方法及系统。
技术介绍
[0002]入侵检测系统(IDS)通过流量进行恶意流量的识别，从而发现其中隐藏的攻击行为，但该技术的处理数据流量巨大，IDS大都配置在单机或者服务器上，很难配置到大规模的网络之中，二工控节点的协议类多样，基于基线的IDS系统误报较多，而基于签名的IDS系统只能检测到已知特征的攻击，对变形攻击以及新型攻击。
[0003]现有的改进技术采用编码对网络请求进行压缩，用指纹保存流量的特定特征，从分布式的雾节点发送到服务器，由服务器来请求进行解压复原，并识别请求是否为持续性攻击。该技术可以起到压缩存储以及减少分布式通讯双的目的，但两个计算都是耗时的操作，对于基于流量处理的系统来说性能上不够高效。
技术实现思路
[0004]本专利技术针对现有技术存在的上述不足，提出一种基于深度特征粗糙编码的分布式网络异常检测方法及系统，使...
【技术保护点】
【技术特征摘要】
1.一种基于深度特征粗糙编码的分布式网络异常检测方法，其特征在于，将从分布式的雾节点中采集得到的流量数据进行预处理后，通过深度神经网络进行分类得到流量特征，经粗糙编码后，将异常流量上传至云端，再在云端对异常流量进行合并处理并聚集异常流量后得到异常检测结果；所述的采集，使用流量嗅探工具捕捉发送到当前分布式的雾节点的流量并保存为pcap格式；所述的预处理是指：根据相同源、目标主机、端口以及协议的数据包处理成同一个数据流，抽取端口和ip地址，对数据流提取特征；所述的粗糙编码是指：根据分类结果将恶意流量的240维特征向量进行max
‑
min归一化，根据softmax层权重对归一化后的特征进行编码，其中权重绝对值低的特征舍弃不用，权重绝对值高的特征做细粒度的区间切分，将0
‑
1区间切割后，归一化的流量特征映射到相应16进制字符串，最后将240个字符串合并，生成流量的编码结果。2.根据权利要求1所述的基于深度特征粗糙编码的分布式网络异常检测方法，其特征是，所述的预处理，将pcap格式的数据使用python的Scapy库进行解包，将相同源、目标主机、端口以及协议的数据包处理成同一个流，将源、目的ip设为0.0.0.0，对每一个流提取其前28
×
28字节后，将其存为灰度图，将生成的图像转换为IDX格式文件。3.根据权利要求1所述的基于深度特征粗糙编码的分布式网络异常检测方法，其特征是，所述的转换参数格式化是指：将具有相同源、目标主机、端口以及协议的数据包处理成同一个流，并对流的源、目的IP信息隐去，排除地址信息对检测结果的干扰，将流前28
×
28字节后存为灰度图。4.一种实现上述权利要求1～3中任一所述方法的基于深度特征粗糙编码的分布式网络异常检测系统，其特征在于，包括：云端系统和若干雾节点，每个雾节点包括流量采集模块、流量处理模块、数据上报模块和配置管理模块；云端系统包括数据管理模块、流量聚集模块、结果可视化模块和系统管理模块，其中：系统管理模块下发雾节点的雾节点配置信息，配置管理模块根据接收的雾节点配置信息完成自身的节点配置；流量采集模块根据捕获的数据包进行预处理并输出流格式的提取特征至流量处理模块；流量处理模块根据来自配置管理模块的设置参数对流格式的提取特征进行分析得到分类结果和特征向量；数据上传模块根据分类结果和特征向量生成特征向量及编码结果对并经数据异常过滤后上传至云端；数据管理模块聚集来自各个雾节点的流量特征向量及分类结果，经转换编码保存；流量聚集模块对数据管理模块保存的数据使用异常流量的粗糙编码进行流量聚集；结果可视化模块显示聚集结果并生成报告；系统管理模块从云端系统对雾节点进行参数配置；所述的配置管理模块的设置参数包括：雾节点采集数据的端口或者协议类型、深度学习网络类型信息和数据上传的类型信息设置；所述的转换编码保存是指：根据数据的属性，将数据所属雾节点信息、分类信息、时间戳、编码信息存入云端数据库；所述的生成报告是指：以数据库中聚集结果为输入，按照预置的方案显示策略生成实时报告，并提供报告下载接口。5.根据权利要求4所述的分布式网络异常检测系统，其特征是，所述的流量采集模块包括：采集单元和预...
【专利技术属性】
技术研发人员：马颖华，陈秀真，李志浩，于海洋，张立，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。