基于Bagging改进的GRU并行网络流量异常检测方法技术

技术编号:25809201 阅读:59 留言:0更新日期:2020-09-29 18:44
本发明专利技术公开了一种基于Bagging改进的GRU并行网络流量异常检测方法,首先利用Spark平台以分布式方式进行数据采集,并对采集的数据进行清洗、转换和标准化后,基于Spark大数据处理技术,以弹性分布式数据集形式对样本集进行有放回抽取采样,利用Bagging算法以并行方式对GRU模型进行训练,同时利用模型平均法,得到集成检测器,利用二分类损失函数对所述集成检测器进行评价,利用所述集成检测器对测试数据集进行检测,得到检测结果,提升检测精度和检测效率。

【技术实现步骤摘要】
基于Bagging改进的GRU并行网络流量异常检测方法
本专利技术涉及网络流量异常检测
,尤其涉及一种基于Bagging改进的GRU并行网络流量异常检测方法。
技术介绍
在当前大规模复杂网络环境下,网络流量数据的体量越来越庞大,并且现代网络流量数据具备明显的时间依赖特性;传统的网络流量异常检测方法无法做到高精度和高效率的检测。近年来,深度学习作为机器学习领域中的一个新的研究方向,得到了迅速的发展和大量应用,使得人们更加靠近了人工智能的目标。其中,循环神经网络具有记忆性、参数共享并且图灵完备等优点,对非线性特征数据和时间序列数据的学习具有很大优势,可以很好的应用于网络流量异常检测任务,GRU是LSTM神经网络的变体,也是循环神经网络的一员,所以同样能够学习到数据之间的时间依赖关系,以解决普通RNN网络存在的长时期依赖问题。然而,如果只是利用并行的GRU网络流量异常检测方法进行检测也存在两个问题:只是基于GRU的网络流量异常检测方法虽然能学习到网络流量数据之中的时间依赖特性,但是仅仅这样做的话,其检测率并不高,只有90%左右。并行GR本文档来自技高网...

【技术保护点】
1.一种基于Bagging改进的GRU并行网络流量异常检测方法,其特征在于,包括:/n基于分布式获取数据,并转换为统一数据格式;/n基于Spark大数据处理技术,利用Bagging算法对GRU模型进行并行训练;/n根据二分类损失函数对检测模型进行评价,并利用所述检测模型进行检测,得到检测结果。/n

【技术特征摘要】
1.一种基于Bagging改进的GRU并行网络流量异常检测方法,其特征在于,包括:
基于分布式获取数据,并转换为统一数据格式;
基于Spark大数据处理技术,利用Bagging算法对GRU模型进行并行训练;
根据二分类损失函数对检测模型进行评价,并利用所述检测模型进行检测,得到检测结果。


2.如权利要求1所述的基于Bagging改进的GRU并行网络流量异常检测方法,其特征在于,所述基于分布式获取数据,并转换为统一数据格式,包括:
利用Spark平台以分布式方式进行数据采集,并对采集的数据经过预处理后落地存储或者存储到云端服务器。


3.如权利要求1所述的基于Bagging改进的GRU并行网络流量异常检测方法,其特征在于,所述基于分布式获取数据,并转换为统一数据格式,还包括:
读取存储的数据,并将错误、残缺和冗余数据进行清洗后,将所述数据中非数值型数据转换为数值型数据,同时按照数据规约技术,将转换后的数据进行标准化处理,转换为统一的数据格式。


4.如权利要求3所述的基于Bagging改进的GRU并行网络流量异常检测方...

【专利技术属性】
技术研发人员:陶晓玲彭洋王素芳刘梓毅
申请(专利权)人:桂林电子科技大学
类型:发明
国别省市:广西;45

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1