一种基于大数据的异常流量监测和预测方法及装置制造方法及图纸

本发明专利技术公开了一种基于大数据的异常流量监测和预测方法及装置，具体包括以下步骤：S1、对原始网络数据流量进行采集，在一段时间内进行数据流量监测；本发明专利技术涉及网络安全技术领域。该基于大数据的异常流量监测和预测方法及装置，通过网络数据流量的输出端与阈值对比模块的输入端连接，阈值对比模块的输出端与单片机的输入端连接，单片机与数据库之间实现双向连接，并且单片机与数据对比模块之间实现双向连接，单片机的输出端分别与一级告警、二级告警和三级告警的输入端连接，对异常流量与计算出的阈值进行对比，根据异常流量与阈值比较后的异常程度不同，进行不同等级的告警，让工作人员可以清楚地了解到流量异常程度。

An abnormal flow monitoring and prediction method and device based on big data

【技术实现步骤摘要】
一种基于大数据的异常流量监测和预测方法及装置
本专利技术涉及网络安全
，具体为一种基于大数据的异常流量监测和预测方法及装置。
技术介绍
网络流量异常指网络中流量不规则的显著变化，如网络短暂拥塞、分布式拒绝服务攻击、大范围扫描等本地事件或者网络路由异常等全局事件，网络流量异常的监测和分析对网络安全应急响应部门而言非常重要，但是由于宏观流量异常监测比较困难，需要从大量高维的富含噪声的数据中提取和解释异常模式，使得对于网络异常的监测和分析仍然是一个极大的挑战。现有IP流量分析仪采用的技术存在如下缺陷：流量分析仪采用固定阈值监测异常流量，对于具有复杂的非线性特性和随机性，且随时间、事件、用户行为等因素影响较大的软交换信令流量或语音流量，固定阈值的方法并不适用，由于软交换信令流量或语音流量并不是恒定不变的一个常数，如果采用固定阈值监测异常流量，当阈值定义范围过小会频繁产生虚警，造成维护人员不必要的工作量。
技术实现思路
(一)解决的技术问题针对现有技术的不足，本专利技术提供了一种基于大数据的异常流量监测和预测方法及装置，解决了采用固定阈值监测异常流量，当阈值定义范围过小会频繁产生虚警，造成维护人员不必要的工作量的问题。(二)技术方案为实现以上目的，本专利技术通过以下技术方案予以实现：一种基于大数据的异常流量监测和预测方法，具体包括以下步骤：S1、对原始网络数据流量进行采集，在一段时间内进行数据流量监测；S2、以一周时间为一个序列，在一个序列中以一个滑动窗为参照，检测该滑动窗下一个相邻的观测值是否发生异常变化，根据检测到的点是否落到自适应阈值上下的置信区间内判断当前点是否异常，当变化幅度超出置信区间时就认为这个观测值是异常的，当滑动窗在序列中一步一步顺次向前移动时，流量观测值序列中的每个点都将被检测到，从SNMP管理信息库MIB中定时读取接口组变量:ifInOctets(B/s),ifOutOctets(B/s)及IP组变量:ipForwDatagrams(packetUs),ipInReceives(packetUs)，采用滑动窗口模型，用于接收管理信息库中最新的N(滑动窗口大小)个数据，随着数据不断到达，统计信息不断更新，窗口数据不断平移，对滑动窗口中的MIB变量，即对接口组变量和IP组变量中的4个变量进行定时采样，然后按时间顺序分别排列成一个时间序列,这样每个时间序列就是一个流量观测值序列，采样的时间尺度可以是毫秒、秒、分、小时等，最后确定自适应阈值U(t+1)和L(t+1)；S3、对采集的网络数据流量节点进行判定，判定进流量是否等于出流量，若进流量等于出流量，则流量节点为管节点，若进流量不等于出流量，那么进一步对流量节点进行判定，若进流量小于出流量，则流量节点为云节点，若进流量不小于出流量，则流量节点为端节点；S4、网络数据流量在经过与阈值对比模块的对比后，将信息传递给单片机，利用单片机对接收的信息通过数据对比模块对数据库中的告警划分等级进行对比，经过的等级划分对比后单片机控制一级告警、二级告警和三级告警进行告警。优选的，还公开了一种基于大数据的异常流量监测和预测装置，包括网络数据流量和中央控制中心，所述网络数据流量的输出端与阈值对比模块的输入端连接，所述阈值对比模块的输出端与单片机的输入端连接。优选的，所述单片机与数据库之间实现双向连接，并且单片机与数据对比模块之间实现双向连接。优选的，所述单片机的输出端分别与一级告警、二级告警和三级告警的输入端连接。优选的，所述中央控制中心与管理信息库之间实现双向连接，并且中央控制中心与信息调取模块之间实现双向连接。优选的，所述中央控制中心的输入端与信息采集模块的输出端连接，并且中央控制中心的输出端分别与接口组变量模块和IP组变量模块的输入端连接。优选的，所述接口组变量模块与IP组变量模块的输出端均与变量数据整合模块的输入端连接。优选的，所述变量数据整合模块的输出端与变量数据计算模块的输入端连接，所述变量数据计算模块的输出端与自适应阈值确定模块。(三)有益效果本专利技术提供了一种基于大数据的异常流量监测和预测方法及装置。与现有技术相比具备以下有益效果：(1)、该基于大数据的异常流量监测和预测方法及装置，通过网络数据流量的输出端与阈值对比模块的输入端连接，阈值对比模块的输出端与单片机的输入端连接，单片机与数据库之间实现双向连接，并且单片机与数据对比模块之间实现双向连接，单片机的输出端分别与一级告警、二级告警和三级告警的输入端连接，这样可以对异常流量与计算出的阈值进行对比，根据异常流量与阈值比较后的异常程度不同，进行不同等级的告警，让工作人员可以清楚地了解到流量异常程度。(2)、该基于大数据的异常流量监测和预测方法及装置，通过中央控制中心与管理信息库之间实现双向连接，并且中央控制中心与信息调取模块之间实现双向连接，中央控制中心的输入端与信息采集模块的输出端连接，并且中央控制中心的输出端分别与接口组变量模块和IP组变量模块的输入端连接，这样可以对管理信息库中的流量数据进行调取和采集，方便的对流量异常阈值进行信息采集。(3)、该基于大数据的异常流量监测和预测方法及装置，通过接口组变量模块与IP组变量模块的输出端均与变量数据整合模块的输入端连接，变量数据整合模块的输出端与变量数据计算模块的输入端连接，变量数据计算模块的输出端与自适应阈值确定模块，这样可以方便的对流量异常阈值进行数据整合，再经过计算确定自适应阈值，方便对异常流量的监测和预测。附图说明图1为本专利技术的步骤流程图；图2为本专利技术中步骤S2的流程图；图3为本专利技术中判定网络节点类型的流程图；图4为本专利技术系统的结构原理框图；图5为本专利技术阈值对比模块的结构原理框图。图中，1-网络数据流量、2-中央控制中心、3-阈值对比模块、4-单片机、5-数据库、6-数据对比模块、7-一级告警、8-二级告警、9-三级告警、10-管理信息库、11-信息调取模块、12-信息采集模块、13-接口组变量模块、14-IP组变量模块、15-变量数据整合模块、16-变量数据计算模块、17-自适应阈值确定模块。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1-5，本专利技术实施例提供一种技术方案：一种基于大数据的异常流量监测和预测方法，具体包括以下步骤：S1、对原始网络数据流量进行采集，在一段时间内进行数据流量监测；S2、以一周时间为一个序列，在一个序列中以一个滑动窗为参照，检测该滑动窗下一个相邻的观测值是否发生异常变化，根据检测到的点是否落到自适应阈值上下的置信区间内判断当前点是否异常，当变化幅度超出置本文档来自技高网...

【技术保护点】
1.一种基于大数据的异常流量监测和预测方法，其特征在于：具体包括以下步骤：/nS1、对原始网络数据流量进行采集，在一段时间内进行数据流量监测；/nS2、以一周时间为一个序列，在一个序列中以一个滑动窗为参照，检测该滑动窗下一个相邻的观测值是否发生异常变化，根据检测到的点是否落到自适应阈值上下的置信区间内判断当前点是否异常，当变化幅度超出置信区间时就认为这个观测值是异常的，当滑动窗在序列中一步一步顺次向前移动时，流量观测值序列中的每个点都将被检测到，从SNMP管理信息库MIB中定时读取接口组变量:ifInOctets(B/s),ifOutOctets(B/s)及IP组变量:ipForwDatagrams(packetUs),ipInReceives(packetUs)，采用滑动窗口模型，用于接收管理信息库中最新的N(滑动窗口大小)个数据，随着数据不断到达，统计信息不断更新，窗口数据不断平移，对滑动窗口中的MIB变量，即对接口组变量和IP组变量中的4个变量进行定时采样，然后按时间顺序分别排列成一个时间序列,这样每个时间序列就是一个流量观测值序列，采样的时间尺度可以是毫秒、秒、分、小时等，最后确定自适应阈值U(t+1)和L(t+1)；/nS3、对采集的网络数据流量节点进行判定，判定进流量是否等于出流量，若进流量等于出流量，则流量节点为管节点，若进流量不等于出流量，那么进一步对流量节点进行判定，若进流量小于出流量，则流量节点为云节点，若进流量不小于出流量，则流量节点为端节点；/nS4、网络数据流量(1)在经过与阈值对比模块(3)的对比后，将信息传递给单片机(4)，利用单片机(4)对接收的信息通过数据对比模块(6)对数据库(5)中的告警划分等级进行对比，经过的等级划分对比后单片机(4)控制一级告警(7)、二级告警(8)和三级告警(9)进行告警。/n...

【技术特征摘要】
1.一种基于大数据的异常流量监测和预测方法，其特征在于：具体包括以下步骤：
S1、对原始网络数据流量进行采集，在一段时间内进行数据流量监测；
S2、以一周时间为一个序列，在一个序列中以一个滑动窗为参照，检测该滑动窗下一个相邻的观测值是否发生异常变化，根据检测到的点是否落到自适应阈值上下的置信区间内判断当前点是否异常，当变化幅度超出置信区间时就认为这个观测值是异常的，当滑动窗在序列中一步一步顺次向前移动时，流量观测值序列中的每个点都将被检测到，从SNMP管理信息库MIB中定时读取接口组变量:ifInOctets(B/s),ifOutOctets(B/s)及IP组变量:ipForwDatagrams(packetUs),ipInReceives(packetUs)，采用滑动窗口模型，用于接收管理信息库中最新的N(滑动窗口大小)个数据，随着数据不断到达，统计信息不断更新，窗口数据不断平移，对滑动窗口中的MIB变量，即对接口组变量和IP组变量中的4个变量进行定时采样，然后按时间顺序分别排列成一个时间序列,这样每个时间序列就是一个流量观测值序列，采样的时间尺度可以是毫秒、秒、分、小时等，最后确定自适应阈值U(t+1)和L(t+1)；
S3、对采集的网络数据流量节点进行判定，判定进流量是否等于出流量，若进流量等于出流量，则流量节点为管节点，若进流量不等于出流量，那么进一步对流量节点进行判定，若进流量小于出流量，则流量节点为云节点，若进流量不小于出流量，则流量节点为端节点；
S4、网络数据流量(1)在经过与阈值对比模块(3)的对比后，将信息传递给单片机(4)，利用单片机(4)对接收的信息通过数据对比模块(6)对数据库(5)中的告警划分等级进行对比，经过的等级划分对比后单片机(4)控制一级告警(7)、二级告警(8)和三级告警(9)进行...

【专利技术属性】
技术研发人员：陈瑞锋，
申请(专利权)人：北京孚耐尔科技有限公司，
类型：发明
国别省市：北京;11