一种基于时间t的指数消失函数的网络流量动态分类方法技术

本发明专利技术公开了一种基于时间t的指数消失函数的网络流量动态分类方法，首先收集网络流量数据，形成流量数据集FT1，并记录实际流量数据各维度特征的到达时间；然后对流量数据集FT1进行归一化、离散化预处理，得到特征集合FT2；定义基于时间t的指数消失函数，作用于特征集合FT2各维度特征，模拟各维度特征随时间变化而权重衰减；定义三种聚类类簇，分别是核心类簇、潜在类簇和边缘类簇；最后通过对实时网络流量的权重系数、密度区域半径与实验获取的阈值进行判断，实现核心类簇、潜在类簇和边缘类簇间的动态变化，进而对动态网络流量的实时分类。本发明专利技术具有较好的实时性，能够处理含有时间变化现象的实时流量。

A dynamic classification method of network traffic based on exponential vanishing function of time t

【技术实现步骤摘要】
一种基于时间t的指数消失函数的网络流量动态分类方法
本专利技术属于网络流量分类领域，具体涉及一种基于时间t的指数消失函数的网络流量动态分类方法。
技术介绍
网络流量分类的实现是运行和优化各种网络资源的重要基础，在网络资源管理、入侵检测等方面发挥重要作用。在网络流量识别研究中分类技术主要经历了三个阶段：基于固定端口号的流量分类阶段、基于深度包流量检测(DeepPacketInspection,DPI)分类阶段和基于机器学习的流量分类阶段。随着动态端口技术和伪装端口技术的出现，给基于固定端口的流量分类系统带来了严峻挑战。为解决基于端口的流量分类技术存在的不足，Yang等人使用DPI流量分类技术，即以透视的形式深度检查数据包是否携带目标流量类型的特征码，从而实现对网络流量的分类识别。然而基于DPI的流量分类是以分组数据信息可见性及荷载目标特征已知为前提的，因此不适用于加密流量和未知特征码的网络流量。基于固定端口、DPI的流量分类技术本质上可以理解专家系统，即通过人为的制定规则来实现对网络流量的匹配和识别,不具备智能识别、分类能力。近年来，随着人工智能的兴起，机器学习作为人工智能的主要实现方式，越来越多的机器学习技术被应用到网络流量分类当中。基于机器学习的网络流量分类技术是对各网络流量统计信息进行计算，利用相关算法对数据包进行识别，进而对相应的网络流量进行分类。机器学习方法主要分为有监督学习和无监督学习。无监督学习是指根据样本间的相似特性对训练集中的样本进行聚类来设计分类器，例如K均值聚类，最大期望算法等。然而在无监督网络流量分类中，利用聚类结果构造未知类别的流量是困难的。同时，实际网络流量是随时间而动态变化的，即含有时间偏移现象，进一步加大实时动态分类的难度。
技术实现思路
本专利技术的目的在于一种基于时间t的指数消失函数的网络流量动态分类方法，以克服现有技术的缺陷，本专利技术通过基于时间t的消失函数对动态流量数据进行权重衰减，再通过对核心类簇、潜在类簇以及边缘类簇之间的进化、退化，实现流量的动态分类。为达到上述目的，本专利技术采用如下技术方案：一种基于时间t的指数消失函数的网络流量动态分类方法，包括以下步骤：1)收集网络流量数据，形成流量数据集FT1，并记录实际流量数据各维度特征的到达时间；2)对流量数据集FT1按特征维度进行归一化、离散化预处理，得到特征集合FT2；3)定义基于时间t的指数消失函数，作用于特征集合FT2各维度特征，模拟各维度特征随时间变化而权重衰减；4)定义三种聚类类簇，分别是核心类簇、潜在类簇和边缘类簇；5)通过对实时网络流量的权重系数、密度区域半径与实验获取的相应阈值进行判断，实现核心类簇、潜在类簇和边缘类簇间的动态变化，进而对动态网络流量的实时分类。进一步地，步骤1)中，流量数据集FT1表示为X＝{X1,X2,...,XN}，包含N条流量数据，其中对于每条流量数据Xi规范定义为{Xi1,Xi2,...,Xik}，其中k为样本的维度，当Xik特征到达，记录相应时间，最终得到每条流量数据的维度特征到达时间向量{ti1,ti2,...,tik}。进一步地，步骤2)中，对流量数据集FT1按特征维度进行归一化，是对流量数据集FT1中每一维特征分别进行线性映射，使每一维特征值在保持原有数据意义下映射到[0,1]之间，消除各维度特征值量纲差别带来的影响，从而得到归一化后的特征集；再对归一化后的特征集中的非连续型数据进行One-hot离散化，得到特征集合FT2。进一步地，步骤3)中，定义基于时间t的指数消失函数为：f(t)＝2-λt，其中t为当前时间，λ为指数系数，当λ越大，权重衰减的程度越大，即已经权重衰减的数据特征对当前分类的影响越小。进一步地，步骤4)中：核心类簇：由核心对象构成的可分类簇，如果核心类簇聚类成未知标签类簇，则由专家确定分类标签；所述核心对象定义为对于任一训练样本，在其密度区域半径内至少存在3个类似样本；潜在类簇：通过对网络流量权重系数、密度区域半径与实验获得的相应阈值的判断，能够进化为核心类簇或者退化为边缘类簇；边缘类簇：通过对网络流量权重系数、密度区域半径与实验获得的相应阈值的判断，能够进化为潜在类簇或者消失。进一步地，步骤5)中，定义核心对象的权重系数和的阈值为μ，核心对象的密度区域半径的阈值为ε；对属于流量数据集FT2中的实时流量数据进行基于时间t的指数消失函数权重衰减，即w'＝f(t)w，其中w是实时流量数据特征的初始权重，初始化为1，w'为相应权重系数再经过基于时间t的指数消失函数后的更新值；当核心对象权重系数和w'≥μ且实时流量数据的密度区域半径r<ε，则为核心类簇；当w'>βμ且r≤ε，其中β是类簇变化阈值，且0.5<β<1，则属于潜在类簇；当w'<βμ，则属于边缘类簇。与现有技术相比，本专利技术具有以下有益的技术效果：面对实际网络流量数据是随时间的变化而动态变化的特性，采用基于时间t的指数消失函数实现对流量数据特征的权重衰减，拟合实时网络流量的时间特性，使得该分类算法具有较好的实时性，能够处理含有时间变化现象的实时流量。同时，定义核心类簇、潜在类簇、边缘类簇，通过相关阈值条件判断实现对网络流量实时动态分类，具有较好的实际应用价值。附图说明图1为实时网络流量分类总体框架图；图2为网络流量包信息提取图；图3为模型训练参数确定图，其中(a)为通过交叉对比实验，其密度区域半径阈值ε的变化趋势图，(b)为通过交叉对比实验，核心对象的权重系数和的阈值变化趋势图，(c)为通过交叉对比实验，其类簇变化β的阈值变化趋势图，(d)为通过交叉对比实验，其基于时间t的指数消失函数的指数系数λ的阈值变化趋势图；图4为模型损失函数图；图5为模型训练准确度图；图6为模型训练ROC图。具体实施方式下面对本专利技术作进一步详细描述：一种基于时间t的指数消失函数的网络流量动态分类方法，包含以下步骤：1)使用Wireshark工具收集网络流数据，形成数据集FT1,并记录实际流量数据各维度特征的到达时间；数据集表示为X＝{X1,X2,...,XN}，包含N条流量数据，其中对于每条流量数据Xi规范定义为{Xi1,Xi2,...,Xik}，其中k为样本的维度，当Xik特征到达，记录相应时间，最终得到每条流量数据的特征到达时间向量{ti1,ti2,...,tik}。2)对流量数据集FT1按特征维度进行归一化、离散化预处理，得到特征集合FT2；预处理实现步骤如下：2.1)对网络流量数据集FT1按特征维度进行归一化，是对FT1中流量数据中每一维特征分别进行线性映射，使每一维特征值在保持原有数据意义下映射到[0,1]之间，消除各维度特征值量纲差别带来的影响，从而得到归一化后的特征集。2.2)再对归一化后的特征集中的非连续型数据进行One-hot离散化，得到处理后的流本文档来自技高网...

【技术保护点】
1.一种基于时间t的指数消失函数的网络流量动态分类方法，其特征在于，包括以下步骤：/n1)收集网络流量数据，形成流量数据集FT1，并记录实际流量数据各维度特征的到达时间；/n2)对流量数据集FT1按特征维度进行归一化、离散化预处理，得到特征集合FT2；/n3)定义基于时间t的指数消失函数，作用于特征集合FT2各维度特征，模拟各维度特征随时间变化而权重衰减；/n4)定义三种聚类类簇，分别是核心类簇、潜在类簇和边缘类簇；/n5)通过对实时网络流量的权重系数、密度区域半径与实验获取的相应阈值进行判断，实现核心类簇、潜在类簇和边缘类簇间的动态变化，进而对动态网络流量的实时分类。/n

【技术特征摘要】
1.一种基于时间t的指数消失函数的网络流量动态分类方法，其特征在于，包括以下步骤：
1)收集网络流量数据，形成流量数据集FT1，并记录实际流量数据各维度特征的到达时间；
2)对流量数据集FT1按特征维度进行归一化、离散化预处理，得到特征集合FT2；
3)定义基于时间t的指数消失函数，作用于特征集合FT2各维度特征，模拟各维度特征随时间变化而权重衰减；
4)定义三种聚类类簇，分别是核心类簇、潜在类簇和边缘类簇；
5)通过对实时网络流量的权重系数、密度区域半径与实验获取的相应阈值进行判断，实现核心类簇、潜在类簇和边缘类簇间的动态变化，进而对动态网络流量的实时分类。


2.根据权利要求1所述的一种基于时间t的指数消失函数的网络流量动态分类方法，其特征在于，步骤1)中，流量数据集FT1表示为X＝{X1,X2,...,XN}，包含N条流量数据，其中对于每条流量数据Xi规范定义为{Xi1,Xi2,...,Xik}，其中k为样本的维度，当Xik特征到达，记录相应时间，最终得到每条流量数据的维度特征到达时间向量{ti1,ti2,...,tik}。


3.根据权利要求1所述的一种基于时间t的指数消失函数的网络流量动态分类方法，其特征在于，步骤2)中，对流量数据集FT1按特征维度进行归一化，是对流量数据集FT1中每一维特征分别进行线性映射，使每一维特征值在保持原有数据意义下映射到[0,1]之间，消除各维度特征值量纲差别带来的影响，从而得到归一化后的特征集；再对归一化后的特征集中的非连续型数据进行One-hot离散化，得到特征集合FT2。
...

【专利技术属性】
技术研发人员：曲桦，蒋杰，赵季红，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61