网络流量异常检测方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了网络流量异常检测方法、装置、设备及介质，该方法包括提取特征数据集；对特征数据集进行聚类；为核心聚类对象创建初始类；找到全部核心聚类对象，得到确定类；检测特征数据集是否存在点不属于任一确定类，若是则判定为异常点。本发明专利技术可以实现对网络流量数据增量式、无监督的异常检测，使之更加符合实际网络流量数据量大和短时间内产生大量数据的情况。情况。情况。

【技术实现步骤摘要】
网络流量异常检测方法、装置、设备及介质


[0001]本专利技术属于流量检测
，尤其涉及网络流量异常检测方法、装置、设备及介质。

技术介绍

[0002]异常检测在现代大规模分布式系统的管理中起着重要作用，记录系统运行时信息的日志广泛用于异常检测。传统上通常使用关键字搜索或规则匹配等方法手动检查日志。然而数据量的增长以及日志复杂性使得人工检测难以进行。因此提出了许多网络流量异常检测方法。网络流量异常检测的目的是找到流量日志中和大多数数据不同的数据，并将这些离群的数据点其视为异常。
[0003]传统的流量异常检测算法一般分为基于统计学的方法、基于机器学习的方法和基于深度学习的方法。但基于统计学的方法判别处理原理及方法仅局限于对正态或近似正态分布的样本数据处理，它是以测量次数充分大为前提(样本>10)，当测量次数少的情形用准则剔除粗大误差是不够可靠的。而且这种方法比较简单死板，过于绝对，会存在不少漏检和误检的情况。基于机器学习的方法对于有监督机器学习方法，由于有监督学习需要数据标签，而网络流量数据量极大，存在人工标记耗时耗力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络流量异常检测方法，其特征在于，所述方法包括：响应于按批次获取的网络流量，对所述网络流量进行解析提取特征信息得到特征数据集；对从第一批网络流量获取的特征数据集进行初始聚类，对后续获取的网络流量进行增量聚类，所述初始聚类的超参数包括聚类半径和最少聚类对象数量；判断每一个聚类对象中的聚类半径领域内是否至少包含最少聚类对象数量个对象，若是则为每一个聚类半径领域内至少包含最少聚类对象数量个对象的聚类对象创建初始类；判断每一个聚类半径领域内至少包含最少聚类对象数量个对象的聚类对象的聚类半径领域内中是否有其他聚类对象的聚类半径领域内至少包含最少聚类对象数量个对象，若是则将所述其他聚类对象追加到所述初始类中，直至没有新的对象可以追加，得到确定类；检测所述特征数据集是否存在点不属于任一确定类，若是则判定为异常点。2.如权利要求1所述的网络流量异常检测方法，其特征在于，所述增量聚类包括通过后续获取的网络流量对所述初始聚类的结果进行更新。3.如权利要求1所述的网络流量异常检测方法，其特征在于，所述通过后续获取的网络流量对所述初始聚类的结果进行更新具体包括：获取新的网络流量的特征数据集；将所述新的网络流量的特征数据集中的每一条数据和已有聚类中的记录进行比较，更新所述增量式聚类的结果，所述更新包括插入新的异常点、创建新的聚类、插入已有聚类和聚类合并。4.如权利要求2所述的网络流量异常检测方法，其特征在于，所述增量聚类还包括获取新的网络流量的特征数据集后将前一个特征数据集中的数据从聚类中删除。5.如权利要求4所述的网络流量异常检测方法，其特征在于，所述将前一个特征数据集中的数据从聚类中删除具体包括：将前一个特征数据集中的数据从聚类中逐条删除，并对聚类结果进行修改，所述修改包括删除异常点、删除聚类、...

【专利技术属性】
技术研发人员：黎臻，张超，焦哲，高建，张玄，
申请(专利权)人：中国电子科技集团公司第三十研究所，
类型：发明
国别省市：