一种流数据的异常检测方法、系统及存储介质技术方案

技术编号:42963163 阅读:27 留言:0更新日期:2024-10-15 13:10
本发明专利技术公开了一种流数据的异常检测方法、系统及存储介质,其中,所述方法包括:获取流数据,设置滑动窗口,并基于所述滑动窗口对所述流数据进行窗口分段,获得分段窗口数据;采用基于密度的聚类算法对所述分段窗口数据进行聚类,获得聚类结果;基于所述聚类结果区分若干个簇和离散点,计算簇的簇心均值,并计算每个离散点至簇心均值的簇心距离;基于每个离散点至簇心均值的距离计算簇心距离均值,并基于所述簇心距离和簇心距离均值进行异常数据点检测。本发明专利技术提高了流数据的异常检测精度,使流数据的异常检测能够达到更为理想的效果。

【技术实现步骤摘要】

本专利技术涉及数据处理,尤其涉及一种流数据的异常检测方法、系统及存储介质


技术介绍

1、在物联网时代,大量的传感设备随着时间的推移收集并生成各种传感数据,适用于广泛的领域和应用,有效地分析这些流数据可以为各种用例和应用程序提供有价值的见解。异常检测作为一个重要的研究课题,在流数据背景下也面临着新的挑战。

2、异常检测算法的种类繁多,依据处理数据的方式可分为离线和在线两大类。离线算法如孤立森林,主要用于静态数据集的分析,而在线算法如xstream,则能够处理流数据。部分离线算法也能处理流数据,但需进行特殊调整。常见的离线算法如自适应异常检测算法和经验累积分布函数,自适应异常检测算法是一种无参数算法,专为离线数据而开发,但对数据集的样本数有数量限制;经验累积分布函数利用数据极值概率检测异常,但其在处理复杂结构数据时性能有限。在线算法如流典型性离心度数据分析,但其需设定离心度比较阈值。对此,目前提出了一种结合基于密度的空间聚类算法和支持向量机的算法,但该算法需要用户手动设定邻域半径和最小点数,而适用于不同数据集的参数往往不尽相同,手动设定参数难以达本文档来自技高网...

【技术保护点】

1.一种流数据的异常检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的流数据的异常检测方法,其特征在于,所述获取流数据,包括:

3.根据权利要求1所述的流数据的异常检测方法,其特征在于,所述基于所述滑动窗口对所述流数据进行窗口分段,获得分段窗口数据,包括:

4.根据权利要求1所述的流数据的异常检测方法,其特征在于,所述采用基于密度的聚类算法对所述分段窗口数据进行聚类,获得聚类结果,包括:

5.根据权利要求4所述的流数据的异常检测方法,其特征在于,所述基于k-近邻算法计算邻域半径,包括:

6.根据权利要求1所述的流数据...

【技术特征摘要】

1.一种流数据的异常检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的流数据的异常检测方法,其特征在于,所述获取流数据,包括:

3.根据权利要求1所述的流数据的异常检测方法,其特征在于,所述基于所述滑动窗口对所述流数据进行窗口分段,获得分段窗口数据,包括:

4.根据权利要求1所述的流数据的异常检测方法,其特征在于,所述采用基于密度的聚类算法对所述分段窗口数据进行聚类,获得聚类结果,包括:

5.根据权利要求4所述的流数据的异常检测方法,其特征在于,所述基于k-近邻算法计算邻域半径,包括:

6.根据权利要求1所述的流数据的异常检...

【专利技术属性】
技术研发人员:张越丁徐闯廖新发白雨婷
申请(专利权)人:广东技术师范大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1