一种基于局部向量点积密度的异常数据检测方法及系统技术方案

技术编号:41259901 阅读:25 留言:0更新日期:2024-05-11 09:18
本发明专利技术公开了一种基于LDVP的异常检测方法及系统,方法包括如下步骤:步骤1:对实时数据流进行处理;步骤2:确定最佳邻域半径r并计算r‑邻域,通过增量更新计算mvp值,再计算LDVP值,提高LDVP计算速度。步骤3:计算异常分数S<subgt;i</subgt;获得滑动窗口中的候选异常点。步骤4:将获得的候选异常点进行多重验证,确定最终的异常点。本发明专利技术采用自适应动态滑动窗口机制和验证模型,平衡计算效率和检测精度之间的关系;通过将局部向量点积密度值转换为异常值分数,能够提高异常检测的准确性。此外,本发明专利技术采用增量计算模块高效处理数据流,从而减少不必要的计算开销;在合成数据和真实数据集上的仿真实验验证了本发明专利技术技术方案的鲁棒性和准确性。

【技术实现步骤摘要】

本专利技术属于异常检测领域,具体涉及一种基于局部向量点积密度(local densityvector dot product,ldvp)的异常数据检测方法及系统。


技术介绍

1、随着大数据技术和人工智能的不断进步,异常检测的应用范围近年来逐渐扩大。异常在许多实际应用中通常具有重大影响,例如在欺诈检测、网络入侵检测和信用风险评估等各个领域发挥着关键作用。鉴于其广泛的相关性,异常检测已成为一个备受关注的研究方向,在数据挖掘、机器学习和统计分析领域引起了人们的关注。

2、关于异常检测的文献种类繁多且异常检测技术不断发展,研究人员不断提出创新和更有效的方法,包括统计模型、基于密度的模型、基于距离的模型、基于聚类的方法、基于隔离的方法和集成技术。这些方法大大促进了各行各业的发展,促进了异常检测的创新和发展。

3、基于密度的异常检测方法可分为两大类,具体取决于其应用场景:为静态数据量身定制的方法和为动态数据流设计的方法。尽管传统的异常检测方法在静态数据集中已经证明了其有效性,但在进行实时数据流异常检测时,它们面临着许多挑战。流数据中的异常检测需本文档来自技高网...

【技术保护点】

1.一种基于局部向量点积密度的异常数据检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于局部向量点积密度的异常数据检测方法,其特征在于,步骤1中,从数据终端采集到的数据流,以流的形式进行缓存;将缓存的数据划分成均匀的数据块,并设定初始滑动窗口中含有两个数据块;设当前的时间是Ti;通过从数据流中提取数据来构造当前的窗口Wi;再通过候选异常点大小与窗口大小比值来动态获得滑动窗口大小。

3.根据权利要求2所述的一种基于局部向量点积密度的异常数据检测方法,其特征在于,步骤1具体包括如下步骤:

4.根据权利要求3所述的一种基于局部向量点积密度...

【技术特征摘要】

1.一种基于局部向量点积密度的异常数据检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于局部向量点积密度的异常数据检测方法,其特征在于,步骤1中,从数据终端采集到的数据流,以流的形式进行缓存;将缓存的数据划分成均匀的数据块,并设定初始滑动窗口中含有两个数据块;设当前的时间是ti;通过从数据流中提取数据来构造当前的窗口wi;再通过候选异常点大小与窗口大小比值来动态获得滑动窗口大小。

3.根据权利要求2所述的一种基于局部向量点积密度的异常数据检测方法,其特征在...

【专利技术属性】
技术研发人员:虞晓韩王海霞沈忱陈超
申请(专利权)人:浙江工商大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1