System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于动态时间弯曲的多元时间序列异常检测方法技术_技高网
当前位置: 首页 > 专利查询>东海实验室专利>正文

基于动态时间弯曲的多元时间序列异常检测方法技术

技术编号:40901356 阅读:3 留言:0更新日期:2024-04-18 11:19
本发明专利技术公开了一种基于动态时间弯曲的多元时间序列异常检测方法,首先采用参数化的加权动态时间弯曲距离作为相似性度量方法,对多元时间序列样本进行模糊C均值聚类;然后以样本各维度的重要度作为约束条件,迭代优化模型得到最优加权动态时间弯曲距离;最后利用优化的相似性度量方法和簇中心对各样本进行重构并计算异常分值,实现对异常样本的识别。本发明专利技术可显著提高多元时间序列数据的异常检测准确率,在现实应用中可发挥重要作用,如在互联网用户行为监控中,针对高并发网络流量的异常诊断,能够帮助运维人员有效识别异常账户和攻击行为,提高网络安全性能,保障互联网的正常运行。

【技术实现步骤摘要】

本专利技术涉及大数据、数据库、人工智能、数据挖掘等领域,尤其涉及多元时间序列数据分析和挖掘。


技术介绍

1、多元时间序列广泛存在于人们的日常生活及工业生产中,如基金或股票交易数据,零售市场日销量数据,流程工业传感器监测数据,天文观测数据,航空航天雷达、卫星监测数据,天气温度及空气质量指数等。为了保证各类业务系统的正常运行,工业界通常需要对所采集的多元时间序列数据进行异常检测和诊断,以便及时发现系统故障或异常。因此,多元时间序列异常检测方法在工业界有着广泛的应用需求。

2、目前,工业界常用的多元时间序列异常检测方法有基于最近邻的方法、基于聚类的方法、深度学习方法等。基于最近邻的方法将样本的异常分数定义为到第k个最近邻的距离,可以通过空间划分方法高效挖掘异常点;在此基础上,根据样本相对于邻域的孤立程度定义局部离群因子,可以利用反向k近邻数量计算异常分数。基于聚类的方法则是将原始数据编码到特征空间来检测异常,可以提供简单且强解释性的异常检测手段,常用的聚类方法有符号聚类、模糊c均值聚类、基于形状的聚类等。然而,现有的方法均无法在相似性度量中考虑不同维度的重要性,从而导致异常检测准确性受到较大影响。基于深度学习的异常检测方法大致可分为预测和重构两种类型。前者在无异常的训练数据集上训练模型,将观测数据与预测数据的显著差异作为异常;后者则将正常的训练样本编码到隐含空间,将重构误差较大的样本识别为异常。深度学习异常检测方法通常具有复杂的模型结构和较弱的可解释性,因此在实际应用中尚未体现出显著优势。

3、在时间序列相似性度量方面,目前工业界常用的时间序列距离度量方法可分为锁步度量方法和弹性度量方法。前者采用了一对一的度量方式,即时间序列t1和t2之间的距离是通过严格比较t1和t2在各自第i个位置的点对,再累加所有点对的距离得到。该类方法最常见的有曼哈顿距离、欧氏距离和切比雪夫距离,它们都是lp范数距离在p取不同值时的特例。该类方法具有易实现、计算复杂度低、满足距离三角不等式、无参等优点;但是,其度量精度对噪声、异常点、幅值伸缩和漂移、相位偏移等非常敏感,并且只能用于度量等长的时间序列。弹性度量方法采用了一对多的度量方式,即时间序列t1的一个点可以与t2的多个连续点相对应,通过动态规划方法遍历t1和t2的所有点对之间的距离。该类方法最常见的有动态时间弯曲距离(dtw)和编辑距离的变种(如lcss、edr、erp)等。与锁步度量相比,弹性度量能够实现两条时间序列的最佳对齐匹配,可以有效处理时间弯曲、相位偏移、幅值伸缩和漂移等基本形态变化,对噪声和异常点具有鲁棒性。


技术实现思路

1、本专利技术要解决的问题是如何针对多元时间序列识别其中存在异常样本。为了解决该问题,本专利技术提出了基于动态时间弯曲的多元时间序列异常检测方法

2、本专利技术的目的是通过以下技术方案实现的:基于动态时间弯曲的多元时间序列异常检测方法,包括以下步骤:

3、(1)模型初始化,具体包括以下子步骤:

4、(1.1)对多元时间序列各维度做移动平滑处理,得到平滑多元时间序列t;

5、(1.2)利用滑动窗口划分多元时间序列t得到训练样本集合x={x1,…,xj,…,xn};

6、(1.3)初始化簇中心集合v、样本隶属度矩阵u和权重系数集合λ,设置异常阈值ε;

7、(2)模型优化,具体包括以下子步骤:

8、(2.1)保持隶属度矩阵u、簇中心集合v、权重系数集合λ不变,优化样本到簇中心的最优弯曲路径p;

9、(2.2)保持样本到簇中心的最优弯曲路径p、簇中心集合v、权重系数集合λ不变,优化隶属度矩阵u;

10、(2.3)保持样本到簇中心的最优弯曲路径p、隶属度矩阵u、簇中心集合v不变,优化权重系数集合λ;

11、(2.4)保持样本到簇中心的最优弯曲路径p、隶属度矩阵u、权重系数集合λ不变,优化簇中心集合v;

12、(2.5)计算目标函数值j,若小于收敛阈值,则输出隶属度矩阵u和簇中心集合v,否则重复步骤(2.1)~(2.5);

13、(3)隐空间构建,具体包括以下子步骤:

14、(3.1)初始化x的重构样本集合y={y1,…,yi,…,yn};

15、(3.2)保持样本到簇中心的最优弯曲路径p、隶属度矩阵u、簇中心集合v以及权重系数集合λ不变,依次计算每个重构样本yj;

16、(3.3)计算重构样本与原样本的加权动态时间弯曲距离作为样本异常分值;

17、(3.4)比较样本异常分值与异常阈值的大小,若大于阈值,则输出样本作为异常样本。

18、进一步的,所述步骤(2.1)包括以下子步骤:

19、(2.1.1)初始化动态规划表tab=cell(a,b);

20、(2.1.2)依次计算样本xj的第1个元素值与簇中心vi的第2到第b个元素值vi2~vib之间的点对距离,并存入tab(1,2:b);

21、(2.1.3)依次计算vi的第1个元素值与样本xj的第2到第a个元素值xj2~xja之间的点对距离,并存入tab(2:a,1);

22、(2.1.4)利用动态规划方法,依次扫描并计算xj的元素值xj2~xja和vi的元素值vi2~vib之间的点对距离,并存入tab(2:a,2:b);

23、(2.1.5)利用tab计算每个样本xj与各簇中心vi的最优弯曲路径pij,该过程包括以下子步骤:

24、(2.1.5.1)初始化索引(s,r)=(a,b),将(s,r)作为pij的首位元素;

25、(2.1.5.2)选取tab(s-1,r)、tab(s,r-1)和tab(s-1,r-1)中最小值的索引更新(s,r),将(s,r)存入pij,重复该过程直至s=r=0;

26、进一步的,所述步骤(2.2)包括以下子步骤:

27、(2.2.1)从tab获取样本xj和簇中心vi的局部加权动态时间弯曲距离;

28、(2.2.2)通过拉格朗日乘子法更新隶属度矩阵u;

29、进一步的,所述步骤(2.3)包括以下子步骤:

30、(2.3.1)根据样本到簇中心的最优弯曲路径p分别计算各簇内维度d上的距离和ad;

31、(2.3.2)通过拉格朗日乘子法更新权重系数集合λ。

32、进一步的,所述步骤(2.4)中根据公式(3)优化簇中心集合v;

33、

34、进一步的,所述步骤(2.5)中根据公式(4)计算目标函数值j:

35、

36、进一步的,所述步骤(3.2)中根据公式(5)依次计算每个重构样本yj;

37、

38、本专利技术的有益效果是:

39、1、有效解决了无监督异常检测中多元时间序列维度重要性的区分问题,通过参数化局部加权动态弯曲距离约束了维度对相似度本文档来自技高网...

【技术保护点】

1.基于动态时间弯曲的多元时间序列异常检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述基于动态时间弯曲的多元时间序列异常检测方法,其特征在于,所述多元时间序列包括基金或股票交易数据,零售市场日销量数据,流程工业传感器监测数据,天文观测数据,航空航天雷达、卫星监测数据或天气温度及空气质量指数。

3.根据权利要求1或2所述基于动态时间弯曲的多元时间序列异常检测方法,其特征在于,所述步骤(2.1)包括以下子步骤:

4.根据权利要求3所述基于动态时间弯曲的多元时间序列异常检测方法,其特征在于,所述步骤(2.2)包括以下子步骤:

5.根据权利要求4所述基于动态时间弯曲的多元时间序列异常检测方法,其特征在于,所述步骤(2.3)包括以下子步骤:

6.根据权利要求5所述基于动态时间弯曲的多元时间序列异常检测方法,其特征在于,所述步骤(2.4)中根据公式(3)优化簇中心集合V;

7.根据权利要求6所述基于动态时间弯曲的多元时间序列异常检测方法,其特征在于,所述步骤(2.5)中根据公式(4)计算目标函数值J:

8.根据权利要求7所述基于动态时间弯曲的多元时间序列异常检测方法,其特征在于,所述步骤(3.2)中根据公式(5)依次计算每个重构样本yj;

...

【技术特征摘要】

1.基于动态时间弯曲的多元时间序列异常检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述基于动态时间弯曲的多元时间序列异常检测方法,其特征在于,所述多元时间序列包括基金或股票交易数据,零售市场日销量数据,流程工业传感器监测数据,天文观测数据,航空航天雷达、卫星监测数据或天气温度及空气质量指数。

3.根据权利要求1或2所述基于动态时间弯曲的多元时间序列异常检测方法,其特征在于,所述步骤(2.1)包括以下子步骤:

4.根据权利要求3所述基于动态时间弯曲的多元时间序列异常检测方法,其特征在于,所述步骤(2.2)包括以下子步骤...

【专利技术属性】
技术研发人员:蔡青林苑瀚洋邵健鲁伟明陈岭
申请(专利权)人:东海实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1