System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据检测,尤其涉及一种时序数据检测方法、装置、电子设备及存储介质。
技术介绍
1、现有技术中的时序数据检测方法存在对时序数据的时序性处理不足以及设立阈值时往往存在误判问题,时序性处理不足导致在计算残差时差距较大,根据异常的时序数据设立阈值往往会影响异常检测的结果,出现误判的问题。
技术实现思路
1、有鉴于此,本申请的目的在于提出一种时序数据检测方法、装置、电子设备及存储介质,以解决现有技术中对时序数据的时序处理不足以及设立阈值时存在误判的问题。
2、基于上述目的,本申请第一方面提供了一种时序数据检测方法,包括:
3、获取时序数据样本集并进行预处理,得到目标时序数据集;
4、基于所述目标时序数据集采用预设模型进行预测,得到预测数据集;
5、根据所述预测数据集和所述目标时序数据集,确定所述目标时序数据集的残差数据集;
6、利用聚类算法对所述残差数据集进行聚类,确定所述目标时序数据集中的正常数据子集和异常数据子集。
7、可选地,获取时序数据样本集并进行预处理,得到目标时序数据集,包括:
8、利用线性插值算法对所述时序数据样本集进行预处理,得到所述目标时序数据集。
9、可选地,所述线性插值算法公式如下:
10、
11、式中,xi表示第i个目标时序数据对应的时间点,yi表示第i个目标时序数据,i表示时序数据的序号,i=1……n。可选地,所述预设模型为卷积长短期记忆
12、可选地,根据所述预测数据集和所述目标时序数据集,确定所述目标时序数据集的残差数据集,包括:
13、通过以下公式确定所述目标时序数据集的残差数据集:
14、loss=|y-a|;
15、式中,loss为残差数据集,y为目标时序数据集,a为预测数据集。
16、可选地,利用聚类算法对所述残差数据集进行聚类,确定所述目标时序数据集中的正常数据子集和异常数据子集,包括:
17、在所述残差数据集中任意选择两个残差数据分别作为正常数据簇的质心和异常数据簇的质心;
18、对所述正常数据簇和所述异常数据簇进行多轮迭代操作,每轮迭代操作如下:
19、分别计算所述残差数据集中的每个残差数据的位置与所述正常数据簇的质心的第一距离,以及与所述异常数据簇的初始中心的第二距离,将所述第一距离小于预设距离的残差数据划分至正常数据簇中,将所述第二距离小于预设距离的残差数据划分至异常数据簇中;
20、计算所述正常数据簇内所有残差数据的第一均值,将所述第一均值作为所述正常数据簇内新的质心;
21、计算所述异常数据簇内所有残差数据的第二均值,将所述第二均值作为所述异常数据簇内新的质心;
22、响应于所述正常数据簇和所述异常数据簇均满足预设截止条件,停止多轮迭代操作,将所述正常数据簇作为所述正常数据子集,将所述异常数据簇作为所述异常数据子集。
23、可选地,所述预设截止条件包括:
24、在前后两轮迭代操作中,所述正常数据簇的质心和所述异常数据簇的质心的位置变化小于阈值,或多轮迭代操作达到预设迭代次数。
25、基于同一专利技术构思,本申请第二方面提供了一种时序数据检测装置,包括:
26、获取模块,用于获取时序数据样本集并进行预处理,得到目标时序数据集;
27、预测模块,用于基于所述目标时序数据集采用预设模型进行预测,得到预测数据集;
28、确定模块,用于根据所述预测数据集和所述目标时序数据集,确定所述目标时序数据集的残差数据集;
29、聚类模块,用于利用聚类算法对所述残差数据集进行聚类,确定所述目标时序数据集中的正常数据子集和异常数据子集。
30、基于同一专利技术构思,本公开还提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序,所述处理器在执行所述计算机程序时实现如上所述的方法。
31、基于同一专利技术构思,本公开还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行如上所述的方法。
32、从上面所述可以看出,本申请提供的一种时序数据检测方法、装置、电子设备及存储介质,所述方法通过对获取的时序数据样本集进行预处理,得到目标时序数据集,以保证目标时序数据集的时序性,对目标时序数据集进行预测,得到预测数据集,根据数据集和目标时序数据集,确定目标时序数据集的残差数据集,利用聚类算法对残差数据集进行聚类,确定目标时序数据集中的正常数据子集和异常数据子集。通过对时序数据样本集进行预处理,得到时序性的目标时序数据集,根据预测数据集和目标时序数据集,得到残差数据集,并利用聚类算法对残差数据集进行聚类分析,能够准确的分析目标时序数据集中的正常数据和异常数据,解决了现有技术中对时序数据的时序处理不足以及设立阈值时存在误判的问题。
本文档来自技高网...【技术保护点】
1.一种时序数据检测方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,获取时序数据样本集并进行预处理,得到目标时序数据集,包括:
3.根据权利要求2所述的方法,其特征在于,所述线性插值算法公式如下:
4.根据权利要求1所述的方法,其特征在于,所述预设模型为卷积长短期记忆神经网络模型。
5.根据权利要求1所述的方法,其特征在于,根据所述预测数据集和所述目标时序数据集,确定所述目标时序数据集的残差数据集,包括:
6.根据权利要求1所述的方法,其特征在于,利用聚类算法对所述残差数据集进行聚类,确定所述目标时序数据集中的正常数据子集和异常数据子集,包括:
7.根据权利要求6所述的方法,其特征在于,所述预设截止条件包括:
8.一种时序数据检测装置,其特征在于,包括:
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质,所述非暂
...【技术特征摘要】
1.一种时序数据检测方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,获取时序数据样本集并进行预处理,得到目标时序数据集,包括:
3.根据权利要求2所述的方法,其特征在于,所述线性插值算法公式如下:
4.根据权利要求1所述的方法,其特征在于,所述预设模型为卷积长短期记忆神经网络模型。
5.根据权利要求1所述的方法,其特征在于,根据所述预测数据集和所述目标时序数据集,确定所述目标时序数据集的残差数据集,包括:
6.根据权利要求1所述的方法,其特征在于,利用聚类算法对所述残...
【专利技术属性】
技术研发人员:李思维,欧清海,于龙,袁帅,岳靓,杜立石,冯光磊,
申请(专利权)人:国网信息通信产业集团有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。