一种大数据调度系统的异常检测方法以及系统技术方案

本发明专利技术提供了一种大数据调度系统的异常检测方法以及系统，异常检测方法包括如下步骤：训练GATv2LSTM编码器‑解码器模型来重建正常的时间序列，基本的构建块包括GATv2以及GATv2LSTM；采用所述模型自动学习选择异常阈值之后，计算在线异常检测阶段新观测值的异常分数，当所述异常分数高于所述异常阈值之后，进行报警。本发明专利技术的异常检测方法基于图注意网络的多变量时间序列异常检测框架GATv2AD，适用于大数据调度框架中时间序列异常检测场景，提升了时间序列异常检测效率和准确性。

【技术实现步骤摘要】

本专利技术涉及大数据调度系统领域，具体而言，涉及一种大数据调度系统的异常检测方法以及系统。

技术介绍

1、时间序列异常检测是数据挖掘领域的一个重要研究课题，在工业领域有着广泛的应用。高效准确的异常检测有助于持续监控其关键指标，并及时对潜在事件发出警报。在真实的应用中，收集多个时间序列指标以反映系统的健康状态。单变量时间序列异常检测算法能够发现单个指标的异常。然而，在确定整个系统是否正常运行时可能会出现问题。例如，某个度量的突然改变不一定意味着系统的故障。随着大数据系统复杂性的增加，越来越多的指标可以被收集并用于对系统状态建模。目前也有一些以多元时间序列为输入的方法，但它们只是将不同的时间序列直接连接起来，没有进行有效的组织。因此，在多变量时间序列异常检测系统中，考虑不同时间序列之间的相关性是非常必要的。而且现实环境产生的时间序列中异常样本稀少并且标注困难限制了以分类、预测为基础的有监督异常检测方法的应用。因此，利用无监督或半监督的深度学习方法对时间序列进行异常检测逐渐成为异常检测领域的研究热点。

2、目前利用人工智能技术对时间序列进行异常检测的本文档来自技高网...

【技术保护点】

1.一种大数据调度系统的异常检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的异常检测方法，其特征在于，训练GATv2LSTM编码器-解码器模型的过程中，编码器和解码器联合训练，以倒序重建时间序列，即目标时间序列为{x(L)，x(L-1)，...，x(1)}。

3.根据权利要求2所述的异常检测方法，其特征在于，在训练过程中，解码器使用x(i)作为输入以获得状态然后预测对应于目标x(i-1)；

4.根据权利要求3所述的异常检测方法，其特征在于，训练过程中，给定时间序列其中t0＝t-W+1表示滑动窗口的开始，损失函数推导如下：

5....

【技术特征摘要】

1.一种大数据调度系统的异常检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的异常检测方法，其特征在于，训练gatv2lstm编码器-解码器模型的过程中，编码器和解码器联合训练，以倒序重建时间序列，即目标时间序列为{x(l)，x(l-1)，...，x(1)}。

3.根据权利要求2所述的异常检测方法，其特征在于，在训练过程中，解码器使用x(i)作为输入以获得状态然后预测对应于目标x(i-1)；

4.根据权利要求3所述的异常检测方法，其特征在于，训练过程中，给定时间序列其中t0＝t-w+1表示滑动窗...

【专利技术属性】
技术研发人员：张世鹏，刘靖，
申请(专利权)人：内蒙古大学，
类型：发明
国别省市：