【技术实现步骤摘要】
本专利技术属于时序数据分析，具体涉及一种用于无监督时间序列异常检测的多重校准单分类方法。
技术介绍
1、近年来，随着工业物联网(lot)技术的高速发展，大量传感器设备被应用于包括医疗保健、网络安全、工业控制系统在内的多个应用领域，为人类生产生活提供了更便捷的服务。但这同样引起了人们对时间序列异常检测(tsad)技术的关注，一旦如此复杂的智能系统发生故障，那么它所带来的损失是无法估量的。作为数据挖掘与分析领域的一个重要应用，异常检测可以有效从大规模监测数据中发现潜在的异常模式，这对于避免经济损失和降低安全隐患具有非常大的现实意义。然而，由于异常在现实场景中的罕见性，异常点往往容易被大量的正常数据点所掩盖，这进一步增加了数据标注工作的成本与难度。因此，当前的研究通常将时间序列异常检测视为一项无监督学习任务。
2、传统时间序列异常检测方法大致可分为四类：基于重建的方法、基于聚类的方法、基于单类学习的方法和基于自回归的方法。基于重建的方法假设异常具有更高的重建误差，通过训练编码器-解码器结构，对正常数据进行学习拟合，以发现未标记数据中的异常。例如，pankaj等人以lstm模型作为基础的编码器-解码器结构学习正常数据的分布。daehyung等人将变分自编码器vae与循环神经网络lstm相结合，实现了对变量维度和时间维度信息的捕获。基于聚类的方法将数据按照某种规律划分为若干个簇，其中不属于任何簇或者簇内非常稀疏的数据点被视为异常。这类方法通过高斯混合模型、k均值和核密度估计器(kde)对不同的数据样本进行聚类，并通过密度估计检
3、最近，得益于人工智能技术的快速发展，基于深度学习的神经网络模型开始被提出以解决时间序列数据的异常检测问题。另一方面，大量可利用数据的出现为以“数据驱动”为核心的深度学习技术提供了良好的发展契机，进一步推动了基于深度学习的时间序列异常检测方法的发展。现有的深度时间序列异常检测方法可大致分为以下两类：
4、(1)基于重构的异常检测方法
5、基于重构的时间序列异常检测方法是一类简单且有效的范式，它基于编码器与解码器结构对原始输入进行重构。其中，编码器将时间序列数据映射至特征空间来获得其低维特征表示，解码器再根据降维后的特征表示以重构原始输入。这种方法的异常检测方式是通过计算重构误差来判断一个数据点是否为异常值。如果重构误差超过了预定的阈值，则认为该数据点为异常值。基于重构的时间序列异常检测方法可以有效地检测出突发性异常值，而且它的复杂度较低，因此在实际应用中具有较高的效率和可靠性。sakurada等人提出了一种基于自动编码器的异常检测模型，它仅学习正常数据的重建模式，因此，当异常数据出现时，模型的重构误差将被大幅度增大，以此来为异常识别提供基准。malhotra等人提出了一种基于lstm的重建模型用于多传感器异常检测，尽管lstm表现出了良好的性能，但是它忽略了空间维度的相关性。zhang等人提出了一种多尺度卷积循环编码器，它开发了一种基于注意力的卷积长短时记忆网络(convlstm)来捕获时间模式，弥补了空间维度上特征信息的缺失。
6、此外，由于transformer在自然语言处理领域和计算机视觉领域取得的巨大成功，研究人员对transformer在时间序列领域的应用表示出极大的兴趣。tuli等人利用transformer来对时间序列数据中的长期趋势进行建模，并通过使用元学习、对抗策略和自调节机制来提高异常检测性能。xu等人基于transformer提出了一种新的异常评分策略，充分利用了transformer在捕获长期依赖性方面的优异性能。该策略通过比较数据点的局部关联差异与全局关联差异来进行异常检测，获得了比其他深度学习模型更高的性能。
7、(2)基于预测的异常检测方法
8、基于预测的异常检测方法旨在利用历史数据来预测未来的数据点或一段连续的序列值，并将这些预测与实际观察到的数据进行比较，如果预测值与实际观测值之间存在显著差异，则认为该数据点可能是异常的。长短期记忆网络(lstm)是一种常用的时序建模方法，由于其优异的长短期时间依赖性捕获能力，因此被广泛应用于时间序列预测任务，ergen等人提出了一种基于lstm的无监督时间序列异常检测方法，这种方法由于使用了lstm架构，因此可以处理任意长度的输入序列。同时引入的两种优化方法(基于梯度的优化方法和基于二次规划的优化方法)，使得lstm架构和oc-svm(或svdd)的参数能够被联合优化以获得更好的性能。lu等人基于循环神经网络(rnn)对下一个时间段的值进行预测，并将异常定义为具有高预测误差的数据对象。
9、无监督时间序列异常检测的挑战在于：(1)训练样本潜在的异常污染。在异常检测任务中，训练数据总是被直接假设为完全正常的数据集合。然而，由于数据收集环境的复杂性和标注异常的困难性，获得完全干净的数据集成为一项几乎不可能完成的任务。这些潜在的异常污染将诱导模型选择了错误的学习目标，从而干扰正态特征的有效学习，产生严重的过拟合。(2)异常先验知识的缺失。现有的方法致力于设计更先进的神经网络结构或更优的学习目标，来提高正常特征的学习质量。然而，他们忽略了异常先验知识在单类学习中的重要性。在不了解真实异常的情况下，模型无法准确的界定正常数据的具体范围，因此容易过度自信的将不同于训练数据的样本直觉地归类为异常。然而，对于复杂的时间序列数据，正常样本可能具有多种表现形式，因此这将直接导致模型构造了一个不准确且具有偏差的正态边界，从而影响泛化性能和鲁棒性。
10、现有的无监督时间序列异常检测方法假设训练数据集由正常数据所主导，通过重建原始输入或预测未来数据的方式，来建模训练样本的正常行为或模式，以发现未知异常。然而，由于时序数据收集环境的复杂性和标注数据的困难性，使得获得完全干净的训练数据集(无异常)成为一项难以完成的任务。这导致这些单类学习方法容易受到潜在的异常污染影响，选择了错误的学习目标，使得正态特征的学习过程产生偏差，从而影响了正常样本的学习质量。此外，异常先验知识的缺失使得模型学习了一个不本文档来自技高网...
【技术保护点】
1.一种用于无监督时间序列异常检测的多重校准单分类方法，其特征在于，包括基于自适应重建的校准、基于增强不确定性建模的校准和基于记忆模块的异常注入校准；其中，基于自适应重建的校准，通过惩罚具有高度离群特征的样本以校准重建目标；基于增强不确定性建模的校准，将不确定性建模与时序数据增强相结合，通过建模成对样本即原始时间序列与增强时间序列来自适应惩罚具有高度不确定性的预测；基于记忆模块的异常注入校准，引入人工异常样本来校准不准确且具有偏见的正态边界，并引入记忆模块来避免异常信息的错误泛化。
2.根据权利要求1所述的用于无监督时间序列异常检测的多重校准单分类方法，其特征在于，所述基于自适应重建的校准具体实现如下：
3.根据权利要求1所述的用于无监督时间序列异常检测的多重校准单分类方法，其特征在于，所述基于增强不确定性建模的校准具体实现如下：
4.根据权利要求3所述的用于无监督时间序列异常检测的多重校准单分类方法，其特征在于，所述基于记忆模块的异常注入校准具体实现如下：
5.根据权利要求3所述的用于无监督时间序列异常检测的多重校准单分类方法，其
6.根据权利要求4所述的用于无监督时间序列异常检测的多重校准单分类方法，其特征在于，该方法使用模型的不确定性来定义数据的异常程度：
...【技术特征摘要】
1.一种用于无监督时间序列异常检测的多重校准单分类方法，其特征在于，包括基于自适应重建的校准、基于增强不确定性建模的校准和基于记忆模块的异常注入校准；其中，基于自适应重建的校准，通过惩罚具有高度离群特征的样本以校准重建目标；基于增强不确定性建模的校准，将不确定性建模与时序数据增强相结合，通过建模成对样本即原始时间序列与增强时间序列来自适应惩罚具有高度不确定性的预测；基于记忆模块的异常注入校准，引入人工异常样本来校准不准确且具有偏见的正态边界，并引入记忆模块来避免异常信息的错误泛化。
2.根据权利要求1所述的用于无监督时间序列异常检测的多重校准单分类方法，其特征在于，所...
【专利技术属性】
技术研发人员：李佐勇，胡蓉，陈泽健，樊好义，曹新容，
申请(专利权)人：闽江学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。