一种多维时序数据异常检测方法和系统技术方案

本发明专利技术提供的一种多维时序数据异常检测方法和系统，通过Transformer的自注意力机制捕获时间序列之间的相关性，减轻了时间序列的维数和关系紧密程度对模型性能的影响。并且，本发明专利技术采用了时序位置编码函数、周期位置编码函数、绝对位置编码等的全局位置编码，能够更好的捕获序列中的长期相关性。本发明专利技术还通过融合多个时间尺度的特征，弥补了数据在升维的过程中丢失的细节信息，从而获得了更加强大的特征表达，能够学习到更鲁棒更深层的局部特征。进一步，本发明专利技术采用的异常检测模型中的特殊残差结构，能够较好的缓解变分自编码器的散度消失问题，提高了模型生成能力的下限。提高了模型生成能力的下限。提高了模型生成能力的下限。

【技术实现步骤摘要】
一种多维时序数据异常检测方法和系统


[0001]本专利技术涉及时序数据异常检测
，特别是涉及一种多维时序数据异常检测方法和系统。

技术介绍

[0002]卫星是由许多相互关联、相关协作的设备组成的复杂系统，其造价昂贵且对国家有着重要的战略意义。由于卫星长期处于恶劣的外层空间环境中，其在轨运行期间可能会出现不可预见的异常或故障，因此及时有效的异常检测可以确保卫星的长期稳定运行。
[0003]异常检测问题一直是数据挖掘领域的热点问题。在实际的生产过程中，具有标签的数据往往很难获得，因此异常检测大多基于无监督方法。根据时间序列的数量，可以将现有的异常检测方法分为单变量时间序列异常检测方法和多变量时间序列异常检测方法。由于卫星结构复杂，传感器众多，因此单变量时间序列异常检测很难适用于卫星设备。
[0004]遥测数据是安装在卫星各个部件的传感器采集到的卫星在轨运行数据。地面人员通过分析遥测数据对卫星进行异常检测，实时监控卫星的运行状态。因此，卫星遥测数据作为典型的多变量时间序列数据一直是异常检测领域重要的研究对象。
[0005]根据异常检测方法的原理，可以将现有的异常检测方法分为基于机器学习的异常检测方法和基于深度学习的异常检测方法。基于机器学习的异常检测方法包括：1)基于线性模型的方法、2)基于距离的方法、3)基于概率和密度估计的方法和4)基于离群点划分的方法等。尽管基于机器学习的异常检测方法可解释性好，但该类方法需要依靠专家经验对遥测数据建立复杂的特征工程。随着技术的发展和算力的提高，基于深度学习的异常检测方法开始受到广泛关注。
[0006]由于循环神经网络特殊的网络结构，使得该类异常检测方法能够捕获时间序列数据中的长期依赖关系，因而受到广泛的研究。虽然此类方法在异常检测领域取得了较为出色的成绩，但并没有考虑到不同时间序列之间的相关性。所以此类方法在建模具有序列潜在相关性的卫星遥测数据时，效果并不理想。针对这一缺陷，研究者们考虑使用图神经网络来捕获时间序列之间的潜在相关性。该类异常检测方法将数据的每个时间序列视为图上的一个特征节点，通过构建特征节点关系图提取多变量时间序列数据的潜在相关性。与循环神经网络相比，基于图神经网络的异常检测方法有效利用了变量之间的相关性信息，提高了异常检测的准确率。但此类方法的性能过于依赖特征节点关系图的大小，当构建的特征节点关系图过于稀疏或图中的特征节点数目过少，将会造成该类方法性能的瓶颈。从而导致该类方法的异常检测效果甚至不如没有考虑潜在相关性的多变量异常检测方法。

技术实现思路

[0007]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于Transformer变分自编码器的多维时序数据异常检测方法和系统。
[0008]为实现上述目的，本专利技术提供了如下方案：
[0009]一种多维时序数据异常检测方法，包括：
[0010]将待检测卫星遥测数据输入至训练好的异常检测模型中，得到各时刻的重构误差；所述异常检测模型包括：时序位置编码函数、周期位置编码函数、绝对位置编码、一维卷积、一维转置卷积和Transformer变分自编码器；
[0011]采用加权移动平均法对所述重构误差进行平滑处理，得到平滑误差；
[0012]当所述平滑误差超过阈值范围时，判定为所述待检测卫星遥测数据存在异常，并记录异常时间点。
[0013]优选地，所述异常检测模型的训练过程包括：
[0014]采用时序位置编码函数、周期位置编码函数和绝对位置编码确定所述卫星遥测数据的编码附加数据；所述编码附加数据包括：时序编码向量、周期编码向量和附加卫星遥测数据；
[0015]采用一维卷积和一维转置卷积在时间维度上对所述卫星遥测数据进行卷积和上采样处理，得到多个时间尺度特征；
[0016]融合多个所述时间尺度特征得到融合特征；
[0017]融合所述编码附加数据和所述融合特征得到融合输入信息；
[0018]将所述融合输入信息输入至Transformer变分自编码器，得到编码后的隐空间向量及所述隐空间向量的后验分布；
[0019]对所述编码后的隐空间向量进行解码得到重构结果；
[0020]确定所述重构结果与所述卫星遥测数据间的误差得到重构误差；
[0021]根据所述重构误差、所述隐空间向量的后验分布和标准正态分布与后验分布的KL离散度构造损失函数；
[0022]采用样本训练集基于所述损失函数对Transformer变分自编码器进行训练，得到训练好的异常检测模型。
[0023]优选地，所述采用时序位置编码函数、周期位置编码函数和绝对位置编码确定所述卫星遥测数据的编码附加数据，具体包括：
[0024]采用时序位置编码函数对卫星遥测数据的时间戳信息进行分解和编码得到时序编码向量；
[0025]采用傅里叶变换分析所述卫星遥测数据得到周期信息；
[0026]采用周期位置编码函数对所述周期信息进行编码得到周期编码向量；
[0027]采用绝对位置编码将所述卫星遥测数据中的局部位置信息附加至所述卫星遥测数据形成附加卫星遥测数据。
[0028]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0029]本专利技术提供的多维时序数据异常检测方法，通过Transformer的自注意力机制捕获时间序列之间的相关性，减轻了时间序列的维数和关系紧密程度对模型性能的影响。并且，本专利技术采用了时序位置编码函数、周期位置编码函数、绝对位置编码等的全局位置编码，能够更好的捕获序列中的长期相关性。本专利技术还通过融合多个时间尺度的特征，弥补了数据在升维的过程中丢失的细节信息，从而获得了更加强大的特征表达，能够学习到更鲁棒更深层的局部特征。进一步，本专利技术采用的异常检测模型中的特殊残差结构，能够较好的缓解变分自编码器的散度消失问题，提高了模型生成能力的下限。此外，本专利技术经过扩展
后，还可以用于其他多传感器机械设备的异常检测。
[0030]此外，对应于上述提供的多维时序数据异常检测方法，还提供了两种多维时序数据异常检测系统，其中一种多维时序数据异常检测系统包括：
[0031]重构误差确定模块，用于将待检测卫星遥测数据输入至训练好的异常检测模型中，得到各时刻的重构误差；所述异常检测模型包括：时序位置编码函数、周期位置编码函数、绝对位置编码、一维卷积、一维转置卷积和Transformer变分自编码器；
[0032]平滑误差确定模块，用于采用加权移动平均法对所述重构误差进行平滑处理，得到平滑误差；
[0033]异常检测模块，用于当所述平滑误差超过阈值范围时，判定为所述待检测卫星遥测数据存在异常，并记录异常时间点。
[0034]优选地，还包括异常检测模型训练模块；所述异常检测模型训练模块包括：
[0035]编码附加数据确定单元，用于采用时序位置编码函数、周期位置编码函数和绝对位置编码确定所述卫星遥测数据的编码附加数据；所述编码附加数据包括：时序编码向量、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多维时序数据异常检测方法，其特征在于，包括：将待检测卫星遥测数据输入至训练好的异常检测模型中，得到各时刻的重构误差；所述异常检测模型包括：时序位置编码函数、周期位置编码函数、绝对位置编码、一维卷积、一维转置卷积和Transformer变分自编码器；采用加权移动平均法对所述重构误差进行平滑处理，得到平滑误差；当所述平滑误差超过阈值范围时，判定为所述待检测卫星遥测数据存在异常，并记录异常时间点。2.根据权利要求1所述的多维时序数据异常检测方法，其特征在于，所述异常检测模型的训练过程包括：采用时序位置编码函数、周期位置编码函数和绝对位置编码确定所述卫星遥测数据的编码附加数据；所述编码附加数据包括：时序编码向量、周期编码向量和附加卫星遥测数据；采用一维卷积和一维转置卷积在时间维度上对所述卫星遥测数据进行卷积和上采样处理，得到多个时间尺度特征；融合多个所述时间尺度特征得到融合特征；融合所述编码附加数据和所述融合特征得到融合输入信息；将所述融合输入信息输入至Transformer变分自编码器，得到编码后的隐空间向量及所述隐空间向量的后验分布；对所述编码后的隐空间向量进行解码得到重构结果；确定所述重构结果与所述卫星遥测数据间的误差得到重构误差；根据所述重构误差、所述隐空间向量的后验分布和标准正态分布与后验分布的KL离散度构造损失函数；采用样本训练集基于所述损失函数对Transformer变分自编码器进行训练，得到训练好的异常检测模型。3.根据权利要求1所述的多维时序数据异常检测方法，其特征在于，所述采用时序位置编码函数、周期位置编码函数和绝对位置编码确定所述卫星遥测数据的编码附加数据，具体包括：采用时序位置编码函数对卫星遥测数据的时间戳信息进行分解和编码得到时序编码向量；采用傅里叶变换分析所述卫星遥测数据得到周期信息；采用周期位置编码函数对所述周期信息进行编码得到周期编码向量；采用绝对位置编码将所述卫星遥测数据中的局部位置信息附加至所述卫星遥测数据形成附加卫星遥测数据。4.一种多维时序数据异常检测系统，其特征在于，包括：重构误差确定模块，用于将待检测卫星遥测数据输入至训练好的异常检测模型中，得到各时刻的重构误差；所述异常检测模型包括：时序位置编码函数、周期位置编码函数、绝对位置编码、一维卷积、一维转置卷积和Transformer变分自编码器；平滑误差确定模块，...

【专利技术属性】
技术研发人员：皮德常，王熙玄，刘昊，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：