基于预训练模型指导微调的半监督少样本时间序列异常检测与分类的系统和方法技术方案

基于预训练模型指导微调的半监督少样本时间序列异常检测与分类的系统，包括如下模块：数据输入与预处理模块、模型预训练模块、指导微调模块、异常检测模块、模型模块和存储模块；基于预训练模型指导微调的半监督少样本时间序列异常检测与分类的方法，包括如下操作步骤：(1)数据输入与预处理模块对时间序列数据进行预处理；(2)模型模块进行模型预训练；(3)指导微调模块指示模型模块进行指导微调；(4)异常检测模块融合训练好的预训练模型与微调完毕的指导向量，指示模型模块进行异常检测和分类任务。分类任务。分类任务。

【技术实现步骤摘要】
基于预训练模型指导微调的半监督少样本时间序列异常检测与分类的系统和方法


[0001]本专利技术涉及基于预训练模型指导微调的半监督少样本时间序列异常检测与分类的系统和方法，属于信息
，特别是属于网络运维


技术介绍

[0002]网络运维主要包括异常检测，根因定位，故障分类，故障修复等环节，各个环节环环相扣。异常检测属于网络运维的前置工作，旨在发现时间序列数据中的异常或稀有事件。异常检测是监控实体(例如制造系统和互联网服务)的各种状态(即指标)的关键任务，这些状态通常以多变量时间序列或单变量时间序列为特征。在实际工程中，准确检测异常非常重要，其精确率和效率对整个工作流程有重大影响。准确的异常检测可以触发及时的故障排除，保证网络运维后续工作准确和高效的进行。
[0003]目前异常检测的传统方法是领域专家人工为每个监控指标(例如，网络吞吐量、链路拥塞度、CPU利用率等)建立静态阈值，然后利用基于各种极值的分析方法，将具有高异常分数的时间序列数据分类为异常，或者使用聚类和统计分析来检测异常，或者利用快速傅立叶变换来检测具有潜在异常的区域。然而，传统方法面临着适应现实世界中复杂时间序列数据的挑战，随着网络业务和服务器规模的大大增加，上述基于人工的异常检测的成本越来越大，而且存在人力物力成本高、准确率和效率低、准确率和效率低、通用性差等一系列问题。
[0004]综上所述，如何有效解决传统的基于人工的异常检测所存在的上述问题，成为目前网络运维
急需解决的一个技术难题。

技术实现思路

>[0005]有鉴于此，本专利技术的目的是专利技术一种时间序列异常检测与分类的系统和方法，以半监督的方式实现时间序列的异常检测，并保证时间序列异常检测的准确性、效率和通用性。
[0006]为了达到上述目的，本专利技术提出了基于预训练模型指导微调的半监督少样本时间序列异常检测与分类的系统，所述系统包括如下模块：
[0007]数据输入与预处理模块：该模块的功能是对大量的无标签时间序列数据、少样本有标签时间序列数据和待检测的时间序列数据进行预处理；所述的预处理包括但不限于如下操作：数据清洗、特征选择、数据规范化、滑动时间窗口划分；
[0008]所述数据清洗操作是指：对原始序列，删除不合法的数值；
[0009]所述特征选择操作是指：对完成数据清洗的多维时间序列进行特征选择，删除多维时间序列中对任务没有意义序列，包括全0序列、纯平稳序列；
[0010]所述数据规范化操作是指：对特征选择完的时间序列数据进行零均值标准化，即对所述的每个时间序列数据减该时间序列数据的均值，除以该时间序列数据的标准差；
[0011]所述滑动时间窗口划分操作是指：对时间序列数据进行滑动时间窗口划分，使其划分为多个固定大小的时间窗口w，每个时间窗口看做一个向量，多个向量组成一个矩阵；
[0012]模型预训练模块：该模块的功能是向所述的数据输入与预处理模块请求无标签时间序列数据，指示模型模块进行模型预训练；模型模块的模型预训练完毕后，模型预训练模块向存储模块请求保存预训练好的预训练模型，存储模块返回是否保存成功；
[0013]所述的模型预训练包括两种预训练任务，即掩码时间序列建模预训练任务MTM和连续时间序列推断预训练任务CTI；
[0014]所述的掩码时间序列建模预训练任务MTM的内容是：对已经完成预处理的时间序列数据随机掩码一定比例的时间序列数据，掩码时间序列建模预训练任务的训练目标是让模型输出被掩码的时间序列数据；
[0015]所述的连续时间序列推断预训练任务CTI的内容是：训练模型对时间序列数据的推断能力，即判断两个时间序列段是否是来自同一时间序列的连续段；
[0016]在所述的掩码时间序列建模预训练任务MTM中，随机掩码一定比例的时间序列数据是通过构造一个掩码矩阵来实现的，的每个元素m
ij
表示一个布尔掩码，代表第i个时间序列的第j个时间窗口w
ij
是否被掩码，如果时间窗口w
ij
没有被掩码，则m
ij
＝1，否则m
ij
＝0；
[0017]在所述的连续时间序列推断预训练任务CTI中，通过构造一个分割标记矩阵来表示时间序列数据是否需要进行推断任务，分割标记矩阵的每个元素为c
ij
，具体定义如下：c
ij
代表时间窗口w
ij
的位置是否是连续时间序列的分割点，即第i个时间序列的第j个时间窗口w
ij
是否需要进行推断任务；c
ij
＝0代表不需要进行推断任务；c
ij
＝1代表需要进行推断任务；
[0018]所述模型预训练模块在进行模型的预训练时，所采用的总损失函数L
total
定义如下：
[0019]L
total
＝αL
MTM
+(1
‑
α)L
CTI
[0020]上式中，α为比例参数，范围是[0,1]；
[0021]上式中，L
MTM
表示掩码时间序列建模预训练任务的损失函数，L
CTI
表示连续时间序列推断
[0022]预训练任务的损失函数；
[0023]I
MTM
具体定义如下：
[0024][0025]上式中，表示预训练数据集中的无标签时间序列数据的嵌入向量矩阵，ε
j
表示所述的嵌入向量矩阵中的第i个行向量，代表所述无标签时间序列数据的第i个时间窗口w
i
的嵌入向量；E[]代表数学期望，y
ij
表示所述嵌入向量ε
i
内的第j个分量的真实值，表示嵌入向量ε
i
内的第j个分量的掩码重建值；||ε
i
||表示所述嵌入向量ε
i
的长度；
[0026]L
CTI
具体定义如下：
[0027][0028]上式中，y
^
是模型预测样本是正样本的概率；y是样本标签，如果样本属于正样本，取值为1，否则取值为0；E[]代表数学期望。
[0029]指导微调模块：该模块的功能是首先向存储模块请求读取预训练模型，存储模块返回训练好的预训练模型；然后指导微调模块向所述的数据输入与预处理模块请求有标签时间序列数据，指示模型模块进行指导微调；指导微调完毕后，指导微调模块向存储模块请求指导向量的存储，存储模块返回是否保存成功；
[0030]异常检测模块：该模块的功能是首先向所述的数据输入与预处理模块请求待检测的时间序列数据；向存储模块请求读取训练好的预训练模型，存储模块返回训练好的预训练模型；向存储模块请求读取微调完毕的指导向量，存储模块返回微调完毕的指导向量；然后异常检测模块融合所述的训练好的预训练模型与微调完毕的指导向量，指示模型模块进行异常检测和分类任务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于预训练模型指导微调的半监督少样本时间序列异常检测与分类的系统，其特征在于：所述系统包括如下模块：数据输入与预处理模块：该模块的功能是对大量的无标签时间序列数据、少样本有标签时间序列数据和待检测的时间序列数据进行预处理；所述的预处理包括但不限于如下操作：数据清洗、特征选择、数据规范化、滑动时间窗口划分；所述数据清洗操作是指：对原始序列，删除不合法的数值；所述特征选择操作是指：对完成数据清洗的多维时间序列进行特征选择，删除多维时间序列中对任务没有意义序列，包括全0序列、纯平稳序列；所述数据规范化操作是指：对特征选择完的时间序列数据进行零均值标准化，即对所述的每个时间序列数据减该时间序列数据的均值，除以该时间序列数据的标准差；所述滑动时间窗口划分操作是指：对时间序列数据进行滑动时间窗口划分，使其划分为多个固定大小的时间窗口w，每个时间窗口看做一个向量，多个向量组成一个矩阵；模型预训练模块：该模块的功能是向所述的数据输入与预处理模块请求无标签时间序列数据，指示模型模块进行模型预训练；模型模块的模型预训练完毕后，模型预训练模块向存储模块请求保存预训练好的预训练模型，存储模块返回是否保存成功；所述的模型预训练包括两种预训练任务，即掩码时间序列建模预训练任务MTM和连续时间序列推断预训练任务CTI；所述的掩码时间序列建模预训练任务MTM的内容是：对已经完成预处理的时间序列数据随机掩码一定比例的时间序列数据，掩码时间序列建模预训练任务的训练目标是让模型输出被掩码的时间序列数据；所述的连续时间序列推断预训练任务CTI的内容是：训练模型对时间序列数据的推断能力，即判断两个时间序列段是否是来自同一时间序列的连续段；在所述的掩码时间序列建模预训练任务MTM中，随机掩码一定比例的时间序列数据是通过构造一个掩码矩阵来实现的，的每个元素m
ij
表示一个布尔掩码，代表第i个时间序列的第j个时间窗口w
ij
是否被掩码，如果时间窗口w
ij
没有被掩码，则m
ij
＝1，否则m
ij
＝0；在所述的连续时间序列推断预训练任务CTI中，通过构造一个分割标记矩阵来表示时间序列数据是否需要进行推断任务，分割标记矩阵的每个元素为c
ij
，具体定义如下：c
ij
代表时间窗口w
ij
的位置是否是连续时间序列的分割点，即第i个时间序列的第j个时间窗口w
ij
是否需要进行推断任务；c
ij
＝0代表不需要进行推断任务；c
ij
＝1代表需要进行推断任务；所述模型预训练模块在进行模型的预训练时，所采用的总损失函数L
total
定义如下：L
total
＝αL
MTM
+(1
‑
α)L
CTI
上式中，α为比例参数，范围是[0,1]；上式中，L
MTM
表示掩码时间序列建模预训练任务的损失函数，L
CTI
表示连续时间序列推断预训练任务的损失函数；L
MTM
具体定义如下：
上式中，表示预训练数据集中的无标签时间序列数据的嵌入向量矩阵，ε
i
表示所述的嵌入向量矩阵中的第i个行向量，代表所述无标签时间序列数据的第i个时间窗口w
i
的嵌入向量；E[]代表数学期望，y
ij
表示所述嵌入向量ε
i
内的第j个分量的真实值，表示嵌入向量ε
i
内的第j个分量的掩码重建值；||ε
i
||表示所述嵌入向量ε
i
的长度；L
CTI
具体定义如下：上式中，y^是模型预测样本是正样本的概率；y是样本标签，如果样本属于正样本，取值为1，否则取值为0；E[]代表数学期望；指导微调模块：该模块的功能是首先向存储模块请求读取预训练模型，存储模块返回训练好的预训练模型；然后指导微调模块向所述的数据输入与预处理模块请求有标签时间序列数据，指示模型模块进行指导微调；指导微调完毕后，指导微调模块向存储模块请求指导向量的存储，存储模块返回是否保存成功；异常检测模块：该模块的功能是首先向所述的数据输入与预处理模块请求待检测的时间序列数据；向存储模块请求读取训练好的预训练模型，存储模块返回训练好的预训练模型；向存储模块请求读取微调完毕的指导向量，存储模块返回微调完毕的指导向量；然后异常检测模块融合所述的训练好的预训练模型与微调完毕的指导向量，指示模型模块进行异常检测和分类任务；检测完毕后输出异常检测和分类的结果；模型模块：该模块的功能是：根据所述的模型预训练模块的指令，执行模型的预训练操作；根据所述的指导微调模块的指令，执行指导微调的操作；根据所述的异常检测模块的指令，执行异常检测的操作；所述的模型模块由编码器网络、解码器网络构成；所述的编码器网络由一个嵌入编码子层和N
E
个编码器块堆叠而成；所述的解码器网络由一个嵌入编码子层和N
D
个解码器块堆叠而成；所述的编码器网络的嵌入编码子层和所述的解码器网络的嵌入编码子层结构完全相同；存储模块：该模块的功能是负责存储预训练好的预训练模型和微调完毕的指导向量。2.根据权利要求1所述的基于预训练模型指导微调的半监督少样本时间序列异常检测与分类的系统，其特征在于：所述的嵌入编码子层的功能是为输入数据生成嵌入矩阵与分类的系统，其特征在于：所述的嵌入编码子层的功能是为输入数据生成嵌入矩阵的每个元素为e
ij
，表示所述嵌入矩阵的第i个行向量ε
i
的第j个分量；的第j个分量；的第j个分量；其中，表示由参数为θ
emb
的卷积神经网络对输入数据所生成的嵌入矩阵的第i个行向量的第j个分量；表示所述的嵌入编码子层的输入，对于所述的编码器网络，其中
⊙
表示对时间序列数据进行掩码操作，表示时间序列数据，表示掩码矩阵和表示分割标记矩阵，对于所述的解码器网络，其中表示所述解码器网络从时刻1到时刻t
‑
1的输出；p
ij
表示第i个时间窗口的第j个分量的位置编码，d
model
代表所述嵌入编码子层的输入数据的维度，等于输入数据的时间窗口的大小|w|；
d
emb
表示生成的嵌入向量的维度。3.根据权利要求1所述的基于预训练模型指导微调的半监督少样本时间序列异常检测与分类的系统，其特征在于：所述的编码器网络的编码器块的功能是学习每个时间序列数据有意义的表示，将时间序列数据的嵌入矩阵编码为隐藏表示空间中的特征向量H
en
，使所述的解码器网络能够进行MTM任务和CTI任务，并且为后续的异常检测和分类任务做准备；所述的特征向量H
en
公式如下：上式中，Encoders()表示所述的编码器网络的N
E
个编码器块；所述的编码器块主要由三部分组成：多头多尺度注意力子层、多尺度注意力融合子层、前馈全连接子层；在所述的多尺度注意力融合子层和所述的前馈全连接子层后都进行残差和归一化；所述的解码器网络的功能是执行所述的MTM任务、CTI任务和异常检测和分类任务；解码器网络的输入为所述嵌入编码子层为解码器网络生成的嵌入矩阵和所述编码器网络输出的对时间序列数据编码生成的特征向量H
en
，解码器网络时刻t的输出为：上式中，Decoders()表示所述的解码器网络的N
D
个解码器块；所述的解码器块主要由四部分组成：掩码多头多尺度注意力子层、多尺度注意力融合子层、多头注意力子层和前馈全连接子层；在所述的掩码多头多尺度注意力子层、多尺度注意力融合子层和前馈全连接子层后都进行残差和归一化；所述的编码器块和解码器块中的前馈全连接子层结构完全相同，均采用全连接线性神经网络，由两个线性变换组成，中间使用ReLU函数激活；公式如下：其中，x1表示前馈全连接子层的输入，b1、b2是可学习的参数；所述的编码器块和解码器块中的残差和归一化操作的具体内容是：残差连接是将输入数据x2直接馈送到子层模块，防止过多堆叠模块层数导致过拟合和学习失败；归一化采用层归一化，只是在层的维度进行归一化；残差和归一化的总体公式为：Res&Norm(x2)＝LayerNorm(x2+Sublayer(x2))其中，Res&Norm(x2)表示残差和归一化操作的结果；LayerNorm()表示层归一化；Sublayer(x2)表示子层模块的输出。4.根据权利要求3所述的基于预训练模型指导微调的半监督少样本时间序列异常检测与分类的系统，其特征在于：所述的多头多尺度注意力子层和掩码多头多尺度注意力子层具有相同的结构，均包括高斯核注意力单元、多头可解释指导注意力单元和图注意力单元；所述的多头多尺度注意力子层和掩码多头多尺度注意力子层均从小、中和大三个尺度对时间序列数据进行处理，即：使用所述的高斯核注意力单元对时间序列数据窗口内的小尺度时间序列数据进行处理，得到结果使用多头可解释指导注意力单元对时间序列数据窗口间的中尺度的时间序列数据进行处理，得到结果使用图注意力单元对时间序列
数据间的大尺度时间序列数据进行处理，得到结果所述的高斯核注意力单元对时间序列数据窗口内的小尺度时间序列进行处理的具体内容是：内容是：内容是：上式中，[α

【专利技术属性】
技术研发人员：戚琦，王兴宇，王程森，王敬宇，张磊，王晶，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：