一种无监督域适应的多元时序数据异常检测方法技术

本发明专利技术公开了一种无监督域适应的多元时序数据异常检测方法，步骤如下：离线训练阶段通过预测任务和重构任务组成的无监督多任务学习框架训练骨干网络；将训练集多元时序数据输入骨干网络，并依次进行域适应窗口归一化、显著异常误差集合扫描、POT阈值选择操作确认最优阈值；在线检测阶段，将待测多元时序数据输入骨干网络，并依次进行域适应窗口归一化、显著异常误差集合扫描操作得到异常分数和显著异常误差集合，将异常分数与最优阈值进行比较输出异常检测结果。本发明专利技术提出的无监督域适应多元时序数据异常检测方法解决了多元时序数据异常检测的域漂移问题，同时具有模型轻量，性能优越，解释性好的优点。解释性好的优点。解释性好的优点。

【技术实现步骤摘要】
一种无监督域适应的多元时序数据异常检测方法


[0001]本专利技术涉及信号处理及异常检测
，具体涉及一种无监督域适应的多元时序数据异常检测方法。

技术介绍

[0002]许多现实世界的设备，如服务器、航天器和汽车发动机，都配备了大量的传感器，可以收集多元时间序列的状态信号。时间序列上的自动异常检测可以及时发现异常并向操作员发出警报，以防止无法挽回的损失。随着大型设备的发展，传感器数量的增加给多元时序数据异常的有效检测带来了更多挑战。传统的基于距离、聚类或者分类的方法无法很好地建模复杂的多元时序数据，检测效果不佳。目前多数方法基于深度学习来对多元时序数据进行建模，例如使用循环神经网络来捕捉时序特征，然后通过预测结果和真实结果的误差作为异常分数；或者通过生成对抗网络来强化预测结果的鲁棒性；还有一些工作则通过使用图神经网络来建模变量间的关系从而增加预测结果的准确性。上述方法在异常检测过程中需要学习一个异常的决策阈值，当给出的异常分数大于决策阈值时，则可以判断该时刻为异常。但是，由于现实生活中多元时序数据的动态性和复杂性，导致训练集和测试集的异常分数分布有很大的差异，如果研究者将训练集上的决策阈值泛化到测试集时，检测性能会出现大幅度下滑，这也被称为域漂移问题，该问题存在于现有大多数方法中。同时，现实生活中缺少有标签数据集且数据标注成本巨大，基于深度学习方法模型复杂且可解释性弱也是多元时序数据异常检测的主要挑战。

技术实现思路

[0003]本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种无监督域适应的多元时序数据异常检测方法，通过无监督多任务学习框架训练骨干网络，解决多元时序数据缺少标签且数据标注成本巨大的问题；提出一种新的域适应窗口归一化方法来减少异常分数在训练集和测试集间的分布差异，解决了域漂移问题，有效提高检测模型泛化能力；同时利用非参数统计扫描方法来选择显著异常误差子集，减少了动态噪音的副作用，突出了时序数据显著异常部分，从而带来更好的检测效果和解释性。
[0004]本专利技术的目的可以通过采取如下技术方案达到：
[0005]一种无监督域适应的多元时序数据异常检测方法，所述多元时序数据异常检测方法包括下列步骤：
[0006]S1、离线训练阶段，离线对服务器、航天器和汽车发动机在内的设备上设置的传感器采集信号得到训练集多元时序数据，对训练集多元时序数据进行预处理，并将预处理后的数据输入骨干网络中，骨干网络中首先通过扩张卷积自编码器提取深度时序特征，然后将深度时序特征分别输入预测网络和重构网络得到预测结果和重构结果，通过预测任务和重构任务组成的无监督多任务学习框架训练骨干网络；
[0007]S2、将S1中经过预处理的训练集多元时序数据输入训练完成的骨干网络得到预测
结果和重构结果，并将结果与真实值计算误差得到预测误差和重构误差，将预测误差和重构误差依次进行域适应窗口归一化操作和显著异常误差集合扫描操作，得到训练集异常分数，将训练集异常分数进行POT阈值选择操作得到最优阈值；
[0008]S3、在线检测阶段，将待测多元时序数据进行预处理后输入训练完成的骨干网络得到预测结果和重构结果，并将结果与真实值计算误差得到预测误差和重构误差，将预测误差和重构误差依次进行域适应窗口归一化和显著异常误差集合扫描操作得到显著异常误差集合和异常分数，将异常分数和S2中的最优阈值进行比较输出异常检测结果。
[0009]进一步地，所述步骤S1过程如下：
[0010]S11、将训练集多元时序数据进行去噪和归一化处理，得到处理后的训练集多元时序数据x，将训练集多元时序数据x处理为训练集多元时序窗口数据X，表达式为：
[0011]x＝{x1,x2,...x
t
,...,x
M
},x
t
∈R
k
[0012]X＝{X1,X2,...X
t
,...,X
M
}
[0013]X
t
＝[x
t
‑
T
,x
t
‑
T+1
,
…
,x
t
‑1]∈R
k
×
T
[0014]式中，M表示训练集多元时序数据的时刻总数，k表示多元时序数据的特征维度，R表示实数域，x
t
表示t时刻的训练集多元时序数据，T表示任意时刻多元时序窗口数据的长度，X
t
为t时刻的训练集多元时序窗口数据，包含从t
‑
T时刻到t
‑
1时刻的训练集多元时序数据；
[0015]S12、对训练集多元时序数据中每一个t时刻，将X
t
输入扩张卷积自编码器中，提取t时刻的深度时序特征Z
t
＝[z
t
‑
T
,z
t
‑
T+1
,
…
,z
t
‑1]，扩张卷积自编码器由L层依次连接的TemporalBlock组成，TemporalBlock从输入层到输出层依次连接为：扩张卷积层Conv1d
‑
1，扩张卷积层Conv1d
‑
2，填充层Chomp1d
‑
3，填充层Chomp1d
‑
4，BN层BatchNorm1d
‑
5，BN层BatchNorm1d
‑
6，ReLU层ReLU
‑
7，ReLU层ReLU
‑
8，Dropout层Dropout
‑
9，Dropout层Dropout
‑
10，扩张卷积层Conv1d
‑
11，扩张卷积层Conv1d
‑
12，填充层Chomp1d
‑
13，填充层Chomp1d
‑
14，BN层BatchNorm1d
‑
15，BN层BatchNorm1d
‑
16，ReLU层ReLU
‑
17，ReLU层ReLU
‑
18，Dropout层Dropout
‑
19，Dropout层Dropout
‑
20，ReLU层ReLU
‑
21；
[0016]进一步地，步骤S12扩张卷积自编码器中的扩张卷积在2015年由Yu和Koltun在论文《Multi
‑
Scale Context Aggregation by Dilated Convolutions》中提出，是卷积相关
中一项重要专利技术，主要用于语音识别，计算机视觉，序列建模等领域。扩张卷积在标准的卷积核中注入空洞，以此来增加模型的感受野。相比原来的正常卷积操作，除了卷积核大小，步长和填充外，扩张卷积多了一个扩张因子，扩张因子定义了卷积核本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无监督域适应的多元时序数据异常检测方法，其特征在于，所述多元时序数据异常检测方法包括下列步骤：S1、离线训练阶段，离线对服务器、航天器和汽车发动机在内的设备上设置的传感器采集信号得到训练集多元时序数据，对训练集多元时序数据进行预处理，并将预处理后的数据输入骨干网络中，骨干网络中首先通过扩张卷积自编码器提取深度时序特征，然后将深度时序特征分别输入预测网络和重构网络得到预测结果和重构结果，通过预测任务和重构任务组成的无监督多任务学习框架训练骨干网络；S2、将S1中经过预处理的训练集多元时序数据输入训练完成的骨干网络得到预测结果和重构结果，并将结果与真实值计算误差得到预测误差和重构误差，将预测误差和重构误差依次进行域适应窗口归一化操作和显著异常误差集合扫描操作，得到训练集异常分数，将训练集异常分数进行POT阈值选择操作得到最优阈值；S3、在线检测阶段，将待测多元时序数据进行预处理后输入训练完成的骨干网络得到预测结果和重构结果，并将结果与真实值计算误差得到预测误差和重构误差，将预测误差和重构误差依次进行域适应窗口归一化和显著异常误差集合扫描操作得到显著异常误差集合和异常分数，将异常分数和S2中的最优阈值进行比较输出异常检测结果。2.根据权利要求1所述的一种无监督域适应的多元时序数据异常检测方法，其特征在于，所述步骤S1过程如下：S11、将训练集多元时序数据进行去噪和归一化处理，得到处理后的训练集多元时序数据x，将训练集多元时序数据x处理为训练集多元时序窗口数据X，表达式为：x＝{x1，x2，
…
x
t
，
…
，x
M
}，x
t
∈R
k
X＝{X1，X2，
…
X
t
，
…
，X
M
}X
t
＝[x
t
‑
T
，x
t
‑
T+1
，
…
，x
t
‑1]∈R
k
×
T
式中，M表示训练集多元时序数据的时刻总数，k表示多元时序数据的特征维度，R表示实数域，x
t
表示t时刻的训练集多元时序数据，T表示任意时刻多元时序窗口数据的长度，X
t
为t时刻的训练集多元时序窗口数据，包含从t
‑
T时刻到t
‑
1时刻的训练集多元时序数据；S12、对训练集多元时序数据中每一个t时刻，将X
t
输入扩张卷积自编码器中，提取t时刻的深度时序特征Z
t
＝[z
t
‑
T
，z
t
‑
T+1
，...，z
t
‑1]，扩张卷积自编码器由L层依次连接的TemporalBlock组成，TemporalBlock从输入层到输出层依次连接为：扩张卷积层Convld
‑
1，扩张卷积层Conv1d
‑
2，填充层Chomp1d
‑
3，填充层Chomp1d
‑
4，BN层BatchNormld
‑
5，BN层BatchNorm1d
‑
6，ReLU层ReLU
‑
7，ReLU层ReLU
‑
8，Dropout层Dropout
‑
9，Dropout层Dropout
‑
10，扩张卷积层Convld
‑
11，扩张卷积层Convld
‑
12，填充层Chompld
‑
13，填充层Chompld
‑
14，BN层BatchNormld
‑
15，BN层BatchNorm1d
‑
16，ReLU层ReLU
‑
17，ReLU层ReLU
‑
18，Dropout层Dropout
‑
19，Dropout层Dropout
‑
20，ReLU层ReLU
‑
21；S13、将Z
t
中t
‑
1时刻的深度时序特征z
t
‑1作为预测网络的输入，同时将z
t
‑1复制T份作为重构网络的输入，得到t时刻的预测结果和重构多元时序窗口数据和重构多元时序窗口数据中包含从t
‑
T时刻到t
‑
1时刻的重构结果，其中预测网络为全连接网络，表达公式为：
其中，W为全连接网络的权重参数，b为全连接网络的偏置参数，重构网络为反向扩张卷积解码器，从输入层到输出层连接为：L层依次连接的TemporalBlock，线性层Linear
‑
1，线性层Linear
‑
2，ReLU层ReLU
‑
3，Dropout层Dropout
‑
4，线性层Linear
‑
5，ReLU层ReLU
‑
6，Dropout层Dropout
‑
7，线性层Linear
‑
8，ReLU层ReLU
‑
9，Dropout层Dropout
‑
10，线性层Linear
‑
11；S14、对训练集多元时序数据中每一个t时刻，将和分别与x
t
和X
t
计算二范数误差，构造联合损失函数，通过梯度下降优化骨干网络，表达式如下：构造联合损失函数，通过梯度下降优化骨干网络，表达式如下：Loss
total
＝(1
‑
α)Loss
recon
+αLoss
pre
其中Loss
pre
表示预测损失函数，|| ||2表示向量二范数，Loss
recon
表示重构损失函数，Loss
total
为联合损失函数，α为平衡因子。3.根据权利要求1所述的一种无监督域适应的多元时序数据异常检测方法，其特征在于，所述步骤S2过程如下：S21、对训练集多元时序数据中每一个t时刻，将S1中训练集多元时序窗口数据X中的X
t
和X
t+1
输入训练完成的骨干网络中，得到t时刻的预测结果和t+1时刻的重构多元时序窗口数据取中t时刻的重构结果将与和t时刻的训练集多元时序数据x
t
计算绝对值误差得到t时刻的预测误差ε
t
和重构误差r
t
，计算公式如下：如下：其中，||表示取绝对值；S22、将训练集多元时序数据中每一个t时刻的预测误差ε
t
和重构误差r
t
进行域适应窗口归一化操作得到t时刻的误差向量e
t
，具体过程如下：S221、对于训练集多元时序数据中每一个t时刻的预测误差ε
t
和重构误差r
t
，取t时刻之前长度为w的预测误差窗口...

【专利技术属性】
技术研发人员：吕建明，王亚权，吴思琦，李博，黄星杰，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：