物联网数据异常检测模型训练方法、异常检测方法和系统技术方案

本发明专利技术涉及数据检测技术领域，尤其涉及一种物联网数据异常检测模型训练方法、异常检测方法和系统，解决了现有各类技术在物联网异常数据检测时，存在的对高维数据存在检测效果不理想、增加数据处理负担、无法实现实时检测的问题。本发明专利技术提出的一种物联网数据异常检测模型训练方法，额外增加了一个用以保证循环一致性的第二识别网络，并采用近似梯度的方法迭代异常数据，以逐步排除异常成分。本发明专利技术在异常检测阶段，同时考虑重构误差与识别误差，并设计了用于评估数据异常程度的评价值计算函数，本发明专利技术训练的异常检测模型具有更好的F1得分，展现模型在精确度和召回率上显著超越了现有技术。技术。技术。

【技术实现步骤摘要】
物联网数据异常检测模型训练方法、异常检测方法和系统


[0001]本专利技术涉及数据检测
，尤其涉及一种物联网数据异常检测模型训练方法、异常检测方法和系统。

技术介绍

[0002]异常检测是一个在过去数年极其活跃的研究领域，各个领域出现了各种各样的异常检测方案，大致可分为统计类和深度学习类两个流派。传统的异常检测基于统计的方法包括distance
‑
based方法，SVM
‑
based方法和(PCA)
‑
based方法。这些主流方法的瓶颈在处理高维度数据时暴露无遗，计算时间和准确度都远不如低维数据异常检测场景下的表现。
[0003]随着传感器技术的迅速发展，物联网应用被越来越多地应用到工业、农业、医疗、卫生等行业中。其中，将传感器节点散布在目标区域内，通过各种传感器节点采集目标区域内的环境参数（温度，湿度，CO2浓度等），可以实时监控散布区域的内部环境变化情况。为了能够及时准确地发现自然环境中的突发事件以及监测传感器网络的健康状况，提高物联网数据的可靠性，那么对传感器采集到的数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物联网数据异常检测模型训练方法，其特征在于，包括以下步骤：St1、获取连续时间段上采集的多个传感器检测数据样本作为历史数据X，X包含正常数据L和异常数据S，即X=L∪S；构建并初始化基础模型，基础模型为神经网络模型，其包括编码网络、生成网络、第一鉴别网络和第二鉴别网络；编码网络用于对接收到的数据进行编码并输出编码数据；生成网络用于对接收到的数据进行重构并输出重构数据；第一鉴别网络和第二鉴别网络均用于对各自接收到的数据进行标注，并输出对应的标注值；St2、从正常数据L中取值并赋予样本数据x，正常数据L的初始值等于历史数据X；St3、通过第一鉴别网络对数据元组(x,E(x)和(G(z),z)进行标注，(x,E(x)对应的标注值记作D
xz
(x,E(x))，(G(z),z)对应的标注值记作D
xz
(G(z),z)；E(x)表示编码网络在输入为x时的输出；G(z)表示生成网络在输入为z时的输出，z表示从符合正态分布的数据空间Z中的取值；通过第二鉴别网络对数据元组(x,x)和(x,G(E(x)))进行标注，(x,x)对应的标注值记作D
xx
(x,x)，(x,G(E(x)))对应的标注值记作D
xx
(x,G(E(x)))；G(E(x))表示生成网络在输入为E(x)时的输出；St4、将D
xz
(x,E(x))、D
xz
(G(z),z)、D
xx
(x,x)和D
xx
(x,G(E(x)))代入设定的第一目标函数计算第一目标函数值，并根据第一目标函数值更新基础模型中编码网络、生成网络、第一鉴别网络和第二鉴别网络的参数；St5、判断基础模型更新次数是否达到第一设定值n1；否，则返回步骤St2，并重新累计基础模型更新次数；是，则执行以下步骤St6；St6、判断正常数据L更新次数是否达到第二设定值n2；否，则执行以下步骤St7；是，则固定基础模型参数，并从基础模型参数中提取编码网络、生成网络和第一鉴别网络，并将提取的三个网络与设定的评价函数结合，以组成异常检测模型；评价函数用于结合D
xz
(x,E(x))和D
xz
(G(E(x),E(x)))计算用于评估数据x正常与否的评价值A(x)；G(E(x))表示生成网络在输入为E(x)时的输出；St7、结合最新更新的基础模型和设定的异常数据计算模型对异常数据S进行更新，结合更新后的异常数据S对正常数据L进行更新，L=X
‑
S；然后返回步骤St2。2.如权利要求1所述的物联网数据异常检测模型训练方法，其特征在于，第一目标函数为：，表示以最大化V
ALICE
(D
xz
,D
xx
,E,G)为目标更新第一鉴别网络和第二鉴别网络的参数，在第一鉴别网络和第二鉴别网络参数固定时以最小化V
ALICE
(D
xz
,D
xx
,E,G)为目标更新编码网络和生成网络；V
ALICE
(D
xz
,D
xx
,E,G)为过渡项；V
ALICE
(D
xz
,D
xx
,E,G)=V(D
xz
,E,G)+V
CE
(D
xx
,E,G)；V(D
xz
,E,G)=E1+E2；E1=
Æ
x~px
[
Æ
E(x)~pE(.|x)
[log
k
D
xz
(x,E(x))]]；E2=
Æ
z~pz
[
Æ
G(z)~pG(.|z)
[log
k
(1
‑
D
xz
(G(z),z))]]；V
CE
(D
xx
,E,G)=
Æ
x~px
[log
k
D
xx
(x,x)]+
Æ
x~px
[1
‑
log
k
D
xx
(x,G(E(x)))]；其中，V(D
xz
,E,G)、V
CE
(D
xx
,E,G)、E1和E2均表示过渡参数；k表示底数，且k>1；令编码模
块在输入为x时的输出分布为pE(.|x)，
Æ
E(x)~pE(.|x)
[log
k
D
xz
(x,E(x))]表示log
k
D
xz
(x,E(x))在E(x)服从pE(.|x)分布时的期望；
Æ
x~px
[
Æ
E(x)~pE(.|x)
[log
k
D
xz
(x,E(x))]]表示
Æ
E(x)~pE(.|x)
[log
k
D
xz
(x,E(x))]在x服从px分布时的期望，px分布表示样本数据x在正常数据L中的真实分布；令生成模块在输入为z时的输出分布为pG(.|z)，
Æ
G(z)~pG(.|z)
[log
k
(1
‑
D
xz
(G(z),z))]表示log
k
(1
‑
D
xz
(G(z),z))在G(z)服从pG(.|z)分布时的期望；
Æ
z~pz
[
Æ
G(z)~pG(.|z)
[log
k
(1
‑
D
xz
(G(z),z))]]表示
Æ
G(z)~pG(.|z)
[log
k
(1
‑
D
xz
(G(z),z))]在z服从正态分布时的期望；
Æ
x~px
[log
k
D
xx
(x,x)]表示log
k
D
xx
(x,x)在x服从px分布时的期望；
Æ
x~px
[1
‑
log
k
D
xx
(x,G(E(x)))]表示1
‑
log
k
D
xx
(x,G(E(x)))在x服从px分布时的期望。3.如权利要求1所述的物联网数据异常检测模型训练方法，其特征在于，St4中根据第一目标函数值，首先对第一鉴别网络和第二鉴别网络进...

【专利技术属性】
技术研发人员：乔焰，袁新宇，张本初，胡荣耀，赵培，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：