一种用于粮食存储的实时异常检测系统技术方案

本发明专利技术公开了一种用于粮食存储的实时异常检测系统，首先收集粮食存储过程中各传感器收集的历史数据，并进行预处理；然后搭建实时异常检测系统使用的神经网络模型并对模型进行自编码器训练和对抗训练；然后将预处理后的待检测数据投入神经网络模型，输出重构后的时间序列，根据重构后的时间序列对异常得分进行区间调整；最后对获取的异常得分进一步进行点调整，标记异常点，实时发出警报；本发明专利技术采用两阶段对抗性训练框架内形成的自编码器体系结构，一方面，通过训练能够识别输入数据是否包含异常数据，克服自编码器的固有限制，从而执行良好的重构；另一方面，AE架构体系在对抗训练期间具有获得稳定性，解决了GAN模型遇到的崩溃和非收敛模式问题。崩溃和非收敛模式问题。崩溃和非收敛模式问题。

【技术实现步骤摘要】
一种用于粮食存储的实时异常检测系统


[0001]本专利技术涉及实时异常检测
，主要涉及一种用于粮食存储的实时异常检测系 统。

技术介绍

[0002]鉴于粮食存储的规模和复杂性，随着时间的推移，用于推断正常和异常行为的传感 器数量急剧增加，使得传统的基于专家的监督方法变得缓慢或容易出错。
[0003]自动编码器架构使其能够以无监督的方式进行学习。对抗性训练的使用及其体系结 构允许它可以在提供快速训练的同时隔离异常。因此，本专利技术则在上述技术的基础上， 设计了一种基于粮食存储的实时异常检测系统。更好地对粮食存储环境可能出现的异常 进行预警。

技术实现思路

[0004]专利技术目的：针对上述
技术介绍
中存在的问题，本专利技术提供了一种用于粮食存储的实 时异常检测系统，实时地对粮食存储过程中收集到的传感器数据进行异常检测，来预防 和即使处理可能出现的存储问题。
[0005]技术方案：为实现上述目的，本专利技术采用的技术方案为：
[0006]一种用于粮食存储的实时异常检测系统，包括以下步骤：
[0007]步骤S1、收集粮食存储过程中各传感器收集的历史数据，并进行预处理；
[0008]步骤S2、搭建实时异常检测系统使用的神经网络模型；
[0009]选择生成对抗网络GAN作为深度学习神经网络模型；采用自编码器AE构成GAN的 生成器和判别器；所述生成器用于生成趋于真实且正常数据；所述判别器包括将真实 数据与生成器生成数据区分开来的判别器1和判别器2；所述判别器1和判别器2共用一 个生成器，构成自编码器AE1和AE2；
[0010]步骤S3、对所述神经网络模型进行自编码器训练，并实行对抗训练；
[0011]步骤S4、重复步骤S3，直至神经网络模型训练完毕，保存训练好的模型体系结构 及参数；
[0012]步骤S5、用户将预处理后的待检测数据投入神经网络模型，输出重构后的时间序 列，根据重构后的时间序列对异常得分进行区间调整；
[0013]步骤S6、对获取的异常得分进一步进行点调整，并对异常点进行标记，实时发出警 报。
[0014]进一步地，所述步骤S1中对历史数据进行预处理具体方法包括：
[0015]首先将获取的传感器历史数据进行时间戳对齐，并且进行缺失值填补；对填补后的 数据进行归一化处理，利用滑动窗口对数据进行分窗处理，预处理完毕。
[0016]进一步地，所述步骤S2中神经网络模型包括三个部分：编码器网络E、解码器网络 D1和解码器网络D2，所述D1和D2共用一个编码器网络E，具体表示如下：
alert均 为0时，将该异常段内所有的point
‑
wise alert均调整为0；在异常段外，point
‑
wise alert 不进行调整；由此获得调整后的报警结果adjuested alert。即为最终更新后的异常检测结 果。
[0038]有益效果：本专利技术可以对由传感器收集的数据进行实时检测；由于只需要在线下对 模型进行训练，在线上由训练好的模型进行实时异常检测，则检测速度比较快；在最后 异常得分阶段使用了区间调整和点调整的方法，可以较好的提高异常检测的效果，且也 符合实际应用场景的需求。
附图说明
[0039]图1是本专利技术提供的基于粮食存储的实时异常检测系统的总体流程图；
[0040]图2是本专利技术提供的神经网络模型训练过程图；
[0041]图3是本专利技术提供的实时异常检测过程图；
[0042]图4是本专利技术提供的实时异常检测结果图1；
[0043]图5是本专利技术提供的实时异常检测结果图2。
[0044]图6是本专利技术提供的对异常得分进一步点调整的方法示意图。
具体实施方式
[0045]下面结合附图对本专利技术作更进一步的说明。显然，所描述的实施例是本专利技术一部分 实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0046]本专利技术提供的用于粮食存储的实时异常检测系统选用基于由自编码器构成的生成 对抗网络对粮食存储过程中传感器传输的各种异常数据进行接收并检测，实时判断是否 存在异常，并及时发出报警信号。具体流程如图1所示。
[0047]步骤S1、收集粮食存储过程中各传感器收集的历史数据，并进行预处理。
[0048]首先将获取的传感器历史数据进行时间戳对齐，并且进行缺失值填补；对填补后的 数据进行归一化处理，利用滑动窗口对数据进行分窗处理。下面对分窗处理具体说明：
[0049]给定多元时序数据τ＝{x1,x2,
…
x
T
}，其中然后定义在t时刻且长度为K的 时间窗口为W
t
＝{x
t
‑
K+1
,
…
,x
t
‑1,x
t
}。通过这种方式，可以将原始序列T分割为多个窗 口的集合W＝W1,
…
,W
T
。当存在一个新的时间窗口时，需要通过窗口的异常 得分来对新的未知窗口进行分类，也就是0和1，其中1表示异常，0表示正常。
[0050]自动编码器(AE)是由编码器E和解码器D组成的无监督人工神经网络。编码器 部分获取输入W并将其映射到一组潜在空间Z中，而解码器将潜在空间Z映射回输 入空间作为重构R。
[0051]原始输入向量W与重构R之间的差异称为重构误差。因此，训练目标旨在最小 化误差。重构误差定义为：
[0052]L
AE
＝||X
‑
AE(X)||2,其中AE(X)＝D(Z),Z＝E(X),||
·
||2表示L2范数。
[0053]基于自编码器AE的异常检测系统是一种较为常用的系统，现有技术中一般使用重 构误差作为异常分数，因为通常训练数据中只有正常的数据，因此出现异常数据时，往 往具有较高的重构误差。但是，由于自编码器需要尽可能地重构输入数据，如果异常比 较接
近正常数据，则重构误差很小，无法有效检测到异常。理想的自编码器应该能够识 别异常输入数据中是否包含正常数据。
[0054]本专利技术提出一种基于生成对抗网络Generative Adversarial Networks(GAN)的实时 异常检测系统，传统GAN中一个网络作为生成器G，旨在生成趋于真实且正常的数据， 另一个网络作为判别器D，旨在将真实数据与G生成的数据区分开来。
[0055]基于GAN的异常检测使用正常数据进行训练。训练后的模型中，将判别器作为异 常检测器。如果输入数据与学习数据分布不同，则判别器将其视为来自生成器并将其分 类为假数据，即异常。然而，由于模式崩溃和不收敛等问题，GAN训练存在生成器和判 别器之间的不平衡问题。
[0056]本专利技术提供的实时异常检测系统采用两阶段本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于粮食存储的实时异常检测系统，其特征在于，包括以下步骤：步骤S1、收集粮食存储过程中各传感器收集的历史数据，并进行预处理；步骤S2、搭建实时异常检测系统使用的神经网络模型；选择生成对抗网络GAN作为深度学习神经网络模型；采用自编码器AE构成GAN的生成器和判别器；所述生成器用于生成趋于真实且正常的数据；所述判别器包括将真实数据与生成器生成数据区分开来的判别器1和判别器2；所述判别器1和判别器2共用一个生成器，分别构成自编码器AE1和AE2；步骤S3、对所述神经网络模型进行自编码器训练，并实行对抗训练；步骤S4、重复步骤S3，直至神经网络模型训练完毕，保存训练好的模型体系结构及参数；步骤S5、用户将预处理后的待检测数据投入神经网络模型，输出重构后的时间序列，根据重构后的时间序列对异常得分进行区间调整；步骤S6、对获取的异常得分进一步进行点调整，并对异常点进行标记，实时发出警报。2.根据权利要求1所述的一种用于粮食存储的实时异常检测系统，其特征在于，所述步骤S1中对历史数据进行预处理具体方法包括：首先将获取的传感器历史数据进行时间戳对齐，并且进行缺失值填补；对填补后的数据进行归一化处理，利用滑动窗口对数据进行分窗处理，预处理完毕。3.根据权利要求1所述的一种用于粮食存储的实时异常检测系统，其特征在于，所述步骤S2中神经网络模型包括三个部分：编码器网络E、解码器网络D1和解码器网络D2，所述D1和D2共用一个编码器网络E，具体表示如下：AE1(W)＝D1(E(W))，AE2(W)＝D2(E(W))其中W代表一定时间窗口内的输入数据。4.根据权利要求3所述的一种用于粮食存储的实时异常检测系统，其特征在于，所述步骤S3中对神经网络模型进行的训练包括以下两个阶段：步骤S3.1、给定正常输入，训练自编码器AE1和AE2，重构输入数据W；自编码器输出分别表示为AE1(W)和AE2(W)；则输入w和自编码器输出之间的误差如下：(W)；则输入w和自编码器输出之间的误差如下：步骤S3.2、对自编码器AE1和AE2进行对抗训练；将来自AE1的数据由编码器E压缩到潜在空间Z，再由AE2重构，得到重构后的输出为AE2(AE1(W))，在对抗训练策略下，目标是训练AE2以区分来自AE1的真实数据，并训练AE1欺骗AE2，则AE1期望最小化W和AE2(AE1(W...

【专利技术属性】
技术研发人员：曹杰，刘金良，王昌辉，查利娟，申冬琴，张洋，陈志杰，
申请(专利权)人：云境商务智能研究院南京有限公司，
类型：发明
国别省市：