一种土木监测数据异常检测方法、系统、设备及介质技术方案

本发明专利技术公开了一种土木监测数据异常检测方法、系统、设备及介质，涉及土木工程结构健康监测领域，该方法包括：将目标土木监测数据输入异常检测模型中，确定目标土木监测数据中的正常数据和异常数据；异常检测模型包括训练好的生成器和训练好的鉴别器；异常检测模型是基于生成对抗网络和滤波器构建的，生成器、滤波器和鉴别器依次连接，生成器对输入的数据进行重构；滤波器计算输入数据和重构数据的异常概率，从而为输入数据分配权重；鉴别器计算权重分配后的数据与重构数据的重构误差以区分正常数据和异常数据，异常检测模型能学习到正常数据的分布规律，从而具备辨别异常数据的能力。本发明专利技术能提高土木监测数据异常检测的准确性和普适性。性和普适性。性和普适性。

【技术实现步骤摘要】
一种土木监测数据异常检测方法、系统、设备及介质


[0001]本专利技术涉及土木工程结构健康监测领域，特别是涉及一种土木监测数据异常检测方法、系统、设备及介质。

技术介绍

[0002]土木监测数据是一种海量的真实世界数据，通常由监控系统收集，其中包含被监控对象的重要运行信息。通常，测量数据中的异常反映了系统的异常状态，这些异常状态会带来巨大的经济损失甚至人员伤亡。因此，建立能够准确、快速地检测出结构故障的异常检测系统越来越受到学术界和工业界的关注。
[0003]由于监控对象的规模和复杂性，需要测量的特征数量随着时间的推移而急剧增加，这使得使用专家定义的方法检测异常变得非常低效。数据采集和存储技术的快速发展为机器学习算法提供了丰富的原材料，基于机器学习的异常检测方法蓬勃发展。过去最常用的方法是基于聚类的模型和基于一分类的模型。基于聚类的模型，如K
‑
Means和密度峰值聚类，将远离任何聚类中心的观测视为异常。单类支持向量机和隔离森林等一类分类方法只对正态数据的分布建模，然后将不符合这种分布的观测值视为异常。这些数据驱动的异常检测方法具有较高的智能性，但由于存在维度灾难和性能次优等问题，仍不能很好地处理大规模数据。
[0004]基于重构的方法，例如GAN的结构能够捕捉训练数据的分布，在训练过程中提供全局正则化信息，从而缓解过拟合。但这只有在训练集无污染时才有意义，这意味着训练集中只有正常样本。当训练集被异常样本污染时，模型不仅会捕捉到正常数据的分布，还会捕捉到异常数据的分布。因此，急需一种新的异常检测模型，能够对输入的异常数据有足够的鲁棒性，从而实现准确性更高、普适性更强的异常检测。

技术实现思路

[0005]基于此，本专利技术实施例提供一种土木监测数据异常检测方法、系统、设备及介质，以提高土木监测数据异常检测的准确性和普适性。
[0006]为实现上述目的，本专利技术实施例提供了如下方案：
[0007]一种土木监测数据异常检测方法，包括：
[0008]获取目标土木监测数据；所述目标土木监测数据为待检测土木工程中设置的传感器收集到的结构健康监测数据；
[0009]将所述目标土木监测数据输入异常检测模型中，确定所述目标土木监测数据中的正常数据和异常数据；
[0010]其中，所述异常检测模型包括训练好的生成器和训练好的鉴别器；所述训练好的生成器用于对所述目标土木监测数据进行重构，得到目标重构数据；所述训练好的鉴别器用于计算所述目标土木监测数据和所述目标重构数据的重构误差，得到目标重构误差，并根据所述目标重构误差确定所述目标土木监测数据中的正常数据和异常数据；
[0011]其中，所述异常检测模型的确定方法为：
[0012]获取用于训练的原始土木监测数据；
[0013]构建生成对抗网络和滤波器；所述生成对抗网络包括：生成器和鉴别器；所述生成器、所述滤波器和所述鉴别器依次连接；
[0014]将所述原始土木监测数据作为所述生成器的输入，以生成误差和鉴别误差均最小为目标，对所述生成对抗网络进行多次迭代训练，并将训练好的生成对抗网络确定为所述异常检测模型；
[0015]其中，对于任一迭代次数，所述生成器用于对所述原始土木监测数据进行重构，得到训练重构数据；所述滤波器用于根据所述原始土木监测数据和所述训练重构数据计算异常概率，并根据所述异常概率对所述原始土木监测数据分配权重；所述异常概率越大，所分配的权重越小；所述鉴别器用于计算权重分配后的原始土木监测数据与训练重构数据的重构误差，得到训练重构误差，并根据所述训练重构误差确定所述原始土木监测数据中的正常数据和异常数据。
[0016]可选地，所述生成误差是根据训练重构误差和对抗误差确定的；所述对抗误差是根据所述鉴别器的输出确定的；所述鉴别误差是根据所述生成器的输出和所述鉴别器的输出确定的。
[0017]可选地，所述生成器，具体包括：解码器和编码器；
[0018]所述解码器用于将输入的第一维度空间的原始土木监测数据映射到第二维度空间，生成隐向量；所述第一维度空间的维度高于所述第二维度空间的维度；
[0019]所述编码器用于对所述隐向量进行编码，得到训练重构数据。
[0020]可选地，所述解码器，具体包括：预处理单元和解码单元；
[0021]所述预处理单元用于采用滑动窗口将原始土木监测数据转换为维度为w
×
j的数据矩阵；其中，w表示滑动窗口的大小；j表示滑动窗口的个数；
[0022]所述解码单元用于将输入的第一维度空间的数据矩阵映射到第二维度空间，生成隐向量。
[0023]可选地，所述滤波器，包括：异常概率计算单元和过滤单元；
[0024]所述异常概率计算单元用于计算所述原始土木监测数据和所述训练重构数据之间的距离，对所述距离进行归一化，并采用平衡因子对归一化后的距离进行处理，再对处理后的距离采用sigmoid函数激活后，得到异常概率；
[0025]所述过滤单元用于根据所述异常概率对所述原始土木监测数据分配权重。
[0026]本专利技术还提供了一种土木监测数据异常检测系统，包括：
[0027]数据获取模块，用于获取目标土木监测数据；所述目标土木监测数据为待检测土木工程中设置的传感器收集到的结构健康监测数据；
[0028]模型确定模块，用于构建异常检测模型；
[0029]异常检测模块，用于将所述目标土木监测数据输入所述异常检测模型中，确定所述目标土木监测数据中的正常数据和异常数据；
[0030]其中，所述异常检测模型包括训练好的生成器和训练好的鉴别器；所述训练好的生成器用于对所述目标土木监测数据进行重构，得到目标重构数据；所述训练好的鉴别器用于计算所述目标土木监测数据和所述目标重构数据的重构误差，得到目标重构误差，并
根据所述目标重构误差确定所述目标土木监测数据中的正常数据和异常数据；
[0031]所述模型构建模块，具体包括：
[0032]原始数据获取单元，用于获取用于训练的原始土木监测数据；
[0033]网络构建单元，用于构建生成对抗网络和滤波器；所述生成对抗网络包括：生成器和鉴别器；所述生成器、所述滤波器和所述鉴别器依次连接；
[0034]训练单元，用于将所述原始土木监测数据作为所述生成器的输入，以生成误差和鉴别误差均最小为目标，对所述生成对抗网络进行多次迭代训练，并将训练好的生成对抗网络确定为所述异常检测模型；
[0035]其中，对于任一迭代次数，所述生成器用于对所述原始土木监测数据进行重构，得到训练重构数据；所述滤波器用于根据所述原始土木监测数据和所述训练重构数据计算异常概率，并根据所述异常概率对所述原始土木监测数据分配权重；所述异常概率越大，所分配的权重越小；所述鉴别器用于计算权重分配后的原始土木监测数据与训练重构数据的重构误差，得到训练重构误差，并根据所述训练重构误差确定所述原始土木监测数据中的正常数据和异常数据。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种土木监测数据异常检测方法，其特征在于，包括：获取目标土木监测数据；所述目标土木监测数据为待检测土木工程中设置的传感器收集到的结构健康监测数据；将所述目标土木监测数据输入异常检测模型中，确定所述目标土木监测数据中的正常数据和异常数据；其中，所述异常检测模型包括训练好的生成器和训练好的鉴别器；所述训练好的生成器用于对所述目标土木监测数据进行重构，得到目标重构数据；所述训练好的鉴别器用于计算所述目标土木监测数据和所述目标重构数据的重构误差，得到目标重构误差，并根据所述目标重构误差确定所述目标土木监测数据中的正常数据和异常数据；其中，所述异常检测模型的确定方法为：获取用于训练的原始土木监测数据；构建生成对抗网络和滤波器；所述生成对抗网络包括：生成器和鉴别器；所述生成器、所述滤波器和所述鉴别器依次连接；将所述原始土木监测数据作为所述生成器的输入，以生成误差和鉴别误差均最小为目标，对所述生成对抗网络进行多次迭代训练，并将训练好的生成对抗网络确定为所述异常检测模型；其中，对于任一迭代次数，所述生成器用于对所述原始土木监测数据进行重构，得到训练重构数据；所述滤波器用于根据所述原始土木监测数据和所述训练重构数据计算异常概率，并根据所述异常概率对所述原始土木监测数据分配权重；所述异常概率越大，所分配的权重越小；所述鉴别器用于计算权重分配后的原始土木监测数据与训练重构数据的重构误差，得到训练重构误差，并根据所述训练重构误差确定所述原始土木监测数据中的正常数据和异常数据。2.根据权利要求1所述的一种土木监测数据异常检测方法，其特征在于，所述生成误差是根据训练重构误差和对抗误差确定的；所述对抗误差是根据所述鉴别器的输出确定的；所述鉴别误差是根据所述生成器的输出和所述鉴别器的输出确定的。3.根据权利要求1所述的一种土木监测数据异常检测方法，其特征在于，所述生成器，具体包括：解码器和编码器；所述解码器用于将输入的第一维度空间的原始土木监测数据映射到第二维度空间，生成隐向量；所述第一维度空间的维度高于所述第二维度空间的维度；所述编码器用于对所述隐向量进行编码，得到训练重构数据。4.根据权利要求3所述的一种土木监测数据异常检测方法，其特征在于，所述解码器，具体包括：预处理单元和解码单元；所述预处理单元用于采用滑动窗口将原始土木监测数据转换为维度为w
×
j的数据矩阵；其中，w表示滑动窗口的大小；j表示滑动窗口的个数；所述解码单元用于将输入的第一维度空间的数据矩阵映射到第二维度空间，生成隐向量。5...

【专利技术属性】
技术研发人员：叶俊辰，杜博文，梁皓涵，程克，孙磊磊，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：