一种桥梁监测数据异常诊断与修复方法技术

本发明专利技术公开了一种桥梁监测数据异常诊断与修复方法，该方法首先进行多点位传感器数据采集及预处理，并对数据进行归一化，消除幅值绝对值的干扰。然后对归一化数据进行11维特征向量的异常特征提取；接着构建BiLSTM神经网络模型，训练网络，当预测准确率大于等于95%时保存网络，用于后续实时数据的异常识别定位，将实时数据输入模型判别定位异常数据段完成第一阶段的数据异常判别。最后依据异常前适当长度的数据作为条件生成对抗网络模型的训练数据,依据模型训练获取的多传感器相关性模型，以异常数据时段正常传感器数据作为输入，预测异常传感器该时段的数据，作为异常数据段的填充替换，从而实现桥梁监测数据趋势异常的全流程自动化识别和修复。程自动化识别和修复。程自动化识别和修复。

【技术实现步骤摘要】
一种桥梁监测数据异常诊断与修复方法


[0001]本专利技术涉及一种桥梁监测数据异常诊断与修复方法，属于桥梁结构健康监测数据清洗修复


技术介绍

[0002]桥梁监测系统发挥功能的前提是获取真实反映结构性能的各类数据。然而在数据测采集、传输、储存等过程中不可避免的受到传感器老化故障、环境噪声干扰、传输丢包以及压缩失真的各种因素的不利影响，从而造成监测数据在幅值、分布、趋势上的失真和异常。数据异常的主要类型包括缺失、跳点、噪声、漂移和趋势异常。其中，前四者对比传感器自身历时数据即可进行有效识别。但是，对于趋势异常，常常是数据收到长周期干扰，引起的数据大面积连续偏离正常值的现象。由于结构存在连续异常温度作用，造成响应数据呈现连续偏位的可能，因此这种异常类型仅从自身历史数据很难直接判别，而且此类数据通常大面积连续出现，仅从自回归的角度实时修复面临的困难巨大。

技术实现思路

[0003]本专利技术所要解决的技术问题是：提供一种桥梁监测数据异常诊断与修复方法，先采用监督学习范式实现异常数据的识别与定位，在此基础上建立生成对抗神经网络模型对异常数据段进行预测和替换，完成传感器数据异常的全流程自动化识别和修复。
[0004]本专利技术为解决上述技术问题采用以下技术方案：
[0005]一种桥梁监测数据异常诊断与修复方法，包括如下步骤：
[0006]步骤1，在桥梁的各个关键截面处设置传感器，且所有关键截面处设置的传感器类型相同，对传感器进行编号，采集各传感器数据，并对传感器数据进行预处理；
[0007]步骤2，对经过预处理后的传感器数据进行归一化处理，得到归一化数据；
[0008]步骤3，对于归一化数据，以分钟为时间尺度，提取各归一化数据的11维特征向量，所述11维特征向量包括：平均值、中值、标准差、均方根、幅值、差分值、百分之二十分位值、百分之八十分位值、最大值与百分之八十分位值的比值、平均值与幅度的比值以及平均值与百分之八十分位值的比值；
[0009]步骤4，构建双向长短时记忆神经网络模型，利用预先标记的标签数据对双向长短时记忆神经网络模型进行训练，得到训练好的双向长短时记忆神经网络模型；将步骤3提取的11维特征向量输入训练好的双向长短时记忆神经网络模型，进行异常数据的诊断，当诊断存在异常数据时，进入步骤5；
[0010]步骤5，将存在异常数据时段对应的数据挖空，用nan填充，以发生异常前3小时所有传感器的数据作为数据集训练条件生成对抗网络模型，获取异常传感器发生异常前的数据与其他正常传感器同时段数据之间的非线性关系，将用nan填充异常数据时段的数据以及其他正常传感器在异常时段的数据输入条件生成对抗网络模型，预测异常传感器异常时段的数据，用预测数据代替nan，得到修复后数据。
[0011]作为本专利技术的一种优选方案，步骤1所述关键截面包括1/4截面、跨中截面、3/4截面和缆索桥的主塔塔顶截面。
[0012]作为本专利技术的一种优选方案，步骤1所述对传感器数据进行预处理，具体为：对各传感器采集的数据进行数据截取，保证每个传感器对应的数据长度一致，不包含nan值。
[0013]作为本专利技术的一种优选方案，步骤2所述归一化处理，采用的方法为离差标准化方法，具体公式如下：
[0014][0015]其中，x
(i,j)
*表示x
(i,j)
归一化后的数据，x
(i,j)
表示第i个关键截面处编号为j的传感器预处理后的数据，x
i
表示所有传感器预处理后的数据的集合。
[0016]作为本专利技术的一种优选方案，步骤4所述双向长短时记忆神经网络模型包括依次连接的第一双向LSTM层、第二双向LSTM层、第三双向LSTM层、全连接层和Softmax层。
[0017]作为本专利技术的一种优选方案，步骤4所述双向长短时记忆神经网络模型的损失函数采用交叉熵损失函数，具体为：
[0018][0019]其中，Loos表示交叉熵损失函数；y是样本标签，若样本属于正例即数据异常，其取值为1，否则数据正常，其取值为0；是模型预测样本是正例的概率；
[0020]训练双向长短时记忆神经网络模型时，当其分类准确率大于95％时保存模型，作为训练好的双向长短时记忆神经网络模型，分类准确率具体为：
[0021]Accuracy＝(TP+TN)/(ALL)
[0022]其中，Accuracy表示分类准确率，TP表示真阳性分类数量，TN表示真阴性分类数量，ALL表示预先标记的标签数据中总的标签数。
[0023]作为本专利技术的一种优选方案，步骤5所述条件生成对抗网络模型，其网络优化的目标函数表示为：
[0024][0025]其中，G和D分别表示生成器和判别器，V表示目标函数，E表示分布期望，f表示条件向量，t表示输入，p
data
(t)表示真实样本，z表示最初的生成噪声，p
z
(z)表示先验噪音分布。
[0026]本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：
[0027]1、本专利技术基于多传感器数据相关性，对发生异常的传感器进行识别并对异常数据段进行分钟尺度的准确定位，得益于本专利技术提出的网络架构和BiLSTM网络对不同时间长度特征的敏感特性，能够实现跳点和趋势异常等不同时间尺度的数据异常类型的准确识别。然后依据异常前适当长度的数据作为条件生成对抗网络模型的训练数据，依据模型训练获取的多传感器相关性模型，以异常数据时段正常传感器数据作为输入，预测异常传感器该时段的数据，作为异常数据段的填充替换，从而实现桥梁监测数据趋势异常的全流程自动化识别和修复。
[0028]2、本专利技术提出一种基于数据相关性采用双向LSTM模型和条件生成对抗网络模型的先识别后修复两阶段监测数据修复方法，实现了数据异常时别和自动修复的统一，形成了全流程的自动化数据清洗方法。并且得益于给出的特征提取方法和相关性修复方法，可
对趋势异常这种传统上仅依靠数据自身历史数据难以判别的异常类型进行有效识别和修复。
[0029]3、本专利技术对于大面积的数据异常构建生成对抗神经网络模型可以有效地学习到多传感器相关映射关系，基于该模型和异常时段其他传感器数据可以对异常数据段进行良好的预测，从而对大面积异常的情况完成修复，大面积修复的数据依然可靠准确。
附图说明
[0030]图1是本专利技术一种桥梁监测数据异常诊断与修复方法的流程图；
[0031]图2是本专利技术进行异常识别的BiLSTM分类模型；
[0032]图3是本专利技术进行数据修复的条件生成对抗网络模型；
[0033]图4是本专利技术方法的模拟验证结果。
具体实施方式
[0034]下面详细描述本专利技术的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。
[0035]由于同一桥梁结构不同位置处的传感本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种桥梁监测数据异常诊断与修复方法，其特征在于，包括如下步骤：步骤1，在桥梁的各个关键截面处设置传感器，且所有关键截面处设置的传感器类型相同，对传感器进行编号，采集各传感器数据，并对传感器数据进行预处理；步骤2，对经过预处理后的传感器数据进行归一化处理，得到归一化数据；步骤3，对于归一化数据，以分钟为时间尺度，提取各归一化数据的11维特征向量，所述11维特征向量包括：平均值、中值、标准差、均方根、幅值、差分值、百分之二十分位值、百分之八十分位值、最大值与百分之八十分位值的比值、平均值与幅度的比值以及平均值与百分之八十分位值的比值；步骤4，构建双向长短时记忆神经网络模型，利用预先标记的标签数据对双向长短时记忆神经网络模型进行训练，得到训练好的双向长短时记忆神经网络模型；将步骤3提取的11维特征向量输入训练好的双向长短时记忆神经网络模型，进行异常数据的诊断，当诊断存在异常数据时，进入步骤5；步骤5，将存在异常数据时段对应的数据挖空，用nan填充，以发生异常前3小时所有传感器的数据作为数据集训练条件生成对抗网络模型，获取异常传感器发生异常前的数据与其他正常传感器同时段数据之间的非线性关系，将用nan填充异常数据时段的数据以及其他正常传感器在异常时段的数据输入条件生成对抗网络模型，预测异常传感器异常时段的数据，用预测数据代替nan，得到修复后数据。2.根据权利要求1所述的桥梁监测数据异常诊断与修复方法，其特征在于，步骤1所述关键截面包括1/4截面、跨中截面、3/4截面和缆索桥的主塔塔顶截面。3.根据权利要求1所述的桥梁监测数据异常诊断与修复方法，其特征在于，步骤1所述对传感器数据进行预处理，具体为：对各传感器采集的数据进行数据截取，保证每个传感器对应的数据长度一致，不包含nan值。4.根据权利要求1所述的桥梁监测数据...

【专利技术属性】
技术研发人员：杨康，丁幼亮，蒋华琛，
申请(专利权)人：东南大学，
类型：发明
国别省市：