一种用于分布式光纤传感器缺失数据的填补方法技术

本发明专利技术公开了一种用于分布式光纤传感器缺失数据的填补方法，其包括：获取由分布式光纤传感器数据组成的数据集，并对所述数据集中的数据进行预处理，以对其中的缺失值进行填补，得到预处理后的数据集；基于预处理后的数据集对预设的自相关神经网络模型进行训练，利用训练好的神经网络模型对待填充的缺失数据进行动态填补，输出填补后的数据；对于从神经网络模型输出的数据进行小波去噪，得到去噪后的数据；对去噪后的数据进行局部误差消除，得到最终的缺失数据填补结果。本发明专利技术具有准确率高、处理效率高的特点。处理效率高的特点。处理效率高的特点。

【技术实现步骤摘要】
一种用于分布式光纤传感器缺失数据的填补方法


[0001]本专利技术涉及缺失数据处理
，特别涉及一种用于分布式光纤传感器缺失数据的填补方法。

技术介绍

[0002]分布式光纤传感器是在道路检测领域较有应用前景的一种传感器，因其极高的空间分辨率可以得到道路应变响应的空间分布情况。但是在应用过程中，会出现可能由于封装不规范、预应力施加不合理等原因而引起的大量响应数据缺失的问题，数据缺失对于后续道路性能分析会造成较大的影响。
[0003]目前较为普遍的数据填补方法大多是基于统计、基于预测或基于插值的方法，对于大量数据缺失的情况不适用，因此需要提出一种面对大量数据缺失的情况适用且能够适应分布式光纤传感器数据特点的方法。

技术实现思路

[0004]本专利技术提供了一种用于分布式光纤传感器缺失数据的填补方法，以解决现有技术对于大量数据缺失的情况不适用的技术问题。
[0005]为解决上述技术问题，本专利技术提供了如下技术方案：
[0006]一种用于分布式光纤传感器缺失数据的填补方法，其包括：
[0007]获取由分布式光纤传感器数据组成的数据集，并对所述数据集中的数据进行预处理，以对其中的缺失值进行填补，得到预处理后的数据集；
[0008]基于预处理后的数据集对预设的自相关神经网络模型进行训练，利用训练好的神经网络模型对待填充数据进行动态填补，输出填补后的数据；
[0009]对从神经网络模型输出的数据进行小波去噪，得到去噪后的数据；
[0010]对去噪后的数据进行局部误差消除，得到最终的缺失数据填补结果。
[0011]进一步地，对数据集中的数据进行预处理，以对其中的缺失值进行填补，包括：
[0012]将每一个缺失值都填补为其所在列数据的平均值。
[0013]进一步地，基于预处理后的数据集对预设的自相关神经网络模型进行训练，利用训练好的神经网络模型对待填充数据进行动态填补，输出填补结果，包括：
[0014]训练自相关神经网络模型表示为：
[0015][0016]y
ij
＝ω
(2)
·
y
h
+b
(2)
[0017]其中，表示输入样本，y
ij
表示网络模型的输出，ω
(1)
表示输入层神经元和隐藏层神经元的连接权重，ω
(2)
表示隐藏层神经元和输出层神经元的连接权重，b
(1)
表示隐藏层神经元的阈值，b
(2)
表示输出层神经元的阈值；
[0018]定义代价函数其中，X
c
为输入数据的未缺失值集合，x
ij
为输入数据的第i行第j列的值，X
m
为输入数据的缺失值集合，为动态填补值，定义集合利用基于动量的随机梯度下降法对网络模型参数以及动态填补变量W进行更新得到W
′
，并进行循环迭代，直到满足指定的精度后输出填补后的数据结果Y
no
。
[0019]进一步地，对从网络模型输出的数据进行小波去噪，得到去噪后的数据，包括：
[0020]对于从神经网络模型输出的数据Y
no
进行N级的小波分解，得到第N级尺度的近似系数序列a
n
和每一尺度上的细节系数序列b
n
，其中，n＝1，2，
…
，N，a
n
与b
n
的计算公式如下所示：
[0021][0022][0023]其中，H表示小波分解中的低通滤波器，G表示小波分解中的高通滤波器，表示卷积运算；
[0024]应用软阈值对每一尺度的细节系数序列进行判别，当细节系数小于阈值时置零，当细节系数大于阈值时利用去噪函数进行处理，得到处理后的细节系数序列b
′
n
：
[0025][0026]其中，阈值λ＝σ2lg(M)，M为数据序列的长度，σ是数据序列的标准方差值，计算方法为
[0027]利用a
n
和细节系数序列b
′
n
对数据进行小波重构，最终得到去噪后的数据Y
de
。
[0028]进一步地，N的取值范围为3～8。
[0029]进一步地，对去噪后的数据进行局部误差消除，包括：
[0030]对神经网络模型输出的数据Y
no
和去噪后的数据Y
de
作差得到Y
err
；
[0031]对Y
err
进行单位化得到计算中每个样本与其他样本的差，得到差值序列D
ij
，D
ij
表示的第i个样本与其他样本的j个差值；
[0032]得到D
ij
中的最大值D
max
和最小值D
min
，再通过式求出各差值数列的灰色关联系数，并由灰色关联系数得到灰色关联度r，并根据h＝
‑
log(K)
·
r
·
log(r)得到目标样本与K个近邻样本的熵值，根据变异程度系数与熵值之间的关系v＝1
‑
h计算得到变异程度系数；
[0033]由ω＝1/(K
‑
1)
·
(1
‑
v/sum(v))计算得出近邻样本的权重；根据权重求出目标样本的缺失值处的误差值，设定误差值的选取阈值；
[0034]当计算得到的误差值小于选取阈值时不采取操作，而当误差值大于选取阈值时则采用新计算得到的误差值对缺失值进行修正。
[0035]本专利技术提供的技术方案带来的有益效果至少包括：
[0036]本专利技术提供了一种用于分布式光纤传感器缺失数据的填补方法，该方法基于去跟踪自编码器的动态填补方案结合小波去噪及局部误差消除方法对分布式光纤传感器的缺失数据进行填补，此方法具有准确率高、处理效率高的特点。
附图说明
[0037]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]图1是本专利技术实施例提供的用于分布式光纤传感器缺失数据的填补方法的执行流程示意图；
[0039]图2是本专利技术实施例提供的自编码器填补结果示意图；
[0040]图3是本专利技术实施例提供的自编码器填补算法收敛曲线图；
[0041]图4是本专利技术实施例提供的自编码器+小波去噪填补效果示意图；
[0042]图5是本专利技术实施例提供的自编码器+小波去噪+局部误差消除填补效果图；
[0043]图6是本专利技术实施例提供的不同填补方法填补效果示意图；其中，(a)为时间序列分析填补本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于分布式光纤传感器缺失数据的填补方法，其特征在于，包括：获取由分布式光纤传感器数据组成的数据集，并对所述数据集中的数据进行预处理，以对其中的缺失值进行填补，得到预处理后的数据集；基于预处理后的数据集对预设的自相关神经网络模型进行训练，利用训练好的神经网络模型对待填充数据进行动态填补，输出填补后的数据；对从神经网络模型输出的数据进行小波去噪，得到去噪后的数据；对去噪后的数据进行局部误差消除，得到最终的缺失数据填补结果。2.如权利要求1所述的用于分布式光纤传感器缺失数据的填补方法，其特征在于，对所述数据集中的数据进行预处理，以对其中的缺失值进行填补，包括：将每一个缺失值都填补为其所在列数据的平均值。3.如权利要求1所述的用于分布式光纤传感器缺失数据的填补方法，其特征在于，基于预处理后的数据集对预设的自相关神经网络模型进行训练，利用训练好的神经网络模型对待填充数据进行动态填补，输出填补后的数据，包括：训练自相关神经网络模型表示为：其中，表示输入样本，y
ij
表示网络模型的输出，ω
(1)
表示输入层神经元和隐藏层神经元的连接权重，ω
(2)
表示隐藏层神经元和输出层神经元的连接权重，b
(1)
表示隐藏层神经元的阈值，b
(2)
表示输出层神经元的阈值；定义代价函数其中，X
c
为输入数据的未缺失值集合，x
ij
为输入数据的第i行第j列的值，X
m
为输入数据的缺失值集合，为动态填补值，定义集合利用基于动量的随机梯度下降法对网络模型参数以及动态填补变量W进行更新得到W
′
，并进行循环迭代，直到满足指定的精度后输出填补后的数据结果Y
no
。4.如权利要求1所述的用于分布式光纤传感器缺失数据的填补方法，其特征在于，对从神经网络模型输出的数据进行小波去噪，得到去噪后的数据，包括：对于从神经网络模型输出的数据Y
no
进行N级的小波分解，得到第N级尺度的近似系数序列a
n
和每一尺度上的细节系数序列b
n
，其中，n＝1，2，
…
，N，...

【专利技术属性】
技术研发人员：孙凤艳，姜登介，郭洋，赵冠祎，杨海露，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：