一种基于数据差值的桥梁渐进式漂移数据清洗方法技术

本发明专利技术公开了一种基于数据差值的桥梁渐进式漂移数据清洗方法，包括：获取传感器原始数据；计算原始数据之间相邻数据的差值；通过Super Smoother算法对原始差值数据提取趋势数据，得到原始差值数据与趋势数据的差值；采用区间估计理论，根据原始差值数据与趋势数据的差值的均值和标准差，得到原始差值数据与趋势数据的差值的正常值的变化范围；寻找原始差值数据与趋势数据的差值处于置信区间以外的数据位置，确定原始数据中漂移异常值的位置并进行清洗。本发明专利技术能够准确识别信号波动较为缓慢的数据中渐进式漂移现象，提高原始数据的处理效率，且能够最大程度还原真实监测数据，为后续结构状态分析提供有效数据。

A bridge progressive drift data cleaning method based on data difference

【技术实现步骤摘要】
一种基于数据差值的桥梁渐进式漂移数据清洗方法
本专利技术属于桥梁健康监测数据分析研究领域，具体涉及一种基于数据差值的桥梁渐进式漂移数据清洗方法。
技术介绍
数据清洗是桥梁健康监测数据后续分析挖掘的基础，也是监测数据价值得以实现的步骤。随着国内桥梁健康监测系统技术的逐渐成熟和广泛使用，数据清洗的重要性也与日俱增。其中，监测数据漂移现象在桥梁健康监测过程中较为常见，其产生的主要原因在于传感器本身出现故障或者受到外界环境的干扰。数据漂移的表现形式为：监测数据会产生整体或部分偏移，在时域上某时段内局部向上或者局部向下偏移，出现一种不连续状况，但异常偏移部分数据的形态和趋势并无异常。目前观测到的数据偏移分为主要两种情况，一种为整体式漂移，另一种为渐进式漂移。整体式漂移表现为，数据在某时段内整体向上或者向下漂移，这种漂移容易识别且方便设计算法进行修正；而对于渐进式漂移现象，该种形式的漂移识别较为困难，主要是由于其数据本身的波动较难识别。因此，针对上述数据异常的缺点，迫切需要发展一种针对渐进式漂移现象识别清洗的方法。
技术实现思路
本专利技术所要解决的技术问题是针对上述现有技术的不足提供一种基于数据差值的桥梁渐进式漂移数据清洗方法，本基于数据差值的桥梁渐进式漂移数据清洗方法能准确有效地处理桥梁健康监测中信号波动较为平稳的渐进式漂移数据问题。为实现上述技术目的，本专利技术采取的技术方案为：一种基于数据差值的桥梁渐进式漂移数据清洗方法，包括以下步骤：步骤1：获取传感器原始数据；步骤2：计算原始数据之间相邻数据的差值；步骤3：通过SuperSmoother算法对原始差值数据提取趋势数据，得到原始差值数据与趋势数据的差值；步骤4：采用区间估计理论，根据原始差值数据与趋势数据的差值的均值和标准差，得到原始差值数据与趋势数据的差值的正常值的变化范围；步骤5：寻找原始差值数据与趋势数据的差值处于置信区间以外的数据位置，确定原始数据中漂移异常值的位置并进行清洗。作为本专利技术进一步改进的技术方案，所述的步骤1具体包括：获取桥梁健康监测系统中传感器采集的原始数据{xi},i＝1,2,…,n，其中n为原始数据个数。作为本专利技术进一步改进的技术方案，所述的步骤2具体包括：通过计算{xi},i＝1,2,…,n之间相邻数据的差值，得到数值序列{di},i＝1,2,…,n-1，其中di＝xi+1-xi。作为本专利技术进一步改进的技术方案，所述的步骤3具体包括：步骤3.1：采用SuperSmoother算法提取原始差值数据的趋势数据{si},i＝1,2,…,n-1；步骤3.2：计算di与si之间的差值进行分析，记为Di＝di-si。作为本专利技术进一步改进的技术方案，所述的步骤4具体包括：步骤4.1：计算原始差值数据与趋势数据的差值{Di},i＝1,2,…,n-1的均值μ和标准差σ；其中：步骤4.2：采用正态分布函数进行概率拟合，设满足保证率α，得到Di正常值的波动范围(μ-ασ,μ+ασ)。作为本专利技术进一步改进的技术方案，所述的步骤5具体包括：步骤5.1：寻找原始差值数据与趋势数据的差值{Di},i＝1,2,…,n-1中处于置信区间(μ-ασ,μ+ασ)以外的数据位置信息，记：{Di},i＝1,2,…,n-1中小于μ-ασ的漂移异常值位置序列为j＝1,2,…m1，其中m1为差值小于下分位值的数据个数；{Di},i＝1,2,…,n-1中大于μ+ασ的漂移异常值位置序列为k＝1,2,…m2，其中m2为差值大于上分位值的数据个数；步骤5.2：j＝1,2,…m1和k＝1,2,…m2的集合即为原始数据中漂移异常值的位置，根据原始数据中漂移异常值的位置对原始数据中漂移异常值进行清洗。本专利技术的有益效果为：针对渐进式漂移现象较为复杂，与数据本身变化结合在一起，故难以识别，本专利技术从相邻数据的差值角度出发，提出一种基于数据差值的桥梁渐进式漂移数据清洗方法，具有以下有益效果：(1)本专利技术能够准确识别信号较为平稳的数据中渐进式漂移现象，提高原始数据的处理效率，且能够最大程度还原真实监测数据，为后续结构状态分析提供有效数据。对原始数据中漂移异常值能准确有效地进行清洗。(2)本专利技术不需要用多个传感器进行信息融合，减少由于其他传感器数据质量较差而引起的数据分析误差；(3)本专利技术能够在线实时识别渐进式漂移现象，方法实现过程中无需人工干预，方法实时性好、智能化程度高。附图说明图1是烈士河大桥2017年4月22日温度传感器第四通道数据的一维时程图。图2是烈士河大桥2017年4月22日温度传感器第四通道相邻数据差值示意图。图3是烈士河大桥温度数据差值的趋势数据图。图4是烈士河大桥原始差值数据与趋势数据的差值示意图。图5是烈士河大桥原始差值数据与趋势数据的差值统计分析图。图6是烈士河大桥温度数据渐进式漂移最终清洗效果图。具体实施方式下面根据图1至图6对本专利技术的具体实施方式作出进一步说明：一种基于数据差值的桥梁渐进式漂移数据清洗方法，包括以下步骤：步骤1：获取传感器原始数据。步骤1具体包括：获取桥梁健康监测系统中传感器采集的原始数据{xi},i＝1,2,…,n，其中n为原始数据个数。步骤2：计算原始数据之间相邻数据的差值。步骤2具体包括：通过计算{xi},i＝1,2,…,n之间相邻数据的差值，得到数值序列{di},i＝1,2,…,n-1，其中di＝xi+1-xi。步骤3：通过SuperSmoother算法对原始差值数据提取趋势数据，得到原始差值数据与趋势数据的差值。步骤3具体包括：步骤3.1：采用SuperSmoother算法提取原始差值数据的趋势数据{si},i＝1,2,…,n-1；步骤3.2：计算di与si之间的差值进行分析，记为Di＝di-si。步骤4：采用区间估计理论，根据原始差值数据与趋势数据的差值的均值和标准差，得到原始差值数据与趋势数据的差值的正常值的变化范围。其中原始差值数据与趋势数据的差值的正常值的变化范围也可称作原始差值数据与趋势数据的差值的正常变化范围。步骤4具体包括：步骤4.1：计算原始差值数据与趋势数据的差值{Di},i＝1,2,…,n-1的均值μ和标准差σ；其中：步骤4.2：采用正态分布函数进行概率拟合，设满足保证率α，得到Di正常值的波动范围(μ-ασ,μ+ασ)。步骤5：寻找原始差值数据与趋势数据的差值处于置信区间以外的数据位置，确定原始数据中漂移异常值的位置并进行清洗。步骤5具体包括：步骤5.1：寻找原始差值数据与趋势数据的差值{Di},i＝1,2,…,n-1中处于置信区间(μ-ασ,μ+ασ)以外的数据位置信息，记：{Di},i＝1,2,…,n-1中小于μ-ασ的漂移异常值位置序列为j＝1,2,…m1，其中m1为差值小于下分位值的数据个数；{Di},i＝1,2,…,n-1中大于μ+ασ的漂移异常值位置序列为k＝1,2,…m2，其中m2为差值大于上分位值的数据个数；步骤5.2：j＝1,2,…m1和k＝1,2,…m2的集合即为原始数据中漂移异常值的位置，根据原始数据中漂移异常值的位置对原始数据中漂移异常值进行清洗。下面以烈士河大桥为例，说明本专利技术的具体实施过程：选取烈士河桥2017年4月22日温度传感器第四通道的数据，采样频率均为200Hz，共17280000个数据。本文档来自技高网...

【技术保护点】
1.一种基于数据差值的桥梁渐进式漂移数据清洗方法，其特征在于，包括以下步骤：步骤1：获取传感器原始数据；步骤2：计算原始数据之间相邻数据的差值；步骤3：通过Super Smoother算法对原始差值数据提取趋势数据，得到原始差值数据与趋势数据的差值；步骤4：采用区间估计理论，根据原始差值数据与趋势数据的差值的均值和标准差，得到原始差值数据与趋势数据的差值的正常值的变化范围；步骤5：寻找原始差值数据与趋势数据的差值处于置信区间以外的数据位置，确定原始数据中漂移异常值的位置并进行清洗。

【技术特征摘要】
1.一种基于数据差值的桥梁渐进式漂移数据清洗方法，其特征在于，包括以下步骤：步骤1：获取传感器原始数据；步骤2：计算原始数据之间相邻数据的差值；步骤3：通过SuperSmoother算法对原始差值数据提取趋势数据，得到原始差值数据与趋势数据的差值；步骤4：采用区间估计理论，根据原始差值数据与趋势数据的差值的均值和标准差，得到原始差值数据与趋势数据的差值的正常值的变化范围；步骤5：寻找原始差值数据与趋势数据的差值处于置信区间以外的数据位置，确定原始数据中漂移异常值的位置并进行清洗。2.根据权利要求1所述的基于数据差值的桥梁渐进式漂移数据清洗方法，其特征在于，所述的步骤1具体包括：获取桥梁健康监测系统中传感器采集的原始数据{xi},i＝1,2,…,n，其中n为原始数据个数。3.根据权利要求1所述的基于数据差值的桥梁渐进式漂移数据清洗方法，其特征在于，所述的步骤2具体包括：通过计算{xi},i＝1,2,…,n之间相邻数据的差值，得到数值序列{di},i＝1,2,…,n-1，其中di＝xi+1-xi。4.根据权利要求1所述的基于数据差值的桥梁渐进式漂移数据清洗方法，其特征在于，所述的步骤3具体包括：步骤3.1：采用S...

【专利技术属性】
技术研发人员：任普，
申请(专利权)人：南京睿永智运维工程科技有限公司，
类型：发明
国别省市：江苏,32