大坝变形监测数据异常值自适应识别方法技术

本发明专利技术公开的大坝变形监测数据异常值自适应识别方法，主要是通过引进BMS方法优选出大坝变形监控模型在建模过程的关键影响因子；然后，利用优选出的关键影响因子集建立大坝变形稳健回归模型，结合LTS估计方法，对大坝变形监测数据进行稳健回归分析，从而在无需进行数据预处理的情况下同时实现回归建模、数据异常值识别以及结构变形预测。本发明专利技术的大坝变形监测数据异常值自适应识别方法可以自适应地克服异常值对回归的误导效应，其结果增强了回归的显著性，同时有效提高了数据预测精度。同时有效提高了数据预测精度。同时有效提高了数据预测精度。

【技术实现步骤摘要】
大坝变形监测数据异常值自适应识别方法


[0001]本专利技术属于坝安全监测方法
，具体涉及一种大坝变形监测数据异常值自适应识别方法。

技术介绍

[0002]利用大坝变形监测资料建立安全监控模型，是定量分析大坝变形性态的重要方法。目前，针对坝体变形可建立的安全监控模型主要有三类，其中，统计模型凭借理论成熟、建模简单、使用方便等优点，被广泛应用于大坝变形监测资料定量分析中。
[0003]常见的统计模型多采用经验影响因子描述荷载对大坝变形性态的影响，但在实际工程中，影响大坝变形的因素错综复杂，经验影响因子中的冗余因子反而可能会导致统计模型拟合优度变差、预测精度变低；此外，在大坝变形监测数据的采集过程中，由于数据采集环境的复杂性、采集设备性能的限制以及人为因素的影响，获取的原始监测数据本身除了包含大坝实际运行状态的信息，还掺有不符合环境量与变形效应量之间特定物理力学关系的异常值，导致统计模型严重偏离实际，同时，由于大坝安全监测数据量较大，也会一定程度上导致异常值剔除的成本增高与工作量加大。
[0004]综上所述，为有效剔除大坝变形经验影响因子中的冗余因子，并自适应地克服异常值干扰对统计模型性能的不良影响，提出一种新的安全监控模型并基于该模型对大坝变形监测数据中异常值进行识别是非常必要的。

技术实现思路

[0005]本专利技术的目的是提供一种大坝变形监测数据异常值自适应识别方法，该方法构建了基于BMS
‑
LTS的稳健回归模型，可以自适应地克服异常值对回归的误导效应，有效提高了数据预测精度。
[0006]本专利技术所采用的技术方案是，大坝变形监测数据异常值自适应识别方法，具体包括以下步骤：
[0007]步骤1、根据工程实际确定需要进行异常值自适应识别的大坝变形测点，将对应测点的变形及其经验影响因子监测数据作为待构建稳健回归模型的数据集，并根据数据集大小和实际需要划分训练集和测试集；
[0008]步骤2、采用BMS方法对影响大坝变形的经验影响因子进行约简，采用BIC的向后剔除法剔除经验影响因子中的冗余因子，从而确定待构建稳健回归模型的关键影响因子；
[0009]步骤3、利用训练集的变形及其关键影响因子监测数据实测值构建多元线性回归模型，并通过LTS估计获得最终回归系数，从而建立基于BMS
‑
LTS的稳健回归模型；
[0010]步骤4、将用于最终回归系数估计的若干个数据记为最佳数据群，剩余的数据则标记为异常，对数据序列中可能存在的水平移位异常进行识别，并采用双楔形图对异常值在数据序列中的变化情况进行可视化；
[0011]步骤5、将测试集的关键影响因子输入至步骤3训练好的基于BMS
‑
LTS的稳健回归
模型中，获得相应测点的大坝变形预测值。
[0012]本专利技术的特征还在于，
[0013]步骤2具体包括以下步骤：
[0014]步骤2.1、利用步骤1得到的全部经验影响因子构建完整的线性回归模型，从中随机剔除一个经验影响因子，用余下的因子拟合出新的线性回归模型，并记录其BIC值；重复与全部经验影响因子个数相同的次数，选择具有最小BIC值的线性回归模型进行后续计算分析；
[0015]步骤2.2、针对步骤2.1中选出的具有最小BIC值的线性回归模型，通过再次剔除该模型的一个经验影响因子，进一步观察拟合出的若干个新线性回归模型的BIC值，选择BIC值最低的模型进行后续计算分析；
[0016]步骤2.3、重复步骤2.1～步骤2.2，直至拟合出的线性回归模型BIC值不再降低，最后选择具有全局最小BIC值的线性回归模型为最佳简约模型，其对应的因子即为待构建稳健回归模型的关键影响因子。
[0017]步骤2中BIC值的计算公式为：
[0018]BIC＝
‑
2ln(likelihood)+(m+1)ln(n)(1)
[0019]式中：n是线性回归模型中的观测值数量，m是预测值数量；
[0020]给定模型M及其参数θ的似然函数如下：
[0021]likelihood＝P(data|θ,M)＝L(θ,M)(2)；
[0022]当样本量足够大且数据服从指数族分布时，BIC值可近似为：
[0023]BIC≈
‑
2ln(P(data|M))＝
‑
2ln(∫P(data|θ,M)P(θ|M)dθ)(3)
[0024]式中：P(data|M)是模型M下关于data的边际似然函数，P(θ|M)是关于参数θ的先验分布。
[0025]步骤3具体包括以下步骤：
[0026]步骤3.1、将相应测点训练集的变形和经BMS方法选出的关键影响因子监测数据用于构建多元线性回归模型，设监测数据实测值的个数为n，则多元线性回归模型可表示为：
[0027][0028]式中：x为自变量，x∈R
n
×
p
；y为因变量，y∈R
n
；为待估参数，ε为随机误差项，ε∈R
n
；p为自变量的个数；
[0029]步骤3.2、采用LTS估计对步骤3.1中构建的多元线性回归模型进行参数估计，从n个实测值中随机选择h个不同的样本点组成样本子集H0，采用LS方法计算得到初始回归系数；
[0030]步骤3.3、将步骤3.2得到的初始回归系数代入步骤3.1中所建立的多元线性回归模型中，计算得到n个实测值的平方残差，并将平方残差按升序排列，记前h个实测值的平方残差之和为给定任意参数定义平方残差为：
[0031][0032]式中：(x
i
,y
i
)为第i样本点的监测数据实测值，为第i个样本点对应的平方
残差；
[0033]步骤3.4、保留步骤3.3中具有最小平方残差的前h个实测值所对应的样本，将其作为新的样本子集H1，采用LS方法计算得到新的回归系数；
[0034]步骤3.5、将步骤3.4得到的新的回归系数代入步骤3.1中所建立的多元线性回归模型中，计算得到n个实测值的平方残差，并将平方残差按升序排列，记前h个实测值的平方残差之和为
[0035]步骤3.6、重复步骤3.2～步骤3.5，直至前h个实测值的平方残差之和收敛，则表达式为：
[0036][0037]其中，h的取值范围需满足
[0038]步骤3.7、将步骤3.6中收敛时所对应的最终回归系数代入步骤3.1所建立的多元线性回归模型中，即获得基于BMS
‑
LTS的稳健回归模型。
[0039]步骤4具体包括以下步骤：
[0040]步骤4.1、在步骤3.1得到的多元线性回归模型中加入相应的水平移位异常检测因子，即δ1I(w≥δ2)，其中w＝1,
…
,n；I(.)为指示函数，δ2为水平移位异常的确切位置，w
(1
),
…
,w
(S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.大坝变形监测数据异常值自适应识别方法，其特征在于，具体包括以下步骤：步骤1、根据工程实际确定需要进行异常值自适应识别的大坝变形测点，将对应测点的变形及其经验影响因子监测数据作为待构建稳健回归模型的数据集，并根据数据集大小和实际需要划分训练集和测试集；步骤2、采用BMS方法对影响大坝变形的经验影响因子进行约简，采用BIC的向后剔除法剔除经验影响因子中的冗余因子，从而确定待构建稳健回归模型的关键影响因子；步骤3、利用训练集的变形及其关键影响因子监测数据实测值构建多元线性回归模型，并通过LTS估计获得最终回归系数，从而建立基于BMS
‑
LTS的稳健回归模型；步骤4、将用于最终回归系数估计的若干个数据记为最佳数据群，剩余的数据则标记为异常，对数据序列中可能存在的水平移位异常进行识别，并采用双楔形图对异常值在数据序列中的变化情况进行可视化；步骤5、将测试集的关键影响因子输入至步骤3训练好的基于BMS
‑
LTS的稳健回归模型中，获得相应测点的大坝变形预测值。2.根据权利要求1所述的大坝变形监测数据异常值自适应识别方法，其特征在于，步骤2具体包括以下步骤：步骤2.1、利用步骤1得到的全部经验影响因子构建完整的线性回归模型，从中随机剔除一个经验影响因子，用余下的因子拟合出新的线性回归模型，并记录其BIC值；重复与全部经验影响因子个数相同的次数，选择具有最小BIC值的线性回归模型进行后续计算分析；步骤2.2、针对步骤2.1中选出的具有最小BIC值的线性回归模型，通过再次剔除该模型的一个经验影响因子，进一步观察拟合出的若干个新线性回归模型的BIC值，选择BIC值最低的模型进行后续计算分析；步骤2.3、重复步骤2.1～步骤2.2，直至拟合出的线性回归模型BIC值不再降低，最后选择具有全局最小BIC值的线性回归模型为最佳简约模型，其对应的因子即为待构建稳健回归模型的关键影响因子。3.根据权利要求2所述的大坝变形监测数据异常值自适应识别方法，其特征在于，步骤2中所述BIC值的计算公式为：BIC＝
‑
2ln(likelihood)+(m+1)ln(n)(1)式中：n是线性回归模型中的观测值数量，m是预测值数量；给定模型M及其参数θ的似然函数如下：likelihood＝P(data|θ,M)＝L(θ,M)(2)；当样本量足够大且数据服从指数族分布时，BIC值可近似为：BIC≈
‑
2ln(P(data|M))＝
‑
2ln(∫P(data|θ,M)P(θ|M)dθ)(3)式中：P(data|M)是模型M下关于data的边际似然函数，P(θ|M)是关于参数θ的先验分布。4.根据权利要求2或3所述的大坝变形监测数据异常值自适应识别方法，其特征在于，步骤3具体包括以下步骤：步骤3.1、将相应测点训练集的变形和经BMS方法选出的关键影响因子监测数据用于构建多元线性回归模型，设监测数据实测值的个数为n，则多元线性回归模型可表示为：
式中：x为自变量，x∈R
n
×
p
；y为因变量，y∈R
n
；为待估参数，ε为随机误差项，ε∈R
n
；p为自变量的个数；步骤3.2、采用LTS估计对步骤3.1中构建的多元线性回归模型进行参数估计，从n个实测值中随机选择h个不同的样本点组成样本子集H0，采用LS方法计算得到初始回归系数；步骤3.3、将步骤3.2得到的初始回归系数代入...

【专利技术属性】
技术研发人员：程琳，肖晟，杨杰，陈家敏，徐笑颜，贾冬焱，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：