一种大量地下水实时自动监测数据自动识别和处理的方法技术

本发明专利技术涉及一种大量地下水实时自动监测数据自动识别和处理的方法，包括：基于第一数据处理规则，对接收到的地下水监测数据进行初步筛选，获取第一数据集；基于监测站点的埋深值，设置第二数据处理规则，通过第二数据处理规则对第一数据集进行筛选，得到第二数据集；通过连续监测时长的差异，对第二数据集进行分类处理和筛选，获取可疑数据集；通过比测的方法对可疑数据集进行人工确认，并采用直线插补法对可疑数据集中的缺失值进行处理，获取最终数据。本发明专利技术实现地下水监测过程中假埋深的自动识别，实现了地下水监测过程中错误数据的自动识别和处理，且能够对于不同长度序列的可疑数据进行识别。数据进行识别。数据进行识别。

【技术实现步骤摘要】
一种大量地下水实时自动监测数据自动识别和处理的方法


[0001]本专利技术涉及数据处理
，特别是涉及一种大量地下水实时自动监测数据自动识别和处理的方法。

技术介绍

[0002]水文现象存在“确定性过程”和“随机性过程”，确定性过程反映的是水位变化的必然性规律，随机性过程反映偶然性规律。在解决水文问题时，在计算前，通常会对水文资料做一致性分析处理，即还原或还现，以消除或减少人类活动及下垫面变化可能导致的水文变化非平稳性。
[0003]Tabachnick等人(1996)将异常值产生的原因划分为四类，错误数据输入(incorrect data entry)、计算编码故障(computer coding failure)、数据污染(data contamination)和真实数据(true observation)。自国家地下水监测系统运行以来，可将数据异常产生的原因归纳为以下几种情况：
[0004](1)人为因素：监测站运维或进行水样采集、抽水或开采、重新测量地面高程进行基础信息调整等因素引起的数据跳变；更换压力式水位计探头时，数据线长度测量不准或数据线未保持垂直状态；人工比测出现误差或操作错误。
[0005](2)非人为因素：降雨等因素引起的数据跳变；监测站出现井干、井淤、泉干、自流、结冰、地面积水等现象；仪器设备方面出现探头损坏或元器件稳定性不足产生数据漂移；数据传输时由于网络不稳定导致数据缺报、多报或冗余；召测数据由于数据量较大，超过报文字符数，分包发送导致解析错误等情况。
[0006]要建立高质量地下水监测数据库，势必要实现在线实时大量数据的自动化识别、处理和修正以提高数据质量，以实现实时入库的数据在某一规则下与历史资料在完整性、一致性、准确性、合理性、代表性等维度达到标准。

技术实现思路

[0007]本专利技术的目的是提供一种大量地下水实时自动监测数据自动识别和处理的方法，适用于所有类型的地下水水位、埋深监测数据，能够实现在线实时大量地下水埋深和水位数据的自动化识别、处理和修正。
[0008]为实现上述目的，本专利技术提供了如下方案：
[0009]一种大量地下水实时自动监测数据自动识别和处理的方法，包括：
[0010]基于第一数据处理规则，对接收到的地下水监测数据进行初步筛选，获取第一数据集；
[0011]基于监测站点的埋深值，设置第二数据处理规则，通过所述第二数据处理规则对所述第一数据集进行筛选，得到第二数据集；
[0012]通过连续监测时长的差异，对所述第二数据集进行分类处理和筛选，获取可疑数据集；
[0013]通过比测的方法对所述可疑数据集进行人工确认，并采用直线插补法对所述可疑数据集中的缺失值进行处理，获取最终数据。
[0014]优选地，所述第一数据处理规则包括埋深数据处理规则和水位数据处理规则；
[0015]其中，所述埋深数据处理规则包括：埋深监测值小于等于0但监测井非自流井；埋深监测值大于井深；埋深监测值等于水位值但地面高程不为0；
[0016]所述水位数据处理规则包括：水位值大于地面高程但非自流井；水位值等于埋深值但地面高程不为0。
[0017]优选地，获取所述第一数据集包括：
[0018]基于所述第一数据处理规则，对所述地下水监测数据进行初步筛选，将符合所述埋深数据处理规则和所述水位数据处理规则的数据剔除，获得所述第一数据集。
[0019]优选地，所述第二数据处理规则为假埋深自动识别，所述假埋深自动识别的方法包括：
[0020]将地面高程值GREL、监测埋深值BD、监测水位值Z进行比较，若监测水位值Z＝地面高程值GREL
‑
监测埋深值BD，则埋深为真埋深；若监测水位值Z＝固定点高程值FPEL
‑
监测埋深值BD，则监测埋深为假埋深。
[0021]优选地，获取所述第二数据集，包括：
[0022]将所述第一数据集中符合所述第二数据处理规则的数据剔除，获取所述第二数据集。
[0023]优选地，对所述第二数据集进行分类处理包括：
[0024]通过所述连续监测时长的差异，设定预设阈值，基于所述预设阈值对所述第二数据集进行分类，得到分类数据集一、分类数据集二和分类数据集三；其中，所述预设阈值包括第一阈值、第二阈值和第三阈值。
[0025]优选地，对所述分类数据集一进行处理包括：
[0026]通过确定异常值发生的位置，获取可疑数据，计算所述异常值发生的位置的方法为：
[0027][0028]其中，K表示异常值集合，y(t)表示按照时间发生顺序总长为T的第t个监测值，Q1、Q3分别为T个监测值的第一和第三四分位数，Δy(t)＝y(t+1)
‑
y(t)，n为经验值。
[0029]优选地，对所述分类数据集二进行处理包括：
[0030]采用时间序列预测方法进行可疑数据筛选，选用ETS(A,N,N)模型、ETS(A,A,N)模型、ETS(M,A,N)模型、Holt
‑
Winters指数无季节项、ARIMA方法分别进行模拟，计算AIC和BIC值，选取AIC和BIC最小的模型进行拟合优度检验；通过检验的模型确定为最终模型一，将分类数据集二输入所述最终模型一，将所述最终模型一的预测结果与进入分类数据集二中的实时监测数据进行对比，若所述实时监测数据大于预测值，则判定为可疑数据。
[0031]优选地，对所述分类数据集三进行处理包括：
[0032]采用特征值法和季节时间序列预测的方法叠加进行可疑数据筛选，季节时间序列预测为使用加法模型、乘法模型或混合模型处理ARIMA方法模型中的趋势因素、季节性因素和不规则因素，确定季节性与非季节性差分数，对季节性模型进行定阶，所述模型定阶的总体原则为AIC、BIC最小；使用Ljung_Box Q检验方法检验模型残差白噪声；通过检验的模型确定为最终模型二，将分类数据集三输入所述最终模型二，获得预测结果，将所述预测结果与进入分类数据集三中的实时监测数据进行对比，若实时监测数据大于预测值，则与历年特征值相比较，若超出历年特征值，则判定为可疑数据。
[0033]优选地，所述方法还包括：基于评价规则对所述最终数据进行综合成果校验及评价；
[0034]其中，所述评价规则，包括：
[0035]区域地下水动态变化和区域水文动态是否一致；
[0036]同一含水层各监测站之间的监测资料对比是否合理，相邻的相同含水层监测数据是否具有相同的变化趋势；
[0037]自动监测站日常运维对比观测资料是否与使用的实时监测数据相一致。
[0038]本专利技术的有益效果为：
[0039]本专利技术实现地下水监测过程中假埋深的自动识别，实现地下水监测过程中错误数据的自动识别和处理，实时大量地下水埋深和水位数据自动化识别、处理和修正的流程，且本专利技术能够对于不同长度序列的可疑数据进行识别。
附图说明
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大量地下水实时自动监测数据自动识别和处理的方法，其特征在于，包括：基于第一数据处理规则，对接收到的地下水监测数据进行初步筛选，获取第一数据集；基于监测站点的埋深值，设置第二数据处理规则，通过所述第二数据处理规则对所述第一数据集进行筛选，得到第二数据集；通过连续监测时长的差异，对所述第二数据集进行分类处理和筛选，获取可疑数据集；通过比测的方法对所述可疑数据集进行人工确认，并采用直线插补法对所述可疑数据集中的缺失值进行处理，获取最终数据。2.根据权利要求1所述的大量地下水实时自动监测数据自动识别和处理的方法，其特征在于，所述第一数据处理规则包括埋深数据处理规则和水位数据处理规则；其中，所述埋深数据处理规则包括：埋深监测值小于等于0但监测井非自流井；埋深监测值大于井深；埋深监测值等于水位值但地面高程不为0；所述水位数据处理规则包括：水位值大于地面高程但非自流井；水位值等于埋深值但地面高程不为0。3.根据权利要求2所述的大量地下水实时自动监测数据自动识别和处理的方法，其特征在于，获取所述第一数据集包括：基于所述第一数据处理规则，对所述地下水监测数据进行初步筛选，将符合所述埋深数据处理规则和所述水位数据处理规则的数据剔除，获得所述第一数据集。4.根据权利要求1所述的大量地下水实时自动监测数据自动识别和处理的方法，其特征在于，所述第二数据处理规则为假埋深自动识别，所述假埋深自动识别的方法包括：将地面高程值GREL、监测埋深值BD、监测水位值Z进行比较，若监测水位值Z＝地面高程值GREL
‑
监测埋深值BD，则埋深为真埋深；若监测水位值Z＝固定点高程值FPEL
‑
监测埋深值BD，则监测埋深为假埋深。5.根据权利要求4所述的大量地下水实时自动监测数据自动识别和处理的方法，其特征在于，获取所述第二数据集，包括：将所述第一数据集中符合所述第二数据处理规则的数据剔除，获取所述第二数据集。6.根据权利要求1所述的大量地下水实时自动监测数据自动识别和处理的方法，其特征在于，对所述第二数据集进行分类处理包括：通过所述连续监测时长的差异，设定预设阈值，基于所述预设阈值对所述第二数据集进行分类，得到分类数据集一、分类数据集二和分类数据集三；其中，所述预设阈值包括第一阈值、第二阈值和第三阈值。7.根据权利要求6所述的大量地下水实时自...

【专利技术属性】
技术研发人员：王卓然，刘杰，卢洪健，孙龙，杨桂莲，
申请(专利权)人：水利部信息中心，
类型：发明
国别省市：