一种基于数据全链条时空耦合质控的水文数据治理方法技术

本发明专利技术涉及一种基于数据全链条时空耦合质控的水文数据治理方法，解决目前精细化的水文数据治理能力不足，数据失真但又不明显异常的水文数据缺乏自动质控手段的问题。本方法包括以下步骤：S1、建立水文测站标准化样本集；S2、基于水文测站标准化样本集，开展水文数据初筛质控；S3、基于S1样本集、S2数据进行时空耦合质控，实现对数据失真但又不明显异常的水文数据进行精细化质控，依次为水文测站多要素时空耦合质控、河段同要素时空耦合质控、流域点面时空耦合质控。本发明专利技术通过对水文数据开展全链条时空耦合质控，可以自动高效地判别各类水文数据失真问题，实现水文数据智能精细化治理，为水旱灾害防御提供更加精准可靠的水文数据支撑。据支撑。据支撑。

【技术实现步骤摘要】
一种基于数据全链条时空耦合质控的水文数据治理方法


[0001]本专利技术属于水文领域，涉及一种水文数据的处理方法，特别涉及一种基于数据全链条时空耦合质控的水文数据治理方法。

技术介绍

[0002]水文数据是反映江河湖库水雨情形势最为直观的基础信息，是开展水旱灾害防御工作的重要情报，对社会经济发展具有重要作用。特别是在台风暴雨期间，洪峰水位流量等及时可靠的水文数据是开展水利工程防洪调度及沿河居民安全转移的重要依据。水文数据必须准确可靠，一旦水文数据失真，传递错误情报，则可能引发严重后果。因此，水文数据质量控制非常重要。
[0003]目前，水文数据治理主要在数据链条末端的应用数据库中进行。即根据不同站点的雨量、水位等不同水文观测要素，分类制定差异化的质控规则，将超出正常范围、正常变率的数据认定为异常数据，从而达到自动质控的目的。该质控方法仅能筛选出超过设定阈值或大幅突变等明显异常数据，只能算是“粗筛”。明显异常数据在实际应用阶段往往也能人工发现而阻止错误传递，相反的，容易传递错误情报的往往是数据失真但又不明显异常的数据。然而，目前针对该类数据的自动质控手段较为缺乏，尚未见到相关技术的报道或专利记载。
[0004]近年来，随着数字化改革的深入推进以及大数据、云计算等前沿技术的快速发展，为海量数据处理、智能决策分析提供了技术条件，使开展全自动、精细化的水文数据治理成为可能。

技术实现思路

[0005]本专利技术的目的在于针对目前精细化的水文数据治理能力不足，数据失真但又不明显异常的水文数据缺乏自动质控手段的问题，本专利技术提供一种基于数据全链条时空耦合质控的水文数据治理方法，能够自动高效地判别各类水文数据失真问题，实现水文数据智能精细化治理。
[0006]本专利技术解决其技术问题所采用的技术方案是：一种基于数据全链条时空耦合质控的水文数据治理方法，其特征在于：包括以下步骤：
[0007]S1、建立水文测站标准化样本集，将水文测站整理成规范数组格式，以便于开展自动分析计算；
[0008]S2、基于水文测站标准化样本集，开展水文数据初筛质控，包括前端设备质控、设备联合质控、水文测站数据融合过程质控；
[0009]S3、基于S1样本集、S2数据进行时空耦合质控，实现对数据失真但又不明显异常的水文数据进行精细化质控，依次为水文测站多要素时空耦合质控、河段同要素时空耦合质控、流域点面时空耦合质控。
[0010]作为优选，所述步骤S1标准化样本集的建立包括以下步骤：
[0011]S1.1、以流域为单元，以河流水系分级为基础，建立水文测站标准化W，包括干流、一级支流、
…
N级支流水文水位站样本集G、Z1、
…
Z
N
，以及区间雨量站样本集P；
[0012]W＝{G,Z1,Z2,Z3,
…
,Z
N
,P}；
[0013]S1.2、建立干流水文水位站样本集，G＝{G
j
}，G
j
表示干流从上游向下游依次排序的第j个水文水位站；
[0014]S1.3、建立一级支流水文水位站样本集，对于一级支流，表示第i条一级支流从上游向下游依次排序的第j个水文水位站，G
q
代表第i条一级支流汇入干流的汇入点下游方向的第一个水文水位站，G
q
∈G；
[0015]S1.4、建立二级以下支流水文水位站样本集，对于二级以下支流，2≤k≤N，表示第i条k级支流从上游向下游依次排序的第j水文水位站，为第i条k级支流汇入对应k
‑
1级支流的汇入点下游方向的第一个水文水位站，
[0016]S1.5、建立区间雨量站样本集，以水文水位站为单元，匹配上游水文水位站断面以下与本站断面以上区间流域内的雨量站，形成区间雨量站标准化样本集，P＝{P
x
}、P
x
＝{P
xl
}；
[0017]x∈{G,Z1,Z
k
}，2≤k≤N；
[0018]x为所有干流和支流的水文水位站之一，P
x
代表水文水位站x的区间雨量站样本集，即水文水位站x与其上游水文水位站之间的所有雨量站集；P
xl
分别代表水文水位站x区间流域上的第l个雨量站。
[0019]作为优选，所述S2开展水文数据初筛质控包括以下步骤：
[0020]S2.1、前端设备质控；根据设备有效量程、水体变化范围等对感知设备的实时数据进行质控，将数据超出正常变化范围、数据长期不变或缺失、数据大幅突跳等数据明显异常的设备列入设备故障预警；
[0021]S2.2、设备联合质控；一个水文测站可以有水位、雨量、流量等多种水文观测要素，当测站同一观测要素有两套及以上感知设备时，开展设备联合质控；当同要素设备为两套时，对比同时刻两套设备实时数据差异性，将误差超出合理范围的两套设备均列入设备故障待定库，等待进一步判别；当同要素设备为超过两套时，若某设备与两套及以上同要素设备误差均超出合理范围，则将该设备列入设备故障预警；如水文测站所有设备均列入故障预警，则将测站列入测站故障预警；
[0022]S2.3、设备数据向水文测站数据融合；未被列入设备故障预警的设备按照优先级顺序进行测站数据融合，即测站实时数据优先采用优先级最高的设备数据；当优先级最高的设备故障时，采用优先级第二高的设备数据，以此类推；优先级根据设备精度差异人为设定。
[0023]作为优选，步骤S2.3中，对水文测站数据融合过程结合测站特性进行质控；测站特性的下限值有河底高程、水库死水位、历史最低水位、历史最小流量，测站特性的上限值有河道堤顶高程、水库防洪高水位、水库坝顶高程、历史最高水位、历史最大流量，将明显低于测站特性下限值或高于测站特性上限值的测站数据判定为异常数据。
[0024]作为优选，所述S3中水文测站多要素时空耦合质控包括以下步骤：
[0025]S3.1、对每个水文水位站x进行测站多要素时空耦合质控；
[0026]S3.1.1、建立每个水文水位站观测要素集M
x
；以每个水文水位站x为单元，将水文水位站观测要素按照因果关系排序后列入观测要素集；如某水文水位站观测雨量a、流量b、水位c三个要素，则该站的观测要素集M
x
＝(a,b,c)；
[0027]S3.1.2、水文水位站各要素相关性分析，观测要素集M
x
的各观测要素，以前位要素为自变量，以后位要素为应变量，后位要素与其所有前位要素进行相关性分析；如b与a进行相关性分析，c分别与a和b进行相关性分析；考虑各要素变化可能存在时间不同步，增加时间位移变量，分析不同时间位移t下的水文水位站要素相关性，采用线性回归或非线性回归方法，拟合线性或一元二次回归曲线，分别计算相关系数r1；
[0028]S3.1.3、建立水文水位站的耦合要素集O
x
...

【技术保护点】

【技术特征摘要】
1.一种基于数据全链条时空耦合质控的水文数据治理方法，其特征在于：包括以下步骤：S1、建立水文测站标准化样本集；S2、基于水文测站标准化样本集，开展水文数据初筛质控，包括前端设备质控、设备联合质控、水文测站数据融合过程质控；S3、基于S1样本集、S2数据进行时空耦合质控，实现对数据失真但又不明显异常的水文数据进行精细化质控，依次为水文测站多要素时空耦合质控、河段同要素时空耦合质控、流域点面时空耦合质控。2.根据权利要求1所述的一种基于数据全链条时空耦合质控的水文数据治理方法，其特征在于：所述步骤S1标准化样本集的建立包括以下步骤：S1.1、以流域为单元，以河流水系分级为基础，建立水文测站标准化样本集W，包括干流、一级支流、
…
N级支流水文水位站样本集G、Z1、
…
Z
N
，以及区间雨量站样本集P；W＝{G，Z1，Z2，Z3，，Z
N
，P}；S1.2、建立干流水文水位站样本集，G＝{G
j
}，G
j
表示干流从上游向下游依次排序的第j个水文水位站；S1.3、建立一级支流水文水位站样本集，对于一级支流，S1.3、建立一级支流水文水位站样本集，对于一级支流，表示第i条一级支流从上游向下游依次排序的第j个水文水位站，G
q
代表第i条一级支流汇入干流的汇入点下游方向的第一个水文水位站，G
q
∈G；S1.4、建立二级以下支流水文水位站样本集，对于二级以下支流，S1.4、建立二级以下支流水文水位站样本集，对于二级以下支流，表示第i条k级支流从上游向下游依次排序的第j水文水位站，为第i条k级支流汇入对应k
‑
1级支流的汇入点下游方向的第一个水文水位站，S1.5、建立区间雨量站样本集，以水文水位站为单元，匹配上游水文水位站断面以下与本站断面以上区间流域内的雨量站，形成区间雨量站标准化样本集，P＝{P
x
}、P
x
＝{P
xl
)；x∈{G，Z1，Z
k
}，2≤k≤N；x为所有干流和支流的水文水位站之一，P
x
代表水文水位站x的区间雨量站样本集，即水文水位站x与其上游水文水位站之间的所有雨量站集；P
xl
分别代表水文水位站x区间流域上的第l个雨量站。3.根据权利要求2所述的一种基于数据全链条时空耦合质控的水文数据治理方法，其特征在于：所述S2开展水文数据初筛质控包括以下步骤：S2.1、前端设备质控；根据设备有效量程、水体变化范围等对感知设备的实时数据进行质控，将数据超出正常变化范围、数据长期不变或缺失、数据大幅突跳等数据明显异常的设备列入设备故障预警；S2.2、设备联合质控；一个水文测站可以有水位、雨量、流量等多种水文观测要素，当测站同一观测要素有两套及以上感知设备时，开展设备联合质控；当同要素设备为两套时，对比同时刻两套设备实时数据差异性，将误差超出合理范围的两套设备均列入设备故障待定
库，等待进一步判别；当同要素设备为超过两套时，若某设备与两套及以上同要素设备误差均超出合理范围，则将该设备列入设备故障预警；如水文测站所有设备均列入故障预警，则将测站列入测站故障预警；S2.3、设备数据向水文测站数据融合；未被列入设备故障预警的设备按照优先级顺序进行测站数据融合，即测站实时数据优先采用优先级最高的设备数据；当优先级最高的设备故障时，采用优先级第二高的设备数据，以此类推；优先级根据设备精度差异人为设定。4.根据权利要求3所述的一种基于数据全链条时空耦合质控的水文数据治理方法，其特征在于：步骤S2.3中，对水文测站数据融合过程结合测站特性进行质控；测站特性的下限值有河底高程、水库死水位、历史最低水位、历史最小流量，测站特性的上限值有河道堤顶高程、水库防洪高水位、水库坝顶高程、历史最高水位、历史最大流量，将明显低于测站特性下限值或高于测站特性上限值的测站数据判定为异常数据。5.根据权利要求2或3或4所述的一种基于数据全链条时空耦合质控的水文数据治理方法，其特征在于：所述S3中水文测站多要素时空耦合质控包括以下步骤：S3.1、对每个水文水位站x进行测站多要素时空耦合质控；S3.1.1、建立每个水文水位站观测要素集M
x
；以每个水文水位站x为单元，将水文水位站观测要素按照因果关系排序后列入观测要素集；如某水文水位站观测雨量a、流量b、水位c三个要素，则该站的观测要素集M
x
＝(a,b,c)；S3.1.2、水文水位站各要素相关性分析，观测要素集M
x
的各观测要素，以前位要素为自变量，以后位要素为应变量，后位要素与其所有前位要素进行相关性分析；如b与a进行相关性分析，c分别与a和b进行相关性分析；考虑各要素变化可能存在时间不同步，增加时间位移变量，分析不同时间位移t下的水文水位站要素相关性，采用线性回归或非线性回归方法，拟合线性或一元二次回归曲线，分别计算相关系数r1；S3.1.3、建立水文水位站的耦合要素集O
x
；对于M
x
中任何一个要素，都可以选取出一条相关系数r1最高的回归曲线，对应某时间位移情况下的另一要素；如果该相关系数r1达到人为设定的耦合允许值，则认为该两要素时空耦合成功，否则为耦合失败；以此类推，对水文水位站x所有要素自动进行测站多要素时空耦合分析，耦合成功的要素形成水文水位站x的耦合要素集O
x
，耦合要素集O
x
包括自变量、应变量、时间位移值、回归曲线方程、回归曲线95％的置信区间；一个要素对应的时空耦合要素可以是多个，...

【专利技术属性】
技术研发人员：王淑英，陈金浩，戚佳飞，黄小文，曾国熙，陈浙梁，许波刘，陈立辉，张紫琳，田玺泽，邱超，吕耀光，李军，郭磊，韩淼，
申请(专利权)人：浙江省水利水电勘测设计院有限责任公司，
类型：发明
国别省市：