一种可实时对水雨情数据进行检验的系统技术方案

本实用新型专利技术公开了一种可实时对水雨情数据进行检验的系统，包括高速待检数据存储系统、交换机和联机分析处理系统，高速待检数据存储系统和联机分析处理系统之间通过交换机相连接，联机分析处理系统包括数据库服务器、历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器分别连接有历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器还连接有数据检验模块和输出模块。本实用新型专利技术其设计合理，有效解决了现有的水情数据分析方法无法处理复杂的数据结构，数据交换效率不高的缺陷，提供的数据精度更精准，方便用户的使用。

A system for real-time inspection of hydrological data

The utility model discloses a system capable of real-time inspection of water and rainfall data, including high-speed test data storage system, switch and OLAP system, high-speed data storage system for inspection and OLAP system connected through the switch, the OLAP system includes database server, database, web history the application displays, mass data storage and distributed backup device at least one operation / management processor, database server is respectively connected with a history database and web application display, data storage backup and distributed at least one operation / management processor, the database server is connected with the data test module and output module. The design of the utility model is reasonable, and effectively solves the defect that the existing hydrological data analysis method is unable to deal with the complex data structure, and the data exchange efficiency is not high. The data accuracy provided is more precise and convenient for users to use.

【技术实现步骤摘要】
一种可实时对水雨情数据进行检验的系统
本技术涉及一种水情数据分析方法，具体是一种分析历史水情信息(包括水位、流量、雨量等)，为用户提供高质的水情分析结果服务的一种可实时对水雨情数据进行检验的系统，属于涉及公共利益的智能化基础设施领域。
技术介绍
水文预报指是指根据前期或现时的水文气象资料，对某一水体、某一地区或某一水文站在未来一定时间内的水文情况作出定性或定量的预测，为防汛抗旱、水库的施工调度、水资源的有效利用等提供依据。水雨情实时预报中，水雨情实时数据的检验是在数据分析与挖掘之前所必须解决的关键性问题，传统的水雨情实时数据的检验只能靠数据库服务器进行单个的处理，对于现有的关于水雨情实时数据的检验结构存在如下的缺陷：第一，其结构较简单，组织结构单一，无法进行多重检验，所以会出现检验不够准确，因而会存在误报情况，一旦正确的信息被误报成错误的或者通过了不合理的数据，会造成水雨情数据分析更大的误差；第二，无应用系统呈现，检验规则与过程不可视化，不便于人们的管理；第三，无法实现海量数据存储与分布式高速运算，从而无法快速检验并且存在误报情况，一旦正确的信息被误报成错误的或通过了不合理的数据，会造成水雨情数据分析更大的误差，且现有的水文预报方式不能够快速校验模型预测准确率，也不能够实现重复调用优化分析结果，解决不了现有的水情数据分析中的水文历史数据和实时数据的联动分析等问题。
技术实现思路
针对现有技术中的不足，本技术提供了一种可实时对水雨情数据进行检验的系统和方法，其实现计算能力的提升，深度挖掘数据中存在的价值的功能，使分析尝试更有效率，分析人员可以通过工具快速的以可视化的方式自助实现分析价值的预判，节省时间与学习成本，优化分析结果，这样就可以为用户提供高质的水情分析结果。为了实现上述目的，本技术所采取的技术方案是：一种可实时对水雨情数据进行检验的系统，包括高速待检数据存储系统、交换机和联机分析处理系统(OLAP)，高速待检数据存储系统和联机分析处理系统之间通过交换机相连接，联机分析处理系统包括数据库服务器、历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器分别连接有历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器还连接有数据检验模块和输出模块。所述数据检验模块分为第一检测单元和第二检测单元，第一检测单元用来检测具有相同单位的历史数据与实时的水文信息进行对比，比较是否在历史数据区间的阀值内；第二检测单元用来将实时的水文信息与历史数据同期进行对比，寻找数据随月、季、年时间跨度的周期波动规律。所述至少一台分布式运算管理/处理器为三台。本技术的可进行网页应用显示器可对整个运算比对过程呈现在操作者面前，便于管理员的操作，高速待检数据存储系统通过传感器(流量传感器、流速传感器、水位传感器等)汇集大量实时流量、流速、水位等数据，高速待检数据存储系统通过交换机将这些数据分别以最快速度传至联机分析处理系统的分布式运算管理/处理器中，同时通过海量数据存储备份器进行快速备份，由于分布式运算管理/处理器至少一台，通过数据库服务器进行快速传输分配到每台分布式运算管理/处理器中，同时每台分布式运算管理/处理器也会结合历史数据库中不同类别的数据在进行处理数据，且处理完之后的数据回传给数据库服务器，所述数据检验模块分为第一检测单元和第二检测单元，第一检测单元从数据库服务器中调取对应的信息与历史数据库中的信息进行对比，其用来检测具有相同单位的历史数据与实时的水文信息进行对比，比较是否在历史数据区间的阀值内，第二检测单元从数据库服务器中调取对应的信息与历史数据库中的信息进行对比，其用来将实时的水文信息与历史数据同期进行对比，寻找数据随月、季、年时间跨度的周期波动规律，通过数据检验模块筛选出合理的数据并通过，将明显失真的数据筛除，然后通过数据库服务器传输给输出模块，输出模块可把输出分析信息推送给防汛部门应用端,提供分析防汛信息为部门或社会提供水情分析结果。本技术的有益效果：本技术提供可实时对水雨情数据进行检验系统，有效解决了现有的水情数据分析方法无法处理复杂的数据结构，数据交换效率不高，历史数据利用率低，系统监控管理能力有待提高等问题，具有能够提高分布式数据源的采集范围及效率，提升对海量历史数据的深度挖掘分析能力，优化分析结果，为用户提供高质的水情分析结果服务。一种可实时对水雨情数据进行检验的方法，包括以下步骤：S1，通过高速待检数据存储系统汇集本区域内所有的水文信息，水文信息为河流流量、河流流速和河流水位的数据；S2，将收集到的水文信息传输给交换机，交换机传输给联机分析处理系统(OLAP)，联机分析处理系统包括数据库服务器、历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器分别连接有历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器还连接有数据检验模块和输出模块，历史数据库用来存储不同类别的数据，联机分析处理系统中数据库服务器接收到交换机传输过的水文信息，数据库服务器中不同类别的数据通过数据库服务器分别给分布式运算管理/处理器和数据检验模块进行运算处理，分布式运算管理/处理器和数据检验模块进行运算处理之后的水文信息通过数据库服务器分别传输给可进行网页应用显示器和输出模块，可进行网页应用显示器用来对整个信息进行可视化显示(将多维分析的结果以图表形等可视化展示保存发布出来，绘制等值线、台风路径等水文内容展示)，输出模块可输出带有图形或表格的形式的运算结果综合评定的信息；S3，输出模块可把输出分析信息推送给防汛部门应用端,提供分析防汛信息为部门或社会提供水情分析结果。所述步骤S2中含有多维立方体引擎和即席查询引擎，通过多维立方体引擎进行多维分析的前提是针对水文信息进行维度梳理，建立立方体(Cube)模型，钻取(改变维的层次，变换分析的粒度)—切片(在一部分维上选定值后，关心度量数据在剩余维上的分布，如果剩余的维只有两个，则是切片)和切块(在一部分维上选定值后，关心度量数据在剩余维上的分布，如果有三个或以上，则是切块)—旋转(变换维的方向，即在表格中重新安排维的放置(例如行列互换))；通过即席查询引擎地选择查询条件，根据用户的选择生成相应的统计报表，由用户自定义查询条件，通过数据仓库建模和立方体抽象后的水文数据由即席查询引擎提供实时互动式访问分析。所述步骤S2中数据检验模块分为第一检测单元和第二检测单元，第一检测单元用来检测具有相同单位的历史数据与实时的水文信息进行对比，比较是否在历史数据区间的阀值内；第二检测单元用来将实时的水文信息与历史数据同期进行对比，寻找数据随月、季、年时间跨度的周期波动规律。所述步骤S2中至少一台分布式运算管理/处理器为三台。本技术中数据库服务器中不同类别的数据通过数据库服务器给分布式运算管理/处理器运算处理，其通过完整的常用的数据挖掘统计算法库,将许多统计算法在水文应用上以配置性的操作快速落地并生成模板实现重复利用。1、将人工神经网络应用于实时中长期水文预报中，实现传统水文统计学方法与非线性科本文档来自技高网...

【技术保护点】
一种可实时对水雨情数据进行检验的系统，其特征在于，包括高速待检数据存储系统、交换机和联机分析处理系统，高速待检数据存储系统和联机分析处理系统之间通过交换机相连接，联机分析处理系统包括数据库服务器、历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器分别连接有历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器还连接有数据检验模块和输出模块。

【技术特征摘要】
1.一种可实时对水雨情数据进行检验的系统，其特征在于，包括高速待检数据存储系统、交换机和联机分析处理系统，高速待检数据存储系统和联机分析处理系统之间通过交换机相连接，联机分析处理系统包括数据库服务器、历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器分别连接有历史数据库、可进行网页应用...

【专利技术属性】
技术研发人员：邱超，
申请(专利权)人：浙江省水文局，
类型：新型
国别省市：浙江,33