一种数据处理系统技术方案

本发明专利技术公开了一种数据处理系统，应用于水务处理处理领域，具体包括多个采集端、处理端、第一存储端、第二存储端和交互端。通过本技术方案，能够在面对数量庞杂的水务数据时，通过系统化多层数据库的设置解决水务企业的数据存储的需求，减少重复采购数据库的工作，降低存储成本；同时增加对于水务数据的数据处理速度，实现高效安全的大数据分析，并且支持分布式部署、负载均衡以及冗余备份。

A data processing system

【技术实现步骤摘要】
一种数据处理系统
本专利技术涉及水务数据处理领域，尤其涉及一种数据处理系统。
技术介绍
目前，工业领域内数据存储和处理基本都是采用单一的数据库结构，其中包括：关系型数据库(Oracle、MySQL、SQLServer、DB2、Postgres)、非关系型数据库(GP、Redis、MongoDB、Memcache、Cassandra)和工业实时数据库(Pspace、iHistorian、Historian)，但是上述任一单一数据库均无法满足水务企业对于海量水务数据的处理需求：以一套设备100个测点，有1000套设备为例，则测点数达到10万，其中若假设测点每2秒上传一次采集数据，一天则需上传216000次供21.6亿条数据，一条数据4字节(4B)，则数据量一天达到86.4亿B，约8GB，一年就将达到2.8T的数据量。同时，现有的单一数据库在数据量为TB级数据时，读取速度将会变慢，容易频繁宕机，并且不支持机器学习自主分析，也不支持分布式部署和负载均衡，导致迸发能力差。
技术实现思路
针对现有技术中存在的上述问题，现提供一数本文档来自技高网...

【技术保护点】
1.一种数据处理系统，应用于水务数据处理，其特征在于，包括：/n多个采集端，用于实时采集所述水务数据并进行输出；/n第一存储端，分别连接每个所述采集端，用于暂存实时采集的所述水务数据，并输出值一连接所述第一存储端的控制端；/n所述控制端根据所述水务数据进行实时运算后向所述第一存储端反馈实时运算结果，以供所述第一存储端暂存；/n第二存储端，分别连接所述第一存储端和所述控制端，用于接收所述第一存储端输出的所述水务数据和所述实时运算结果，并根据预设的存储周期对所述水务数据和所述实时运算结果作为统计数据进行存储；/n所述第二存储端将所述统计数据输出至所述控制端进行统计分析，所述控制端向所述第二存储端反...

【技术特征摘要】
1.一种数据处理系统，应用于水务数据处理，其特征在于，包括：
多个采集端，用于实时采集所述水务数据并进行输出；
第一存储端，分别连接每个所述采集端，用于暂存实时采集的所述水务数据，并输出值一连接所述第一存储端的控制端；
所述控制端根据所述水务数据进行实时运算后向所述第一存储端反馈实时运算结果，以供所述第一存储端暂存；
第二存储端，分别连接所述第一存储端和所述控制端，用于接收所述第一存储端输出的所述水务数据和所述实时运算结果，并根据预设的存储周期对所述水务数据和所述实时运算结果作为统计数据进行存储；
所述第二存储端将所述统计数据输出至所述控制端进行统计分析，所述控制端向所述第二存储端反馈对应的统计分析结果，以供所述第二存储端根据预设的所述存储周期进行存储；
当所述第二存储端中的所述统计数据以及对应的所述统计分析结果的保存时间超过所述存储周期时，所述第二存储端将所述统计数据以及对应的所述统计分析结果作为规模运算数据输出并于所述第二存储端中删除；
第三存储端，分别连接所述第一存储端、所述第二存储端和所述控制端，用于接收所述水务数据、所述实时运算结果和所述规模运算数据，并将所述水务数据、所述实时运算结果和所述规模运算数据作为历史数据进行长期存储；
所述第三存储端同时将所述规模运算数据发送至所述控制端进行大数据分析，所述控制端向所述第三存储端反馈对应的大数据分析结果。


2.如权利要求1所述的数据处理系统，其特征在于，所述数据处理系统还包括一交互端；
所述交互端连接所述处理端，用于提供一人机交互平台，用户能够通过所述人机交互平台向所述处理端发送用户指令，并通过所述人机交互平台查看所述水务数据、所述实时运算结果、所述统计分析结果和所述大数据分析结果。


3.如权利要求1所述的数据处理系统，其特征在于，每个所述采集端均按一预设频率对所述水务数据进行采集；
所述第一存储端按所述预设频率对所述水务数据和所述实时运算结果进行暂存。


4.如权利要求1所述的数据处理系统，其特征在于，所述存储周期的取值范围为[7日，30日]。


5.如权利要求1所述的...

【专利技术属性】
技术研发人员：李纪玺，滕立勇，丁凯，俞丰姣，
申请(专利权)人：上海威派格智慧水务股份有限公司，
类型：发明
国别省市：上海;31