一种分流数据处理系统技术方案

本发明专利技术公开了一种分流数据处理系统，包括多个采集端、后台终端和多个交互终端，其中后台终端进一步包括分流单元、第一存储单元、第二存储单元、第三存储单元、判断单元、第一处理单元和第二处理单元。通过本技术方案，能够在面对数量庞杂的水务数据时，通过对原始数据进行预处理和分流，减少单一数据库的存储和处理压力，从而满足水务企业对于数据存储的现实需求；同时增加对于水务数据的数据处理速度，实现高效安全的大数据分析，并且支持机器学习、负载均衡以及冗余备份。

A data processing system of shunting

【技术实现步骤摘要】
一种分流数据处理系统
本专利技术涉及水务数据处理领域，尤其涉及一种分流数据处理系统。
技术介绍
目前，工业领域内数据存储和处理基本都是采用单一的数据库结构，其中包括：关系型数据库(Oracle、MySQL、SQLServer、DB2、Postgres)、非关系型数据库(GP、Redis、MongoDB、Memcache、Cassandra)和工业实时数据库(Pspace、iHistorian、Historian)，但是上述任一单一数据库均无法满足水务企业对于海量水务数据的处理需求：以一套设备100个测点，有1000套设备为例，则测点数达到10万，其中若假设测点每2秒上传一次采集数据，一天则需上传216000次供21.6亿条数据，一条数据4字节(4B)，则数据量一天达到86.4亿B，约8GB，一年就将达到2.8T的数据量。同时，现有的单一数据库在数据量为TB级数据时，读取速度将会变慢，容易频繁宕机，并且不支持机器学习自主分析，也不支持分布式部署和负载均衡，导致迸发能力差，无法满足水务数据处理的现实需求，需要通过对数据处理结构进行与需求相匹本文档来自技高网...

【技术保护点】
1.一种分流数据处理系统，其特征在于，包括：/n多个采集端，每个所述采集端对应一外部的水务设备，用于采集每个所述水务设备的工况数据并作为原始数据进行输出；/n后台终端，分别连接每个所述采集端，用于对所述原始数据进行接收、处理和存储，所述后台终端进一步包括：/n分流单元，用于接收并对所述原始数据进行分类和预处理，输出实时运算结果，统计数据和冗余数据；/n第一存储单元，连接所述分流单元，用于接收并存储所述实时运算结果；/n第二存储单元，连接所述分流单元，用于接收并存储所述统计数据；/n第三存储单元，连接所述分流单元，用于接收并存储所述冗余数据；/n判断单元，连接所述第一存储单元，用于根据所述实时运...

【技术特征摘要】
1.一种分流数据处理系统，其特征在于，包括：
多个采集端，每个所述采集端对应一外部的水务设备，用于采集每个所述水务设备的工况数据并作为原始数据进行输出；
后台终端，分别连接每个所述采集端，用于对所述原始数据进行接收、处理和存储，所述后台终端进一步包括：
分流单元，用于接收并对所述原始数据进行分类和预处理，输出实时运算结果，统计数据和冗余数据；
第一存储单元，连接所述分流单元，用于接收并存储所述实时运算结果；
第二存储单元，连接所述分流单元，用于接收并存储所述统计数据；
第三存储单元，连接所述分流单元，用于接收并存储所述冗余数据；
判断单元，连接所述第一存储单元，用于根据所述实时运算结果，判断对应的所述水务设备是否处于异常工况，并输出相应的判断结果；
第一处理单元，连接所述第二存储单元，用于根据外部的第一用户指令，提取相应的所述统计数据并进行统计处理，输出统计报表；
第二处理单元，连接所述第三存储单元，用于根据外部的第二用户指令，提取相应的所述冗余数据并进行大数据统计处理，输出大数据统计结果；
多个交互终端，每个交互终端均连接所述后台终端，用于接收并向所述后台终端发送所述第一用户指令和所述第二用户指令，同时实时接收并实时显示所述原始数据、所述实时运算结果、所述判断结果、所述统计报表和所述大数据统计结果。


2.如权利要求1所述的分流数据处理系统，其特征在于，所述原始数据包括所述水务设备的实时开关量数据、实时模拟量数据和基础参数数据。


3.如权利要求...

【专利技术属性】
技术研发人员：李纪玺，滕立勇，丁凯，俞丰姣，
申请(专利权)人：上海威派格智慧水务股份有限公司，
类型：发明
国别省市：上海;31