一种分流数据处理系统技术方案

本发明专利技术公开了一种分流数据处理系统，包括多个采集端、后台终端和多个交互终端，其中后台终端进一步包括分流单元、第一存储单元、第二存储单元、第三存储单元、判断单元、第一处理单元和第二处理单元。通过本技术方案，能够在面对数量庞杂的水务数据时，通过对原始数据进行预处理和分流，减少单一数据库的存储和处理压力，从而满足水务企业对于数据存储的现实需求；同时增加对于水务数据的数据处理速度，实现高效安全的大数据分析，并且支持机器学习、负载均衡以及冗余备份。

A data processing system of shunting

【技术实现步骤摘要】
一种分流数据处理系统
本专利技术涉及水务数据处理领域，尤其涉及一种分流数据处理系统。
技术介绍
目前，工业领域内数据存储和处理基本都是采用单一的数据库结构，其中包括：关系型数据库(Oracle、MySQL、SQLServer、DB2、Postgres)、非关系型数据库(GP、Redis、MongoDB、Memcache、Cassandra)和工业实时数据库(Pspace、iHistorian、Historian)，但是上述任一单一数据库均无法满足水务企业对于海量水务数据的处理需求：以一套设备100个测点，有1000套设备为例，则测点数达到10万，其中若假设测点每2秒上传一次采集数据，一天则需上传216000次供21.6亿条数据，一条数据4字节(4B)，则数据量一天达到86.4亿B，约8GB，一年就将达到2.8T的数据量。同时，现有的单一数据库在数据量为TB级数据时，读取速度将会变慢，容易频繁宕机，并且不支持机器学习自主分析，也不支持分布式部署和负载均衡，导致迸发能力差，无法满足水务数据处理的现实需求，需要通过对数据处理结构进行与需求相匹配的改进。
技术实现思路
针对现有技术中存在的上述问题，现提供一种分流数据处理系统，具体技术方案如下所示：一种分流数据处理系统，具体包括：多个采集端，每个采集端对应一外部的水务设备，用于采集每个水务设备的工况数据并作为原始数据进行输出；后台终端，分别连接每个采集端，用于对原始数据进行接收、处理和存储，后台终端进一步包括：分流单元，用于接收并对原始数据进行分类和预处理，输出实时运算结果，统计数据和冗余数据；第一存储单元，连接分流单元，用于接收并存储实时运算结果；第二存储单元，连接分流单元，用于接收并存储统计数据；第三存储单元，连接分流单元，用于接收并存储冗余数据；判断单元，连接第一存储单元，用于根据实时运算结果，判断对应的水务设备是否处于异常工况，并输出相应的判断结果；第一处理单元，连接第二存储单元，用于根据外部的第一用户指令，提取相应的统计数据并进行统计处理，输出统计报表；第二处理单元，连接第三存储单元，用于根据外部的第二用户指令，提取相应的冗余数据并进行大数据统计处理，输出大数据统计结果；多个交互终端，每个交互终端均连接后台终端，用于接收并向后台终端发送第一用户指令和第二用户指令，同时实时接收并实时显示原始数据、实时运算结果、判断结果、统计报表和大数据统计结果。优选的，该种分流数据处理系统，其中原始数据包括水务设备的实时开关量数据、实时模拟量数据和基础参数数据。优选的，该种分流数据处理系统，其中冗余数据包括除非追溯型开关量数据外的所有原始数据。优选的，该种分流数据处理系统，其中每个采集端均按一预设频率采集对应的水务设备的工况数据并将原始数据实时传输至后台终端；分流单元按预设频率对接收到的原始数据进行分类和预处理。优选的，该种分流数据处理系统，其中统计报表包括秒级统计报表、分级统计报表、时级统计报表、日级统计报表和月度统计报表。优选的，该种分流数据处理系统，其中第三存储单元包括多个子存储模块，每个子存储模块均连接分流单元；于多个子存储模块中设置一个作为主存储模块，其余子存储模块均作为从存储模块，主存储模块实时监控所有从存储模块的存储状态，并根据存储状态对第三存储单元进行负载均衡控制。优选的，该种分流数据处理系统，其中第二处理单元包括一自学习模块；自学习模块用于提升大数据统计处理的效率。优选的，该种分流数据处理系统，其中第二处理单元包括多个子处理模块，每个子处理模块均连接第三存储单元；于多个子处理模块中设置一个作为主处理模块，其余子处理模块均作为从处理模块，主处理模块实时监控所有从处理模块的处理工况，并根据处理工况对第二处理单元进行负载均衡控制。通过本技术方案，能够在面对数量庞杂的水务数据时，通过对原始水务数据进行预处理和分流，减少单一数据库的存储和处理压力，从而满足水务企业对于数据存储的现实需求；同时增加对于水务数据的数据处理速度，实现高效安全的大数据分析，并且支持机器学习、负载均衡以及冗余备份。附图说明图1为本专利技术一种分流数据处理系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。下面结合附图和具体实施例对本专利技术作进一步说明，但不作为本专利技术的限定。针对现有技术中存在的上述问题，现提供一种分流数据处理系统，应用于水务数据处理领域，具体技术方案如下所示：一种分流数据处理系统，如图1所示，具体包括：多个采集端1，每个采集端1对应一外部的水务设备，用于采集每个水务设备的工况数据并作为原始数据进行输出；后台终端2，分别连接每个采集端1，用于对原始数据进行接收、处理和存储，后台终端2进一步包括：分流单元21，用于接收并对原始数据进行分类和预处理，输出实时运算结果，统计数据和冗余数据；第一存储单元22，连接分流单元21，用于接收并存储实时运算结果；第二存储单元23，连接分流单元21，用于接收并存储统计数据；第三存储单元24，连接分流单元21，用于接收并存储冗余数据；判断单元25，连接第一存储单元22，用于根据实时运算结果，判断对应的水务设备是否处于异常工况，并输出相应的判断结果；第一处理单元26，连接第二存储单元23，用于根据外部的第一用户指令，提取相应的统计数据并进行统计处理，输出统计报表；第二处理单元27，连接第三存储单元24，用于根据外部的第二用户指令，提取相应的冗余数据并进行大数据统计处理，输出大数据统计结果；多个交互终端3，每个交互终端3均连接后台终端2，用于接收并向后台终端2发送第一用户指令和第二用户指令，同时实时接收并实时显示原始数据、实时运算结果、判断结果、统计报表和大数据统计结果。作为优选的实施方式，该种分流数据处理系统，其中原始数据包括水务设备的实时开关量数据、实时模拟量数据和基础参数数据。在本专利技术的另一较佳实施例中，对本技术方案中的原始数据作出了进一步的限定和阐释，前述原始数据代表每一个水务设备的运行工况，作为优选的实施方式，该种分流数据处理系统，其中冗余数据包括除非追溯型开关量数据外的所有原始数据。在本专利技术的另一较佳实施例中，冗余数据被限定为除去非追溯型开关量数据外的所有原始数据，保证了所有的立式数据都能尽可能的得以保存。在此需要注意的是，在实际运行监控过程中，水务设备的开关量数据的整体规模是比较大的本文档来自技高网...

【技术保护点】
1.一种分流数据处理系统，其特征在于，包括：/n多个采集端，每个所述采集端对应一外部的水务设备，用于采集每个所述水务设备的工况数据并作为原始数据进行输出；/n后台终端，分别连接每个所述采集端，用于对所述原始数据进行接收、处理和存储，所述后台终端进一步包括：/n分流单元，用于接收并对所述原始数据进行分类和预处理，输出实时运算结果，统计数据和冗余数据；/n第一存储单元，连接所述分流单元，用于接收并存储所述实时运算结果；/n第二存储单元，连接所述分流单元，用于接收并存储所述统计数据；/n第三存储单元，连接所述分流单元，用于接收并存储所述冗余数据；/n判断单元，连接所述第一存储单元，用于根据所述实时运算结果，判断对应的所述水务设备是否处于异常工况，并输出相应的判断结果；/n第一处理单元，连接所述第二存储单元，用于根据外部的第一用户指令，提取相应的所述统计数据并进行统计处理，输出统计报表；/n第二处理单元，连接所述第三存储单元，用于根据外部的第二用户指令，提取相应的所述冗余数据并进行大数据统计处理，输出大数据统计结果；/n多个交互终端，每个交互终端均连接所述后台终端，用于接收并向所述后台终端发送所述第一用户指令和所述第二用户指令，同时实时接收并实时显示所述原始数据、所述实时运算结果、所述判断结果、所述统计报表和所述大数据统计结果。/n...

【技术特征摘要】
1.一种分流数据处理系统，其特征在于，包括：
多个采集端，每个所述采集端对应一外部的水务设备，用于采集每个所述水务设备的工况数据并作为原始数据进行输出；
后台终端，分别连接每个所述采集端，用于对所述原始数据进行接收、处理和存储，所述后台终端进一步包括：
分流单元，用于接收并对所述原始数据进行分类和预处理，输出实时运算结果，统计数据和冗余数据；
第一存储单元，连接所述分流单元，用于接收并存储所述实时运算结果；
第二存储单元，连接所述分流单元，用于接收并存储所述统计数据；
第三存储单元，连接所述分流单元，用于接收并存储所述冗余数据；
判断单元，连接所述第一存储单元，用于根据所述实时运算结果，判断对应的所述水务设备是否处于异常工况，并输出相应的判断结果；
第一处理单元，连接所述第二存储单元，用于根据外部的第一用户指令，提取相应的所述统计数据并进行统计处理，输出统计报表；
第二处理单元，连接所述第三存储单元，用于根据外部的第二用户指令，提取相应的所述冗余数据并进行大数据统计处理，输出大数据统计结果；
多个交互终端，每个交互终端均连接所述后台终端，用于接收并向所述后台终端发送所述第一用户指令和所述第二用户指令，同时实时接收并实时显示所述原始数据、所述实时运算结果、所述判断结果、所述统计报表和所述大数据统计结果。


2.如权利要求1所述的分流数据处理系统，其特征在于，所述原始数据包括所述水务设备的实时开关量数据、实时模拟量数据和基础参数数据。


3.如权利要求...

【专利技术属性】
技术研发人员：李纪玺，滕立勇，丁凯，俞丰姣，
申请(专利权)人：上海威派格智慧水务股份有限公司，
类型：发明
国别省市：上海;31