加气站SCADA系统海量数据处理方法技术方案

本发明专利技术公开了一种加气站SCADA系统海量数据处理方法，通过以太网将站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机、中心数据通信服务器、中心数据管理服务器、以及中心分布式数据存储集群互连，能提高对加气站海量监测数据的存储运行效率，满足海量数据的存储要求，同时对数据的查询方便，能多线程并行查询，可极大提高查询效率，且能方便的满足加气站数量的横向扩展。

【技术实现步骤摘要】

本专利技术涉及一种数据处理方法，特别涉及一种加气站SCADA系统海量数据的存储查询方法。
技术介绍
运用于加气站的SCADA系统，在数据处理方面对其有两个基本的需求：1、由于加气站的数据采集点多，采集频率高，同时又需要保存相当长一段时间内所采集到设备工况历史数据，因此要求加气站SCADA系统能保存海量的设备工况历史数据。2、由于用户需要随机的查询设备工况历史数据，因此要求加气站SCADA系统能对用户的查询请求提供尽可能快的响应。但是现有的SCADA系统对加气站设备海量历史监测数据的存储、查询并不能满足用户的需求。
技术实现思路
有鉴于此，本专利技术的目的是提供一种加气站SCADA系统海量数据处理方法，以解决现有SCADA系统不能满足用户对加气站设备海量历史监测数据的存储、查询需求的技术问题。本专利技术加气站SCADA系统海量数据处理方法，包括数据存储方法和数据查询方法；所述数据储存方法包括以下步骤：S1.通过以太网将站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机、中心数据通信服务器、中心数据管理服务器、以及中心分布式数据存储集群互连，所述中心分布式数据存储集群包括多个主存储服务器和多个从存储服务器；S2.将站级数据采集主机通过串口或以太网接口与PLC连接，通过PLC采集加气站设备的实时工况数据和报警信号，然后将数据存储在站级数据库服务器中；S3.将站级数据通信客户端主机与中心数据通信服务器通过以太网相连，站级数据通信客户端主机从站级数据库中取出工况数据并通过TCP/IP协议将数据远传给中心数据通信服务器，中心数据通信服务器收到数据后，先将数据暂存在内存中，然后每隔一段时间把内存中的数据通过相应的压缩算法进行压缩打包，并对每个压缩包中的数据进行预先的统计计算；S4.中心数据通信服务器的负载均衡集群中的每台服务器上都运行相同的通信服务端进程与数据管理进程，当负载均衡集群收到站级数据通信客户端的连接请求后将它们均衡的分配给集群中的各服务器进行处理；若集群中有服务器出现故障，集群的负载均衡策略则排除掉故障服务器，并对剩下的正常工作的服务器重新分配工作负担；S5.中心数据通信服务器将数据压缩包与统计计算结果交付给中心数据管理服务器，中心数据管理服务器按照路由策略将数据包分配到中心分布式数据存储集群的不同节点中；S6.中心分布式数据存储集群的物理结构上由多个存储节点组成，每个存储节点包括一台主存储服务器和多台从存储服务器；主存储服务器与从存储服务器之间配置三个策略：读写分离、数据实时同步、以及故障转移；主存储服务器配置为可写可读，从存储服务器配置为只读，且主存储服务器的读优先级低于从存储服务器的读优先级，数据写入主存储服务器后实时同步到从存储服务器；S7.中心分布式数据存储集群的逻辑结构上由1个主管理数据库与多个子数据库组成，主管理数据库存储数据路由策略，所述数据路由策略即加气站编号到数据存储节点IP的映射表，子数据库存储每个加气站中的所有设备产生的实时数据、历史数据、以及报警数据，一个子数据库只存储一个加气站的数据；一个存储节点安装一个数据库实例，主管理数据库与多个子数据库部署于同一个数据库实例中，即部署于同一个存储节点中，或者是每一个数据库分别部署于一个数据库实例中；S8.每个子数据库中用于存放设备工况历史数据和报警历史数据的数据表分区处理，将数据表按年份分区，每一年的数据存放在对应的分区中；S9.中心数据通信服务器将数据来源的加气站编号以及数据压缩包提交给中心数据管理服务器，中心数据管理服务器通过查询主管理数据库中的路由策略来确定数据存储节点，然后将数据存储于其中；所述数据查询方法包括以下步骤：S10.将要查询的加气站编号提交给中心数据管理服务器，中心数据管理服务器通过查询主管理数据库中的路由策略来确定数据存储节点，然后将数据从目标存储节点中取出、解压并返回给客户端。进一步，所述加气站SCADA系统海量数据处理方法，还包括当客户端查询多个加气站的数据时，开辟多个线程，每个线程负责一个加气站数据的查询，然后将多个线程的查询结果聚合后返回给客户端。本专利技术的有益效果：本专利技术加气站SCADA系统海量数据处理方法，其能提高对加气站海量监测数据的存储运行效率，满足海量数据的存储要求，同时对数据的查询方便，能多线程并行查询，可极大提高查询效率，且能方便的满足加气站数量的横向扩展。具体实施方式下面结合实施例对本专利技术作进一步描述。本实施例加气站SCADA系统海量数据处理方法，包括数据存储方法和数据查询方法；所述数据储存方法包括以下步骤：S1.通过以太网将站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机、中心数据通信服务器、中心数据管理服务器、以及中心分布式数据存储集群互连，所述中心分布式数据存储集群包括多个主存储服务器和多个从存储服务器；当然在具体实施例中，所述站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机可以为同一台工控机或服务器，也可为多台不同的服务器，因此站级数据采集进程、站级数据存储进程、站级数据通信客户端进程可分别运行于独立的工控机或服务器中，也可运行于同一台服务器中，但各进程间必须通过以太网互连；S2.将站级数据采集主机通过串口或以太网接口与PLC连接，通过PLC采集加气站设备的实时工况数据和报警信号，然后将数据存储在站级数据库服务器中；采集频率存储在配置文件中，可默认设置为1次/10秒；S3.将站级数据通信客户端主机与中心数据通信服务器通过以太网相连，站级数据通信客户端主机从站级数据库中取出工况数据并通过TCP/IP协议将数据远传给中心数据通信服务器，中心数据通信服务器收到数据后，先将数据暂存在内存中，然后每隔一段时间把内存中的数据通过相应的压缩算法进行压缩打包，并对每个压缩包中的数据进行预先的统计计算；S4.中心数据通信服务器的负载均衡集群中的每台服务器上都运行相同的通信服务端进程与数据管理进程，当负载均衡集群收到站级数据通信客户端的连接请求后将它们均衡的分配给集群中的各服务器进行处理，这样可以提高运行效率；若集群中有服务器出现故障，集群的负载均衡策略则排除掉故障服务器，并对剩下的正常工作的服务器重新分配工作负担，可解决通讯服务器的单点故障问题；S5.中心数据通信服务器将数据压缩包与统计计算结果交付给中心数据管理服务器，中心数据管理服务器按照路由策略将数据包分配到中心分布式数据存储集群的不同节点中；S6.中心分布式数据存储集群的物理结构上由多个存储节点组成，每个存储节点包括一台主存储服务器和多台从存储服务器；主存储服务器与从存储服务器之间配置三个策略：读写分离、数据实时同步、以及故障转移；主存储服务器配置为可写可读，从存储服务器配置为只读，且主存储服务器的读优先级低于从存储服务器的读优先级，数据写入主存储服务器后实时同步到从存储服务器；这样写数据请求将被导向到主服务器，读数据请求将被导向到从服务器，当读数据请求压力过大时，会将一部分读请求分流到主服务器，尽可能均衡的将读写压力分配到主从服务器上，满足系统的数据吞吐量要求；并且当主服务器发生故障时，故障转移策略会自动将主服务器移除集群，并将所有的读写数据请求导向到从服务器，使系统提供无单点故障的数据存储服务；S7.中本文档来自技高网...

【技术保护点】
一种加气站SCADA系统海量数据处理方法，其特征在于：包括数据存储方法和数据查询方法；所述数据储存方法包括以下步骤：S1.通过以太网将站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机、中心数据通信服务器、中心数据管理服务器、以及中心分布式数据存储集群互连，所述中心分布式数据存储集群包括多个主存储服务器和多个从存储服务器；S2.将站级数据采集主机通过串口或以太网接口与PLC连接，通过PLC采集加气站设备的实时工况数据和报警信号，然后将数据存储在站级数据库服务器中；S3.将站级数据通信客户端主机与中心数据通信服务器通过以太网相连，站级数据通信客户端主机从站级数据库中取出工况数据并通过TCP/IP协议将数据远传给中心数据通信服务器，中心数据通信服务器收到数据后，先将数据暂存在内存中，然后每隔一段时间把内存中的数据通过相应的压缩算法进行压缩打包，并对每个压缩包中的数据进行预先的统计计算；S4.中心数据通信服务器的负载均衡集群中的每台服务器上都运行相同的通信服务端进程与数据管理进程，当负载均衡集群收到站级数据通信客户端的连接请求后将它们均衡的分配给集群中的各服务器进行处理；若集群中有服务器出现故障，集群的负载均衡策略则排除掉故障服务器，并对剩下的正常工作的服务器重新分配工作负担；S5.中心数据通信服务器将数据压缩包与统计计算结果交付给中心数据管理服务器，中心数据管理服务器按照路由策略将数据包分配到中心分布式数据存储集群的不同节点中；S6.中心分布式数据存储集群的物理结构上由多个存储节点组成，每个存储节点包括一台主存储服务器和多台从存储服务器；主存储服务器与从存储服务器之间配置三个策略：读写分离、数据实时同步、以及故障转移；主存储服务器配置为可写可读，从存储服务器配置为只读，且主存储服务器的读优先级低于从存储服务器的读优先级，数据写入主存储服务器后实时同步到从存储服务器；S7.中心分布式数据存储集群的逻辑结构上由1个主管理数据库与多个子数据库组成，主管理数据库存储数据路由策略，所述数据路由策略即加气站编号到数据存储节点IP的映射表，子数据库存储每个加气站中的所有设备产生的实时数据、历史数据、以及报警数据，一个子数据库只存储一个加气站的数据；一个存储节点安装一个数据库实例，主管理数据库与多个子数据库部署于同一个数据库实例中，即部署于同一个存储节点中，或者是每一个数据库分别部署于一个数据库实例中；S8.每个子数据库中用于存放设备工况历史数据和报警历史数据的数据表分区处理，将数据表按年份分区，每一年的数据存放在对应的分区中；S9.中心数据通信服务器将数据来源的加气站编号以及数据压缩包提交给中心数据管理服务器，中心数据管理服务器通过查询主管理数据库中的路由策略来确定数据存储节点，然后将数据存储于其中；所述数据查询方法包括以下步骤：S10.将要查询的加气站编号提交给中心数据管理服务器，中心数据管理服务器通过查询主管理数据库中的路由策略来确定数据存储节点，然后将数据从目标存储节点中取出、解压并返回给客户端。...

【技术特征摘要】
1.一种加气站SCADA系统海量数据处理方法，其特征在于：包括数据存储方法和数据查询方法；所述数据储存方法包括以下步骤：S1.通过以太网将站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机、中心数据通信服务器、中心数据管理服务器、以及中心分布式数据存储集群互连，所述中心分布式数据存储集群包括多个主存储服务器和多个从存储服务器；S2.将站级数据采集主机通过串口或以太网接口与PLC连接，通过PLC采集加气站设备的实时工况数据和报警信号，然后将数据存储在站级数据库服务器中；S3.将站级数据通信客户端主机与中心数据通信服务器通过以太网相连，站级数据通信客户端主机从站级数据库中取出工况数据并通过TCP/IP协议将数据远传给中心数据通信服务器，中心数据通信服务器收到数据后，先将数据暂存在内存中，然后每隔一段时间把内存中的数据通过相应的压缩算法进行压缩打包，并对每个压缩包中的数据进行预先的统计计算；S4.中心数据通信服务器的负载均衡集群中的每台服务器上都运行相同的通信服务端进程与数据管理进程，当负载均衡集群收到站级数据通信客户端的连接请求后将它们均衡的分配给集群中的各服务器进行处理；若集群中有服务器出现故障，集群的负载均衡策略则排除掉故障服务器，并对剩下的正常工作的服务器重新分配工作负担；S5.中心数据通信服务器将数据压缩包与统计计算结果交付给中心数据管理服务器，中心数据管理服务器按照路由策略将数据包分配到中心分布式数据存储集群的不同节点中；S6.中心分布式数据存储集群的物理结构上由多个存储节点组成，每个存储节点包括一台主存储服务器和多台从存储服务器；主...

【专利技术属性】
技术研发人员：沈青祁，王靓，赵锴，周金广，赵亮，晏祖泽，王林，唐顺武，许超，胥泽文，许延贺，易思安，李嘉清，朱建国，陈桂强，王万胜，谢涛，钟杰，罗奕，王凯，孙勇，李洪彪，
申请(专利权)人：中国石化销售有限公司，中国石化销售有限公司重庆石油分公司，中国石化销售有限公司江苏石油分公司，重庆耐德工业股份有限公司，重庆耐德自动化技术有限公司，
类型：发明
国别省市：北京;11