一种水电厂的大数据系统技术方案

本实用新型专利技术公开了一种水电厂的大数据系统，包括若干台数据接入设备，每一台数据接入设备均通信连接有传输网络线路，传输网络线路分别通信连接有管理机器和数据库，传输网络线路还通信连接有若干台数据存储和计算设备，其中，数据接入设备用于对数据进行接入、清洗和处理，管理机器用于对处理的数据进行分配，数据存储和计算设备用于对分配后的数据进行分布式存储并对数据进行计算，数据库用于对数据计算后得到的结果进行存储，传输网络线路用于对数据进行传输。本实用新型专利技术的有益效果：解决了水电厂发电机组实时采集的大量数据存储及对数据实时计算需要，可以接入上千台接入点的毫秒级频率采集到的数据，并可对存储PB级别的数据进行计算。

【技术实现步骤摘要】
一种水电厂的大数据系统
本技术涉及大数据处理
，具体来说，涉及一种水电厂的大数据系统。
技术介绍
随着水电厂信息化系统的建设完成，及针对水轮发电机机组、电力变压器、断路器等主要设备运行数据的采集系统DCS建设完成，水电厂日积月累了大量数据，面对如此庞大的数据如何存储技术,是水电厂面临的问题。
技术实现思路
针对相关技术中的上述技术问题，本技术提出一种水电厂的大数据系统，能够克服现有技术的上述不足。为实现上述技术目的，本技术的技术方案是这样实现的：一种水电厂的大数据系统，包括若干台数据接入设备，所述的每一台数据接入设备均通信连接有传输网络线路，所述传输网络线路分别通信连接有管理机器和数据库，所述传输网络线路还通信连接有若干台数据存储和计算设备，其中，所述数据接入设备用于对数据进行接入、清洗和处理，所述管理机器用于对处理的数据进行分配，所述数据存储和计算设备用于对分配后的数据进行分布式存储并对数据进行计算，所述数据库用于对数据计算后得到的结果进行存储，所述传输网络线路用于对数据进行传输。进一步的，所述数据接入设备的台数为3台。优选的，所述数据接入设备的参数为CUP:2路12核，2.0GHz以上；内存：128GB；硬盘2T*4。进一步的，所述管理设备的参数为CUP:2路12核，2.0GHz以上；内存：256GB；硬盘2T*4。进一步的，所述数据库的参数为CUP:2路12核，2.0GHz以上，内存：128GB；硬盘2T*2。进一步的，所述据存储和计算设备的台数为大于或等于3台。优选的，所述据存储和计算设备的参数为CUP:2路12核，2.0GHz以上，内存：128GB；硬盘2T*8。本技术的有益效果：本技术解决了水电厂发电机组实时采集的大量数据存储及对数据实时计算需要，本技术可以接入上千台接入点的毫秒级频率采集到的数据，并可对存储PB级别的数据进行计算，同时本技术具由稳定性高的特点。附图说明为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本技术实施例所述的一种水电厂的大数据系统的结构框图；图中：1、数据接入设备；2、传输网络线路；3、管理设备；4、数据存储和计算设备；5、数据库。具体实施方式下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本技术保护的范围。如图1所示，根据本技术实施例所述的一种水电厂的大数据系统，包括若干台数据接入设备1，所述的每一台数据接入设备1均通信连接有传输网络线路2，所述传输网络线路2分别通信连接有管理设备3和数据库5，所述传输网络线路2还通信连接有若干台数据存储和计算设备4，其中，所述数据接入设备1用于对数据进行接入、清洗和处理，所述管理设备3用于对处理的数据进行分配，所述数据存储和计算设备4用于对分配后的数据进行分布式存储并对数据进行计算，所述数据库5用于对数据计算后得到的结果进行存储，所述传输网络线路2用于对数据进行传输。在一具体实施例中，所述数据接入设备1的台数为3台。在一具体实施例中，所述数据接入设备1的参数为CUP:2路12核，2.0GHz以上；内存：128GB；硬盘2T*4。在一具体实施例中，所述管理设备3的参数为CUP:2路12核，2.0GHz以上；内存：256GB；硬盘2T*4。在一具体实施例中，所述数据库5的参数为CUP:2路12核，2.0GHz以上，内存：128GB；硬盘2T*2。在一具体实施例中，所述据存储和计算设备4的台数为大于或等于3台。在一具体实施例中，所述据存储和计算设备4的参数为CUP:2路12核，2.0GHz以上，内存：128GB；硬盘2T*8。为了方便理解本技术的上述技术方案，以下通过具体使用方式上对本技术的上述技术方案进行详细说明。在具体使用时，根据本技术所述的数据接入设备采用分布式多台接入设备分别接入实时数据流和离线数据流；所述的数据存储和计算设备采用分布式文件系统存储数据，分布式结构分散磁盘IO压力，提高吞吐量、存储容量；所述的管理设备负责对数据存储单元（节点）的存储、计算、定时的管理；所述的数据库对大量分析的结果进行存储，以供后续调用。本技术将数据传入到数据接入设备，经过数据接入设备对数据进行清洗、处理，利用多数据接入方式，加快了高频、大量数据的接入与处理能力；经过处理的数据，在管理设备的分配下进行分布式存储；经过管理设备分配后，通过传输网络线路传输到数据存储和计算设备进行分布式存储，分布式存储的方式提供了数据的存储能力，也方便了后期存储空间的扩展；当需要计算时，通过分布式算法，把数据进行计算，计算后得到的结果，通过传输网络线路存入数据库中。本技术所述的数据接入设备采用Flume或strom或sqoop等技术负责数据接入、清洗处理；所述的管理设备采用Hadoop、zookeeper技术负责任务管理、任务调度、存储资源的协调；所述数据存储和计算设备采用Hadoop、HBase、Hive技术负责数据的存储、计算；所述的数据库为安装关系型数据库，存储对大量数据的分析结果。综上所述，本技术解决了水电厂发电机组实时采集的大量数据存储及对数据实时计算需要，本技术可以接入上千台接入点的毫秒级频率采集到的数据，并可对存储PB级别的数据进行计算，同时本技术具由稳定性高的特点。以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。本文档来自技高网...

【技术保护点】
一种水电厂的大数据系统，其特征在于，包括若干台数据接入设备（1），所述的每一台数据接入设备（1）均通信连接有传输网络线路（2），所述传输网络线路（2）分别通信连接有管理设备（3）和数据库（5），所述传输网络线路（2）还通信连接有若干台数据存储和计算设备（4），其中，所述数据接入设备（1）用于对数据进行接入、清洗和处理，所述管理设备（3）用于对处理的数据进行分配，所述数据存储和计算设备（4）用于对分配后的数据进行分布式存储并对数据进行计算，所述数据库（5）用于对数据计算后得到的结果进行存储，所述传输网络线路（2）用于对数据进行传输。

【技术特征摘要】
1.一种水电厂的大数据系统，其特征在于，包括若干台数据接入设备（1），所述的每一台数据接入设备（1）均通信连接有传输网络线路（2），所述传输网络线路（2）分别通信连接有管理设备（3）和数据库（5），所述传输网络线路（2）还通信连接有若干台数据存储和计算设备（4），其中，所述数据接入设备（1）用于对数据进行接入、清洗和处理，所述管理设备（3）用于对处理的数据进行分配，所述数据存储和计算设备（4）用于对分配后的数据进行分布式存储并对数据进行计算，所述数据库（5）用于对数据计算后得到的结果进行存储，所述传输网络线路（2）用于对数据进行传输。2.根据权利要求1所述的一种水电厂的大数据系统，其特征在于，所述数据接入设备（1）的台数为3台。3.根据权利要求2所述的一种水电厂的大数据系统，其特征...

【专利技术属性】
技术研发人员：阎峻，
申请(专利权)人：国网新源控股有限公司，国家电网公司，
类型：新型
国别省市：北京,11