一种电力大数据实验平台制造技术

本发明专利技术公开了一种电力大数据实验平台，包括硬件层和与其通讯的软件层，所述硬件层包括35个节点，分别为12个配用电大数据专用存储计算节点、11个配用电大数据混合并行计算节点、4个配用电大数据高性能计算节点、3个分布式数据采集节点、2个大数据集群管理节点和3个大数据可视化节点，各所述节点之间通过千兆管理网络和万兆数据网络进行信息交互。本发明专利技术的电力大数据实验平台，以电力大数据的应用为核心，为电力大数据的组件研发、系统集成、模拟验证、数据共享、示范应用等奠定技术和工程基础。

【技术实现步骤摘要】
一种电力大数据实验平台
本专利技术涉及一种电力大数据实验平台。
技术介绍
大数据已经成为左右各行各业竞争能力和生存发展的必要因素，先行者已通过技术手段确立或扭转了市场地位，而像Oracle、SAP、Microsoft、IBM等传统数据库厂商，依靠在传统数据库上的市场优势，逐渐向客户提供端到端的大数据解决方案。都相继推出大数据整套产品，从数据存储、数据计算、数据探索、数据展现等方面，帮助企业解决大数据问题，提高企业竞争力。随着智能电网的深化建设，电力系统生产、运行、销售、管理等过程产生出大量数据，迫切需要利用大数据技术，高效挖掘多源异构电力数据，深度发现电力数据价值，提升电网发展运营水平，提高对社会经济的服务水平。
技术实现思路
本专利技术的目的是克服现有技术的缺陷，提供一种电力大数据实验平台，以电力大数据的应用为核心，为电力大数据的组件研发、系统集成、模拟验证、数据共享、示范应用等奠定技术和工程基础。实现上述目的的技术方案是：一种电力大数据实验平台，包括硬件层和与其通讯的软件层，其中:所述硬件层包括35个节点，分别为12个配用电大数据专用存储计算节点、11个配用电大数据混合并行计算节点、4个配用电大数据高性能计算节点、3个分布式数据采集节点、2个大数据集群管理节点和3个大数据可视化节点，各所述节点之间通过千兆管理网络和万兆数据网络进行信息交互；所述软件层包括安全管控模块、优化存储模块、全文搜索模块、实时同步模块、数据集成模块、日志采集模块、消息队列模块、资源管理模块、批处理模块、批处理框架模块、工作流模块、交互分析模块、交互工具模块、InceptorSQL引擎、数据挖掘机器学习模块、Hyperbase列式数据库、流处理引擎和协作服务模块，所述优化存储模块内置TranswarpErasureCode；所述资源管理模块内置TranswarpExtension。上述的一种电力大数据实验平台，所述硬件层中：所述千兆管理网络包括两台千兆交换机；所述万兆数据网络包括两台万兆交换机。上述的一种电力大数据实验平台，所述软件层中：所述InceptorSQL引擎，支持完整的SQL语法；所述Hyperbase列式数据库，通过多种索引技术的组合使用，实现范围查询和模糊查询高速反馈；所述数据挖掘机器学习模块支持聚类和回归通用算法和机器学习算法的调用，以及面向电力应用算法的自定义开发；所述流处理引擎支持流式数据的实时处理；所述安全管控模块用于对电力大数据进行行列安全控制；所述数据集成模块，集成了电网生产、运行、销售和管理各环节数据，同时通过与政府、企业和高校合作，集成了地理、气象、经济、社会、环境、能源和金融外部数据。上述的一种电力大数据实验平台中，所述安全管控模块自下而上分为四层，最底层是存储在大数据实验平台中的安全策略层，存储了对于文件、数据库和缓存数据的安全控制策略；第二层是安全策略执行引擎，是根据上层用户的访问需求读取底层的安全策略并执行，实现用户对大数据实验平台的安全访问和数据获取；第三层是安全接口层，包括身份认证、授权管理和多租户管理三个接口组件，实现对访问层的安全接口；第四层是大数据组件层，包括SQL引擎、M/R引擎、可视化引擎和RStudio，是大数据的使用组件，用户需借助这些组件访问、获取和分析电力大数据。上述的一种电力大数据实验平台中，所述电力大数据实验平台用于实现电力大数据的多源集成、统一存储、高效处理和业务应用，实现用户/台区/线路海量用电负荷时序数据存储和索引、居民及工商业用电特性聚类及用电敏感性分析、行业用电分析、特殊用电分析和台区/线路用电预测功能，建立用户侧至电网侧数据的关联集成，并与GIS空间可视化技术融合，实现营配调业务贯通和全景能耗监测。本专利技术的电力大数据实验平台，以电力大数据的应用为核心，为电力大数据的组件研发、系统集成、模拟验证、数据共享、示范应用等奠定技术和工程基础。附图说明图1为本专利技术的电力大数据实验平台的硬件层的结构示意图；图2为本专利技术的电力大数据实验平台的软件层的结构示意图；图3为本专利技术的电力大数据实验平台的安全管控模块的结构示意图。具体实施方式为了使本
的技术人员能更好地理解本专利技术的技术方案，下面结合附图对其具体实施方式进行详细地说明：请参阅图1、图2和图3，本专利技术的最佳实施例，一种电力大数据实验平台，包括硬件层和与硬件层通讯的软件层。请参阅图1，硬件层包括35个节点，分别为12个配用电大数据专用存储计算节点A、11个配用电大数据混合并行计算节点B、4个配用电大数据高性能计算节点C、3个分布式数据采集节点D、2个大数据集群管理节点E和3个大数据可视化节点F，各节点之间通过千兆管理网络G和万兆数据网络H进行信息交互。千兆管理网络G包括两台千兆交换机G1；万兆数据网络H包括两台万兆交换机H1。请参阅图2，软件层包括安全管控模块21、优化存储模块22、全文搜索模块23、实时同步模块24、数据集成模块25、日志采集模块26、消息队列模块27、资源管理模块28、批处理模块29、批处理框架模块30、工作流模块31、交互分析模块32、交互工具模块33、InceptorSQL引擎34、数据挖掘机器学习模块35、Hyperbase列式数据库36、流处理引擎37和协作服务模块38，优化存储模块22内置TranswarpErasureCode；资源管理模块28内置TranswarpExtension。InceptorSQL引擎34支持完整的SQL语法；Hyperbase列式数据库36，通过多种索引技术的组合使用，实现范围查询和模糊查询高速反馈；数据挖掘机器学习模块35支持聚类和回归通用算法和机器学习算法的调用，以及面向电力应用算法的自定义开发；流处理引擎37支持流式数据的实时处理；安全管控模块21用于对电力大数据进行行列安全控制；数据集成模块25，集成了电网生产、运行、销售和管理各环节数据，同时通过与政府、企业和高校合作，集成了地理、气象、经济、社会、环境、能源和金融外部数据。安全管控模块21自下而上分为四层，最底层是存储在大数据实验平台中的安全策略层211，存储了对于文件、数据库和缓存数据的安全控制策略；第二层是安全策略执行引擎212，是根据上层用户的访问需求读取底层的安全策略并执行，实现用户对大数据实验平台的安全访问和数据获取；第三层是安全接口层213，包括身份认证、授权管理和多租户管理三个接口组件，实现对访问层的安全接口；第四层是大数据组件层214，包括SQL引擎、M/R引擎、可视化引擎和RStudio，是大数据的使用组件，用户需借助这些组件访问、获取和分析电力大数据。本专利技术的一种电力大数据实验平台，用于实现电力大数据的多源集成、统一存储、高效处理和业务应用，实现用户/台区/线路海量用电负荷时序数据存储和索引、居民及工商业用电特性聚类及用电敏感性分析、行业用电分析、特殊用电分析和台区/线路用电预测功能，建立用户侧至电网侧数据的关联集成，并与GIS空间可视化技术融合，实现营配调业务贯通和全景能耗监测。可以在分布式和开放的环境下为众多单位和用户提供服务。综上所述，本专利技术的电力大数据实验平台，以电力大数据的应用为核心，为电力大数据的组件研发、系统集成、模拟验证、数据共享、示范应用等奠定技术和本文档来自技高网...

【技术保护点】
1.一种电力大数据实验平台，其特征在于，包括硬件层和与其通讯的软件层，其中:所述硬件层包括35个节点，分别为12个配用电大数据专用存储计算节点、11个配用电大数据混合并行计算节点、4个配用电大数据高性能计算节点、3个分布式数据采集节点、2个大数据集群管理节点和3个大数据可视化节点，各所述节点之间通过千兆管理网络和万兆数据网络进行信息交互；所述软件层包括安全管控模块、优化存储模块、全文搜索模块、实时同步模块、数据集成模块、日志采集模块、消息队列模块、资源管理模块、批处理模块、批处理框架模块、工作流模块、交互分析模块、交互工具模块、Inceptor SQL引擎、数据挖掘机器学习模块、Hyper base列式数据库、流处理引擎和协作服务模块，所述优化存储模块内置Transwarp Erasure Code；所述资源管理模块内置Transwarp Extension。

【技术特征摘要】
1.一种电力大数据实验平台，其特征在于，包括硬件层和与其通讯的软件层，其中:所述硬件层包括35个节点，分别为12个配用电大数据专用存储计算节点、11个配用电大数据混合并行计算节点、4个配用电大数据高性能计算节点、3个分布式数据采集节点、2个大数据集群管理节点和3个大数据可视化节点，各所述节点之间通过千兆管理网络和万兆数据网络进行信息交互；所述软件层包括安全管控模块、优化存储模块、全文搜索模块、实时同步模块、数据集成模块、日志采集模块、消息队列模块、资源管理模块、批处理模块、批处理框架模块、工作流模块、交互分析模块、交互工具模块、InceptorSQL引擎、数据挖掘机器学习模块、Hyperbase列式数据库、流处理引擎和协作服务模块，所述优化存储模块内置TranswarpErasureCode；所述资源管理模块内置TranswarpExtension。2.根据权利要求1所述的一种电力大数据实验平台，其特征在于，所述硬件层中：所述千兆管理网络包括两台千兆交换机；所述万兆数据网络包括两台万兆交换机。3.根据权利要求1所述的一种电力大数据实验平台，其特征在于，所述软件层中：所述InceptorSQL引擎，支持完整的SQL语法；所述Hyperbase列式数据库，通过多种索引技术的组合使用，实现范围查询和模糊查询高速反馈；所述数据挖掘机器学习模块支持聚类和回归通用算法和机器学习算法的调用，以...

【专利技术属性】
技术研发人员：许唐云，张鹏飞，史景超，
申请(专利权)人：国网上海市电力公司，华东电力试验研究院有限公司，
类型：发明
国别省市：上海,31