一种实现数字能源管理系统的分布式计算方法技术方案

本发明专利技术公开了一种实现数字能源管理系统的分布式计算方法，包括以下步骤：S1、对离线数据和实时数据进行数据采集，实现对多源数据的统一归集；S2、基于数字能源管理系统，将采集的数据进行储存；S3、搭建Spark分布式环境，根据系统提交的任务请求，分配内存；S4、Spark对数据进行计算、分析，将结果保存在Hdfs、Hbase中；S5、从Hdfs、Hbase中获取数据，将数据进行数字化展示。本发明专利技术采用上述的一种实现数字能源管理系统的分布式计算方法，采用内存存储Spark计算框架，对数据实时处理，解决了将采集到的海量数据存储到Hdfs中，造成服务器瘫痪和计算时数据堆积造成数据处理时间过长的问题；进行多源数据采集，保证了采集数据的完整性，解决了采集过程中数据易丢失的问题。了采集过程中数据易丢失的问题。了采集过程中数据易丢失的问题。

【技术实现步骤摘要】
一种实现数字能源管理系统的分布式计算方法


[0001]本专利技术涉及分布式计算方法
，尤其是涉及一种实现数字能源管理系统的分布式计算方法。

技术介绍

[0002]随着社会工业化和科技化的高速发展，我国能源消耗数额也在加速增长。5G基站和数据中心是能耗大户，未来将有更多5G基站、边缘数据中心、大型数据中心的部署，传统的网络能源技术和建设模式难以满足网络低碳、零碳的需求和运营商可持续发展的需要，所以出现了数字能源管理系统。数字能源管理系统使传统的网络能源基础设施向数字化、智能化转型，实现了从发电到用电全能源链的互联、管理和调度，由站点、机房、数据中心构建高速的数据通信网和高效的能源供电网。然而，目前数字能源管理系统多采用Hadoop平台进行数据的分析计算，虽然HadoopMapReduce具有强大的数据处理功能，但随着并行计算技术发展的成熟，MapReduce基于硬盘读写的数据读写方式会导致数据处理耗时太长，而且低延迟访问数据在毫秒范围内的应用并不适合Hdfs，并且不能处理实时数据。

技术实现思路

[0003]本专利技术的目的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实现数字能源管理系统的分布式计算方法，其特征在于：包括以下步骤：S1、对离线数据和实时数据进行数据采集，实现对多源数据的统一归集基于kafka与Flume的集成架构，对各类能耗变化实时数据进行实时流式采集，实现对离线能源数据、实时能源数据、元数据多源数据的统一归集；S2、基于数字能源管理系统，将采集的数据进行储存将采集到的数据进行存储，离线能源数据存储在Hdfs分布式文件系统中，所述数字能源管理系统中用户相关数据存储在MySQL关系型数据库中；实时变化数据在Kafka集群中设置一组单独的topic作为实时数据的临时存储点，对于原有存储在系统中的数据，将数据重构为符合存储在Hdfs分布式数据库中的数据，通过sqoop组件导入到Hbase列式数据库中，并为所述分布式数据库Hbase添加基于内存的二级索引；S3、搭建Spark分布式环境，根据系统提交的任务请求，分配内存搭建Spark分布式环境，能源管理系统提交查询任务时，Spark分配内存资源，采用公平分配机制FAIR分配内存，该内存分配机制在同一个SparkContext内实现task之间共享、大小可调节的内存池；S4、Spark对数据进行计算、分析，将结果保存在Hdfs、Hbase中根据计算请求，Spark计算任务进入消息队列，等待yarn自动分配服务器资源，出队后，将数据分发到SparkRDD上进行分布式计算，每个RDD都支持MapReduce操作，经过MapReduce操作后会产生新的RDD，而不会修改原有RDD，RDD的数据集是分区的，RDD把每个数据分区放到不同的分区上进行计算，然后将计算分析后的数据存到HDFS、HBase中；S5、从Hdfs、Hbase中获取数据，将数据进行数字化展示使用第三方工具Grafana从Hdfs、Hbase中获取数据来进行数据可视化...

【专利技术属性】
技术研发人员：李启龙，马越，黄晶晶，褚治广，张如燕，
申请(专利权)人：辽宁启升科技集团有限公司，
类型：发明
国别省市：