一种基于云计算的智能用电数据服务系统技术方案

本发明专利技术涉及一种基于云计算的智能用电数据服务系统，属于智能用电处理技术领域。本发明专利技术采用平台化的理念整合云计算和电力业务应用技术，根据各种用电数据的特点和业务逻辑，采用混合存储机制，利用云计算和关系数据库互补的策略，以云计算技术为核心，以电力用电业务为流程，构建公司智能用电私有云，实现用电信息采集系统海量用电数据存储和处理，提高用电数据挖掘和利用效率，充分发挥大规模用电数据的价值优势，为智能用电互动化服务和国家节能减排提供数据服务和技术支撑。

【技术实现步骤摘要】

本专利技术涉及一种基于云计算的智能用电数据服务系统，属于智能用电处理

技术介绍
基于云计算的智能用电数据管理关键技术研究和应用项目产品符合大数据处理发展趋势，在开展智能电网城市建设和高级量测体系研究的过程中，已经引入大数据处理和云计算技术的应用，比如AMI高级量测系统的数据存储和管理、个性化信息定制和推送、大量历史用电数据的挖掘分析和增值服务实现，都体现了大数据处理技术的应用。用电信息采集系统智能电表数量到2015年将达到三亿块，用户用电信息采集频率更加频繁，且数据是双向互动流转，规模和频率成指数级增长，对用电信息的采集、存储、查询、分析等全生命周期的数据处理能力提出了更高的要求。现有的用电信息采集服务系统面临的问题主要有：1)采集系统数据量急剧增长、数据类型多样、业务应用深化创新，对数据存储、查询、统计、分析及价值数据挖掘提出更高要求；2)终端数量及采集频率的剧增，采集数据量由TB级向PB级发展，导致数据采集入库、分析、存储的压力剧增；3)面临数据高性能存储和高可扩展性挑战，对系统的健壮性、灵活性、简单性、可扩展性以及安全性提出了更高的要求；4)电力业务向智能化、精细化方向发展，对数据处理复杂性、实时性提出更高要求，跨业务、跨平台的数据挖掘能力需要进一步提升，迫切需要进行技术架构优化和性能提升。电力业务的不断深化导致计算资源趋于紧张，任务更复杂，涉及的数据量更大，现有资源无法保证在规定的时间内完成，现有系统架构在横向线性扩展能力不足，海量数据处理能力已显瓶颈，现有系统基于OracleRAC的数据库集群方式，由于其采用共享存储，需要在节点间频繁的复制状态和共享数据块，节点的增加只能加剧数据交换，对于性能的提升则非常有限，且成本高昂。
技术实现思路
本专利技术的目的是提供一种基于云计算的智能用电数据服务系统，以解决目前智能用电数据服务系统对于海量数据的存储、查询、检索速度慢、数据计算能力业务处理不强等问题。本专利技术为解决上述技术问题而提供一种基于云计算的智能用电数据服务系统，该系统包括智能用电业务服务云、智能用电大数据共享平台、智能用电大数据支撑平台、智能用电数据接入服务端和智能用电业务大数据支撑服务接口，智能用电数据接入服务端用于将用电数据采集终端采集到的数据提供给智能用电大数据共享平台，所述智能用电大数据共享平台用于对采集到的用电数据进行清洗、解析和分类存储；所述智能用电大数据支撑平台用于根据智能用电大数据共享平台中存储的用电数据按照业务流程进行处理，所述智能用电业务大数据支撑服务接口用于向外提供服务接口，以便各类用电业务访问智能用电大数据支撑平台，所述智能用电业务服务云作为底层资源池用于为系统提供一个基于虚拟化的资源支撑环境，包括计算资源池、存储资源池和网络资源池，该服务系统采用Spark和Hadoop共同构建的平台对智能用电大数据共享平台中的用电数据进行处理，将对时效性要求较高的业务部署在spark上运行，将对时效性要求不高的业务部署在hadoop上运行。智能用电大数据共享平台的可用域划分为数据域、业务域和交互域，所述数据域用于为数据存储和处理提供集群资源，其计算资源和存储资源处于同一物理节点；所述业务域用于提供上层具体交互界面的业务逻辑支持，配置有对数据域和交互域的两套接口；交互域用于向用电数据的最终使用者提供交互界面和手段，需要完成单独的存储资源配置，实现对热点数据的缓存和对中间数据的缓存。智能用电大数据共享平台将终端采集上来的原始数据帧经过规约解析转化成半结构化业务数据，根据大数据管理引擎提供的档案数据将半结构化数据与业务建立语义关联，形成基础业务数据，基础业务数据按照类型存入文件，交由大数据管理引擎处理，大数据管理引擎负责对海量数据的装载、写入、查询及处理。所述智能用电大数据共享平台采用混合存储机制进行数据存储，根据用电数据的业务属性采用对应存储模式，对原始数据采用Key-Value或列存储方式组织数据，对于需要对原始数据进行频繁查询的业务，则单独整理对业务内容优化索引的数据副本以支持；对中间结果数据采用分布式、多副本方式进行统一管理；对业务数据集采用分布式列存储机制；对档案数据采用关系型数据库存储；对热点数据采用内存数据库或SSD硬盘承载数据；对报表类数据采用关系型数据库或内存数据库进行存储。本专利技术的有益效果是:本专利技术采用平台化的理念整合云计算和电力业务应用技术，根据各种用电数据的特点和业务逻辑，采用混合存储机制，利用云计算和关系数据库互补的策略，以云计算技术为核心，以电力用电业务为流程，构建公司智能用电私有云，实现用电信息采集系统海量用电数据存储和处理，提高用电数据挖掘和利用效率，充分发挥大规模用电数据的价值优势，为智能用电互动化服务和国家节能减排提供数据服务和技术支撑。附图说明图1是本专利技术智能用电数据服务系统的架构示意图；图2是本专利技术智能用电数据服务系统的可用域划分示意图；图3是基础资源池的部署拓扑图；图4是智能用电数据的分类存储原理示意图；图5是本专利技术用电信息混合存储架构图；图6是智能用电数据服务系统的架构图；图7是基于云计算的海量用电信息混合存储架构图；图8是基于Zookeeper的主节点HA设计图。具体实施方式下面结合附图对本专利技术的具体实施方式做进一步的说明。本专利技术的基于云计算的智能用电数据服务系统的目标是构建智能用电服务体系中IT支撑平台、数据处理与挖掘服务一体化的管理架构，统一数据服务平台和接口以及相应的运维管理平台，使智能用电业务能够通过统一的、简单化服务结构实现业务数据查询、业务数据分析与挖掘、决策支撑、数据预警和用户互动相关业务。该基于云计算的智能用电服务系统的架构如图1所示，包括智能用电业务服务云、智能用电大数据共享平台、智能用电大数据支撑平台、智能用电数据接入服务端、智能用电业务大数据支撑服务接口和智能用电业务服务平台，能用电数据接入服务端用于将用电数据采集终端采集到的数据提供给智能用电大数据共享平台，所述智能用电大数据共享平台用于对采集到的用电数据进行清洗、解析和分类存储；所述智能用电大数据支撑平台用于根据智能用电大数据共享平台中存储的用电数据按照业务流程进行处理，所述智能用电业务大数据支撑服务接口用于向外提供服务接口，以便各类用电业务访问智能用电大数据支撑平台，所述智能用电业务服务云作为底层资源池用于为系统提供一个基于虚拟化的资源支撑环境，包括计算资源池、存储资源池和网络资源池，该服务系统采用Spark和Hadoop共同构建的平台对智能用电大数据共享平台中的用电数据进行处理，将对时效性要求较高的业务部署在spark上运行，将对时效性要求不高的业务部署在hadoop上运行。从该架构上看，本专利技术的智能用电数据服务系统基于云计算平台构建，利用大数据相关技术，统一管理用电数据，实现统一的数据接入、存储、管理和共享功能，实现支撑多业务的智能用电数据共享。在数据统一管理、集中共享的基础上，利用分布式处理和查询等相关技术，实现用电大数据的支撑平台，即为上层业务提供数据的查询、处理和挖掘的通用方法。作为用电数据服务和用电数据业务整体资源提供层，服务云平台集中管理全部计算、存储和网络资源的前提下，针对不同的用电数据业务要求，实现不同类型的资源组织和管理，根据对现有本文档来自技高网...

【技术保护点】
一种基于云计算的智能用电数据服务系统，其特征在于，该系统包括智能用电业务服务云、智能用电大数据共享平台、智能用电大数据支撑平台、智能用电数据接入服务端和智能用电业务大数据支撑服务接口，智能用电数据接入服务端用于将用电数据采集终端采集到的数据提供给智能用电大数据共享平台，所述智能用电大数据共享平台用于对采集到的用电数据进行清洗、解析和分类存储；所述智能用电大数据支撑平台用于根据智能用电大数据共享平台中存储的用电数据按照业务流程进行处理，所述智能用电业务大数据支撑服务接口用于向外提供服务接口，以便各类用电业务访问智能用电大数据支撑平台，所述智能用电业务服务云作为底层资源池用于为系统提供一个基于虚拟化的资源支撑环境，包括计算资源池、存储资源池和网络资源池，该服务系统采用Spark和Hadoop共同构建的平台对智能用电大数据共享平台中的用电数据进行处理，将对时效性要求较高的业务部署在spark上运行，将对时效性要求不高的业务部署在hadoop上运行。

【技术特征摘要】
1.一种基于云计算的智能用电数据服务系统，其特征在于，该系统包括智能用电业务服务云、智能用电大数据共享平台、智能用电大数据支撑平台、智能用电数据接入服务端和智能用电业务大数据支撑服务接口，智能用电数据接入服务端用于将用电数据采集终端采集到的数据提供给智能用电大数据共享平台，所述智能用电大数据共享平台用于对采集到的用电数据进行清洗、解析和分类存储；所述智能用电大数据支撑平台用于根据智能用电大数据共享平台中存储的用电数据按照业务流程进行处理，所述智能用电业务大数据支撑服务接口用于向外提供服务接口，以便各类用电业务访问智能用电大数据支撑平台，所述智能用电业务服务云作为底层资源池用于为系统提供一个基于虚拟化的资源支撑环境，包括计算资源池、存储资源池和网络资源池，该服务系统采用Spark和Hadoop共同构建的平台对智能用电大数据共享平台中的用电数据进行处理，将对时效性要求较高的业务部署在spark上运行，将对时效性要求不高的业务部署在hadoop上运行。2.根据权利要求1所述的基于云计算的智能用电数据服务系统，其特征在于，智能用电大数据共享平台的可用域划分为数据域、业务域和交互域，所述数据域用于为数据存储和处理提供集群资源，其计算资源和存储资源处于同一物理节点...

【专利技术属性】
技术研发人员：王军，王文浩，韩林峰，歹志阳，徐坤乐，方旭，张俊浩，
申请(专利权)人：河南许继仪表有限公司，许继集团有限公司，国家电网公司，国网辽宁省电力有限公司电力科学研究院，
类型：发明
国别省市：河南;41