一种分布式内存电网系统构建方法技术方案

本发明专利技术公开了一种分布式内存电网系统构建方法，具体包括以下几个步骤：(1)构建内存电网资源模型：内存电网资源建模遵循IEC61970标准中的公共信息模型规范,利用面向对象的封装、继承和对象应用，建立树型的内存电网资源模型；(2)确定内存存储结构：采用数组方式对资源所有属性数据进行存储，通过定义属性名称标识符与数组下标的映射关系，确定属性数据在数组中的位置，实现数据存取；(3)水平拆分电网资源数据；(4)加载并缓存电网资源数据；(5)同步内存电网数据；(6)确定内存电网断面；(7)确定内存电网访问接口。本发明专利技术在实现资源访问和计算时能够最大程度减少分布式节点间的数据传输，大幅提升效率。

【技术实现步骤摘要】

本专利技术涉及，属于电网

技术介绍
为解决大数据的存储、计算及分析问题，Google公司提出了分布式文件系统、面向 列的分布式数据库、MapReduce分布式编程模型。Google公司的分布式存储、分布式计算技 术为大型互联网站系统大数据量的存储和分析提出了解决方案，提升了性能。在大数据实 时分析方面，SAP推出了HANA内存计算平台，它通过内存计算技术以及软硬件结合的一体 机技术，实现高性能的数据查询与分析，满足用户对大数据处理的实时性需求。在大容量、 高速存储方面，Oracle推出了Exadata数据库一体机，它通过高性能硬件、高速网络接口， 采用智能扫描、智能存储、智能索引、混合列压缩等技术，提高大数据和多并发应场景下的 系统处理效率。Exadata数据库一体机能够使得基于oracle数据库的已有系统的性能得到 10倍左右性能提升。另外，也有一些内存数据库技术，如：为应用程序提供即时响应和高吞 吐量的OracleTimesTen产品；将基于内存和磁盘的全事务处理数据库引擎，可用性强的 数据复制功能紧密地融为一体的IBMSolidDB产品；用于各种需要高性能、小尺寸、紧密存 储、零内存分配的eXtremeDB;占用资源低、能够跟很多程序语言相结合、轻量级的SQLite 内存数据库；采用高性能的键-值存储、内存数据集方式的开源Redis内存数据库，都提出 了数据的实时存储方案，避免解决频繁的磁盘1/0操作，使得数据存取效率提高。在分布式计算领域，常见的分析方法利用Hadoop框架，由于大量的磁盘1/0操作 以及复杂的MapReduce过程，使得系统性能和运行效率低下，不能满足实时性的要求，只能 用于非实时的数据分析应用场景。在分布式缓存领域，通常采用Key-Value的存储方式和 基于Key哈希散列的数据划分方式，这种方式使得多种数据连接查询时缓存节点需要交换 大量数据，性能低下，且一般用于结构简单的数据，很难处理模型复杂的电网资源数据。目 前主流的分布式和内存计算产品由于其通用性设计，使得其在面对复杂电网资源模型和海 量资源数据，无法发挥最大优势，甚至存在无法解决的工程应用问题。
技术实现思路
针对现有技术存在的不足，本专利技术目的是提供一种分布式内存电网系统构建方 法，在实现资源访问和计算时能够最大程度减少分布式节点间的数据传输，大幅提升效率。为了实现上述目的，本专利技术是通过如下的技术方案来实现：本专利技术的，具体包括以下几个步骤： (1)构建内存电网资源模型：内存电网资源建模遵循IEC61970标准中的公共信息 模型规范，利用面向对象的封装、继承和对象应用，建立树型的内存电网资源模型； (2)确定内存存储结构：采用数组方式对资源所有属性数据进行存储，通过定义 属性名称标识符与数组下标的映射关系，确定属性数据在数组中的位置，实现数据存取； (3)水平拆分电网资源数据：将具有不同业务属性值的电网资源数据映射到不同 的数据块，将具有相同业务属性值的电网资源数据映射到一同数据块； ⑷加载并缓存电网资源数据：系统第一次启动时，根据数据的水平划分方式，将 电网资源数据库中的数据按照内存电网资源模型进行加载，然后分布式缓存到集群中多个 服务器内存中；数据加载完成后，将缓存中的电网资源数据进行序列化，形成二进制文件保 存到磁盘，当再次启动系统时，从文件直接读取电网数据，并从电网资源数据库读取从上次 序列化到目前的增量数据；电网资源分布式缓存后，将缓存服务器IP地址、电网资源的区 域属性值、电网资源电压等级值、占用空间、缓存所用时间信息发送到电网资源管理服务器 中进行统一管理； (5)同步内存电网数据：将电网数据库中的资源数据同步到内存电网、省内存电 网的资源数据同步到总部内存电网，使得数据库和内存电网、总部内地电网和省内存电网 的数据保持一致； (6)确定内存电网断面：内存电网断面以对象化并行计算框架持久化功能作为支 撑，各省及总部的所有断面数据保存在各自的内存电网服务器，采用与内存电网服务器共 享内存的方式，加载本地历史断面数据； (7)确定内存电网访问接口：内存电网接口用于向电网业务信息系统提供数据物 理位置无关的电网资源访问方式，包括电网断面接口、电网数据统计分析接口、数据查询接 □〇 步骤（1)中，进行树型展示时，首先要确定内存电网资源模型中电网资源的层次 关系，要求必须有一个根节点，且每一个子节点的父节点是唯一的。 步骤（2)中，内存存储结构具体的确定方法如下： 设资源数据为A，包含4个属性，记录条数为：3,则为每条记录分配一个长度为4 的Object对象数组， 属性1属性2属性3属性4 采用Key-Value方式建立属性标识符与数组下标的映射关系如下： 属性（key)对应数组下标（value) 访问某条记录的某个属性值时，首先找到该条记录对应的数组，然后根据属性标 识符与数组下标关系，找到该属性对应的数组下标，根据数组下标访问对应的属性值。 步骤（3)中，电网资源数据水平拆分方法如下： (3-1)由计算任务对象模型根据业务逻辑和所使用的数据，分析最优的N个数据 切分属性字段； (3-2)将N个待切分业务数据对象属性的类型和属性值范围，作为数据切分的原 始输入； (3-3)将对象的N个属性视作N维空间的轴，根据对象属性值范围映到多维空间区 域，形成多维空间的数据超平面； (3-4)每个数据超平面被映射到分布式计算集群中的不同计算节点的内存，形成 数据的分布式内存存储。 步骤（6)中，内存电网断面利用HDFS分布式文件系统进行永久、可靠存储，数据持 久化时的序列化采用开源的Hession组件实现。 步骤（6)中，所述内存电网断面提供断面管理、断面生成和多断面载入；所述断面 管理提供断面数据的查询、断面生成计划任务的制定、断面载入指令的下达；所述断面生成 根据计划任务定期将内存电网的数据进行持久化，生成电网数据断面；所述多断面载入根 据断面指令，载入多个历史断面到内存；内存电网提供断面管理工具用于查询所有历史断 面信息，同时可以向数据断面处理器发起断面生成请求和断面加载请求；数据断面处理器 在接收到相关请求后，执行断面生成、断面加载任务。 步骤（7)中，所述内存电网访问接口采用PRC远程调用协议，传输的数据为资源对 象序列化后的二进制流。 步骤（7)中，通过所述电网断面接口查询电网断面信息，并下达断面加载指令，加 载指定的电网断面数据到计算机内存；通过所述电网数据统计分析接口获取总部和省电网 资源多条件、多维度的统计分析结果；通过所述数据查询接口向业务系统提供全网电网资 源的查询，业务系统不需要关注数据的来源和物理位置。 本专利技术的分布式内存电网充分考虑了电网资源数据和电网业务特性，采用统一的 电网资源模型和全新的存储方式，并使得模型能够准确的反映电网资源的情况，同时具备 可重用、易理解、高效资源存储和访问等特性；同时通过利用电网资源的区域特性和电压等 级特性，可很好的解决数据水平分割问题，使得资源数据访问和计算时能够最大程度上减 少分布式节点间的数据传输，大幅提升效率，同时又能支持多种资源数据的关联查询；分布 式内存电网是分布式技术、内存计算技术当前第1页1 2 本文档来自技高网...

【技术保护点】
一种分布式内存电网系统构建方法，其特征在于，具体包括以下几个步骤：(1)构建内存电网资源模型：内存电网资源建模遵循IEC61970标准中的公共信息模型规范,利用面向对象的封装、继承和对象应用，建立树型的内存电网资源模型；(2)确定内存存储结构：采用数组方式对资源所有属性数据进行存储，通过定义属性名称标识符与数组下标的映射关系，确定属性数据在数组中的位置，实现数据存取；(3)水平拆分电网资源数据：将具有不同业务属性值的电网资源数据映射到不同的数据块，将具有相同业务属性值的电网资源数据映射到一同数据块；(4)加载并缓存电网资源数据：系统第一次启动时，根据数据的水平划分方式，将电网资源数据库中的数据按照内存电网资源模型进行加载，然后分布式缓存到集群中多个服务器内存中；数据加载完成后，将缓存中的电网资源数据进行序列化，形成二进制文件保存到磁盘，当再次启动系统时，从文件直接读取电网数据，并从电网资源数据库读取从上次序列化到目前的增量数据；电网资源分布式缓存后，将缓存服务器IP地址、电网资源的区域属性值、电网资源电压等级值、占用空间、缓存所用时间信息发送到电网资源管理服务器中进行统一管理；(5)同步内存电网数据：将电网数据库中的资源数据同步到内存电网、省内存电网的资源数据同步到总部内存电网,使得数据库和内存电网、总部内地电网和省内存电网的数据保持一致；(6)确定内存电网断面：内存电网断面以对象化并行计算框架持久化功能作为支撑，各省及总部的所有断面数据保存在各自的内存电网服务器，采用与内存电网服务器共享内存的方式，加载本地历史断面数据；(7)确定内存电网访问接口：内存电网接口用于向电网业务信息系统提供数据物理位置无关的电网资源访问方式，包括电网断面接口、电网数据统计分析接口、数据查询接口。...

【技术特征摘要】

【专利技术属性】
技术研发人员：张春平，林峰，胡牧，杨志，刘铭，张琦，
申请(专利权)人：国家电网公司，南京南瑞集团公司，南京南瑞信息通信科技有限公司，
类型：发明
国别省市：北京;11