一种基于Neo4j图数据库的大数据存储方法技术

本发明专利技术涉及一种基于Neo4j图数据库的大数据存储方法。借鉴电力系统中公共信息模型的建模方式，对以电力系统为核心的能源互联网系统的物理网络拓扑统一建模；将拓扑模型，包括设备配置、台账、地理位置的综合数据以及包括量测、电价、天气的实时数据和它们之间的关系存储到Neo4j图数据库中；对于历史数据、预测数据与能源互联网中不存在复杂关系的数据，存储到关系数据库中，并且在图数据库中存储关系数据库的位置信息。本发明专利技术方法结合了Neo4j图数据库和关系数据库各自的优势对能源互联网中的大数据分类存储，可以有效处理其中PB级的数据量，提高了数据的访问效率；同时该存储方式的可扩展性很好，具有广阔的应用前景。 1

A big data storage method based on Neo4j diagram database

The invention relates to a large data storage method based on Neo4j diagram database. Based on the modeling method of public information model in power system, the physical network topology of energy Internet system with power system as the core is unified. The topology model, including the comprehensive data of equipment configuration, ledger, geographical location, and the real-time data including measurement, electricity price, weather, and the relationship between them It is stored in the Neo4j map database; the data that does not have complex relations with the historical data, the predicted data and the energy Internet is stored in the relational database, and the location information of the relational database is stored in the graph database. This method combines the advantages of the Neo4j map database and the relational database to classify the large data in the energy Internet. It can effectively deal with the PB level of data and improve the access efficiency of the data. At the same time, the extensibility of the storage mode is very good, and it has a broad application prospect. One

【技术实现步骤摘要】
一种基于Neo4j图数据库的大数据存储方法
本专利技术属于能源互联网大数据的分析领域，涉及一种基于Neo4j图数据库的大数据存储方法。
技术介绍
随着能源互联网的发展，以电力、分布式可再生能源、交通等多种网络系统闭环运行为主要特征的能源电力系统将逐渐与信息系统融合为大能源系统，对其中大量多态异构数据的可靠、高效、低成本存储，是发掘能源互联网大数据中蕴藏价值的前提，是支持新能源的协同利用与多源系统经济运行的基础。能源互联网的数据源不仅覆盖能源生产、传输、交易、消费环节中数以亿计的设备，还包括了天气、交通、电价等外部数据源，产生了海量且还将进一步扩大的数据。目前，能源系统中的数据存储方法大多为基于关系模型的存储方式。关系模型适用于存储结构化数据，通过SQL查询语言提供便捷的数据查询方式，主要应用于事务的操作性处理，但不能满足能源互联网大数据快速访问和分析的需求，所受限制为：①存储容量的限制，关系数据库可以有效处理TB级的数据，而对大能源系统PB级的数据量，目前较难处理；②关系模型按内容访问的特点束缚了对海量数据的快速访问能力；③可扩展性差，针对特定应用的设计特性使其难以应对海量复杂数据。
技术实现思路
本专利技术的目的在于现有能源互联网数据存储方法的不足，提供一种基于Neo4j图数据库的大数据存储方法，该方法结合了Neo4j图数据库和关系数据库各自的优势对能源互联网中的大数据分类存储，可以有效处理其中PB级的数据量；用该方法存储到图数据库的数据支持采用图论算法对数据之间的大量复杂关系进行分析，并且利用关系进行搜索查询的方式提高了数据的访问效率；同时该存储方式的可扩展性很好，当存储对象发生变化时，可以直接更改图数据库中的关系以改变数据组织方式，或更改节点与关系中属性，具有广阔的应用前景。为实现上述目的，本专利技术的技术方案是：一种基于Neo4j图数据库的大数据存储方法，包括如下步骤，步骤1：借鉴电力系统中公共信息模型的建模方式，对以电力系统为核心的能源互联网系统的物理网络拓扑统一建模；步骤2：将拓扑模型，包括设备配置、台账、地理位置的综合数据以及包括量测、电价、天气的实时数据和它们之间的关系存储到Neo4j图数据库中；步骤3：对于历史数据、预测数据与能源互联网中不存在复杂关系的数据，存储到关系数据库中，并且在图数据库中存储关系数据库的位置信息。在本专利技术一实施例中，所述步骤1中将能源互联网系统的物理网络拓扑定义为参与包括电能、风能、热能、太阳能的各种形式能量的生产、转换、输送、分配和消费的所有设备以及多个设备组合而成的容器对象所组成的网络；对能源互联网系统中的电力系统，直接采用公共信息模型建模；对网络中电力系统以外的包括风电、光伏、冰蓄冷、制冷机、热负荷的分布式能源设备，建模流程如下：1）为相同类型的设备设计一个设备类，将该类设备本身具有的参数作为固有属性，添加到所设计的类中，再为每个设备类都添加一个能够唯一标识设备身份的属性；2）对每个设备，根据该设备与能源互联网系统物理网络相连接的端数，在拓扑模型中增加对应数量的端子对象，端子的属性值中包含该设备的唯一身份标识属性值；端子连接到网络中的连接节点，在端子的属性值中添加该连接节点的唯一身份标识属性值；3）为物理网络拓扑中相同类型的容器对象设计一个类，将该容器本身具有的参数作为固有属性，添加到所设计的类中，再为每个容器类都添加一个能够唯一标识容器身份的属性；4）为每个设备和容器建立一个其所对应的类对象；在容器所包含的子容器或设备对象中添加该容器的唯一身份标识属性值。在本专利技术一实施例中，所述步骤2中将拓扑模型存储到Neo4j图数据库中的过程如下：1）将拓扑模型中的连接节点存储到图数据库的节点中；2）将拓扑模型中的端子存储到图数据库的节点中，找到与端子相连的连接节点在图数据库中所对应的节点，在该节点与端子节点之间建立包含关系；3）将包含一个端子的设备对象存储到图数据库的节点中，找到与该设备的端子相连的连接节点，在该节点与设备节点之间建立拥有关系；4）将拓扑模型中包含两个端子的设备对象存储到图数据库的关系中，这种关系的类型设置为连接关系；对于设备配置、台账、地理位置等综合数据以及量测的实时数据，将它们存储在图数据库的节点中，然后找到其所对应的设备节点，在设备节点与数据节点之间建立拥有关系；对于包括容器对象、电价、天气的实时数据，是与整个或部分拓扑模型相关联的数据，将他们存储到一个节点中，并在图数据库的管理节点与该数据节点之间建立拥有关系。在本专利技术一实施例中，所述步骤3中对于历史数据、预测数据与能源互联网中其它对象之间不存在复杂关系的数据，将它们存储到关系数据库中；在关系表中添加包括测量点地址、测量值和时标的属性，再将数据记录按时间顺序添加到表中，并在图数据库中存储关系数据库的位置信息。在本专利技术一实施例中，所述复杂关系，指的是在Neo4j图数据库中的关系表的外键对应关系。相较于现有技术，本专利技术具有以下有益效果：本专利技术方法结合了Neo4j图数据库和关系数据库二者的优势，对能源互联网中的大数据进行分类存储，支持对数据之间的大量复杂关系进行分析，并且利用关系进行搜索查询的方式提高了数据的访问效率；同时该存储方式的可扩展性很好，当存储对象发生变化时，可以直接更改图数据库中的关系以改变数据组织方式，或更改节点与关系中属性；另外该方法借鉴公共信息模型设计了能源互联网大数据的模型，该存储模型具有较好的通用性，可以应用到不同的能源互联网系统中。附图说明图1为基于Neo4j图数据库的大数据存储模式图。图2为能源互联网系统结构图。图3为将图2系统存储到Neo4j图数据库后，在Neo4j提供的Web操作界面上看到的存储结果示意图。具体实施方式下面结合附图，对本专利技术的技术方案进行具体说明。如图1所示，本专利技术的一种基于Neo4j图数据库的大数据存储方法，包括如下步骤，步骤1：借鉴电力系统中公共信息模型的建模方式，对以电力系统为核心的能源互联网系统的物理网络拓扑统一建模；步骤2：将拓扑模型，包括设备配置、台账、地理位置的综合数据以及包括量测、电价、天气的实时数据和它们之间的关系存储到Neo4j图数据库中；步骤3：对于历史数据、预测数据与能源互联网中不存在复杂关系（复杂关系指与其它数据之间存在大量的关联；Neo4j图数据库中的关系相当于关系表的外键对应关系）的数据，存储到关系数据库中，并且在图数据库中存储关系数据库的位置信息。所述步骤1中将能源互联网系统的物理网络拓扑定义为参与包括电能、风能、热能、太阳能的各种形式能量的生产、转换、输送、分配和消费的所有设备以及多个设备组合而成的容器对象所组成的网络；对能源互联网系统中的电力系统，直接采用公共信息模型建模；对网络中电力系统以外的包括风电、光伏、冰蓄冷、制冷机、热负荷的分布式能源设备，建模流程如下：1）为相同类型的设备设计一个设备类，将该类设备本身具有的参数作为固有属性，添加到所设计的类中，再为每个设备类都添加一个能够唯一标识设备身份的属性；2）对每个设备，根据该设备与能源互联网系统物理网络相连接的端数，在拓扑模型中增加对应数量的端子对象，端子的属性值中包含该设备的唯一身份标识属性值；端子连接到网络中的连接节点，在端子的属性值中添加该连接节点的唯一身份标本文档来自技高网...

【技术保护点】
1.一种基于Neo4j图数据库的大数据存储方法，其特征在于：包括如下步骤，

【技术特征摘要】
1.一种基于Neo4j图数据库的大数据存储方法，其特征在于：包括如下步骤，步骤1：借鉴电力系统中公共信息模型的建模方式，对以电力系统为核心的能源互联网系统的物理网络拓扑统一建模；步骤2：将拓扑模型，包括设备配置、台账、地理位置的综合数据以及包括量测、电价、天气的实时数据和它们之间的关系存储到Neo4j图数据库中；步骤3：对于历史数据、预测数据与能源互联网中不存在复杂关系的数据，存储到关系数据库中，并且在图数据库中存储关系数据库的位置信息。2.根据权利要求1所述的一种基于Neo4j图数据库的大数据存储方法，其特征在于：所述步骤1中将能源互联网系统的物理网络拓扑定义为参与包括电能、风能、热能、太阳能的各种形式能量的生产、转换、输送、分配和消费的所有设备以及多个设备组合而成的容器对象所组成的网络；对能源互联网系统中的电力系统，直接采用公共信息模型建模；对网络中电力系统以外的包括风电、光伏、冰蓄冷、制冷机、热负荷的分布式能源设备，建模流程如下：1）为相同类型的设备设计一个设备类，将该类设备本身具有的参数作为固有属性，添加到所设计的类中，再为每个设备类都添加一个能够唯一标识设备身份的属性；2）对每个设备，根据该设备与能源互联网系统物理网络相连接的端数，在拓扑模型中增加对应数量的端子对象，端子的属性值中包含该设备的唯一身份标识属性值；端子连接到网络中的连接节点，在端子的属性值中添加该连接节点的唯一身份标识属性值；3）为物理网络拓扑中相同类型的容器对象设计一个类，将该容器本身具有的参数作为固有属性，添加到所设计的类中，再为每个容器类都添加一个能够唯一标识容器身份的属性；4）为每个设备和容...

【专利技术属性】
技术研发人员：施鹏佳，吴桂联，邓鋆芃，张林垚，
申请(专利权)人：国网福建省电力有限公司，国网福建省电力有限公司经济技术研究院，
类型：发明
国别省市：福建,35