一种异地一体化电网数据存储系统及方法技术方案

本发明专利技术公开了一种异地一体化电网数据存储系统，包括连接模块和若干负载均衡模块，连接模块与一负载均衡模块连接；连接模块：用于向外提供一IP地址，接收访问该IP地址的采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块；负载均衡模块：通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点；未与连接模块连接的负载均衡模块进行热备份，其中所述数据库采用数据切割存储方式进行采样数据存储。本发明专利技术通过数据库中间件技术实现异地灾备双核心，通过采用数据切割存储技术实现海量容量存储和易于扩展。

A Data Storage System and Method for Distant Integrated Power Grid

【技术实现步骤摘要】
一种异地一体化电网数据存储系统及方法
本专利技术涉及一种异地一体化电网数据存储系统及方法，属于电力系统自动化电网采样历史数据管理

技术介绍
在配电网系统中，为了便于对电网设备状态进行追溯，往往需要将设备的电流、电压、开关动作和故障指示器等相关数据进行存储，目前采用关系型数据库集中式存储，但是随着数据采集范围和电网规模扩大、新能源系统接入，数据库中的数据规模不断增长。传统关系型数据库对海量数据的存储和处理能力明显不足，数据安全也无法得到满足。随着配电网规模和应用需求扩大，数据量会越来越大，传统的存储方式存在容量存储不足、不易扩展的问题。
技术实现思路
本专利技术提供了一种异地一体化电网数据存储系统及方法，解决了传统存储方法存在容量存储不足、不易扩展的问题。为了解决上述技术问题，本专利技术所采用的技术方案是：一种异地一体化电网数据存储系统，包括连接模块和若干负载均衡模块，连接模块与一负载均衡模块连接；连接模块：用于向外提供一IP地址，接收访问该IP地址的采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块；负载均衡模块：通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点；未与连接模块连接的负载均衡模块进行热备份。数据库采用数据切割存储方式进行采样数据存储。响应于连接模块连接的负载均衡模块所在的采集数据存储系统出现故障，连接模块选择一热备份的负载均衡模块连接，并将故障的采集数据存储系统剔除；响应于热备份的负载均衡模块所在的采集数据存储系统出现故障，连接模块将故障的采集数据存储系统剔除。数据库进行数据存储的过程为，通过切割算法进行数据表拆分，将拆分后的子表分布到存储节点；存储节点将与子表对应的采集数据写入数据块；对数据块进行合并；响应于合并后的数据块达到阈值，将合并后的数据块分割成若干大小相等的标准数据块。数据库采用冗余策略，拷贝标准数据块，将拷贝的标准数据块分散到所有采集数据存储系统的存储节点上。一种异地一体化电网数据存储方法，包括以下步骤，连接模块用于向外提供一IP地址，接收访问该IP地址的采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块；未与连接模块连接的负载均衡模块进行热备份；与连接模块连接的负载均衡模块通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点。数据库采用数据切割存储方式进行采样数据存储。响应于连接模块连接的负载均衡模块所在的采集数据存储系统出现故障，连接模块选择一热备份的负载均衡模块连接，并将故障的采集数据存储系统剔除；响应于热备份的负载均衡模块所在的采集数据存储系统出现故障，连接模块将故障的采集数据存储系统剔除。数据库进行数据存储的过程为，通过切割算法进行数据表拆分，将拆分后的子表分布到存储节点；存储节点将与子表对应的采集数据写入数据块；对数据块进行合并；响应于合并后的数据块达到阈值，将合并后的数据块分割成若干大小相等的标准数据块。数据库采用冗余策略，拷贝标准数据块，将拷贝的标准数据块分散到所有采集数据存储系统的存储节点上。本专利技术所达到的有益效果：本专利技术通过数据库中间件技术实现异地灾备双核心，通过采用数据切割存储技术实现海量容量存储和易于扩展。附图说明图1为本专利技术系统的框图；图2为数据存储的流程图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。如图1所示，一种异地一体化电网数据存储系统，包括连接模块和若干采集数据存储系统，采集数据存储系统部署在不同的地区，采集数据存储系统包括相互连接的负载均衡模块和数据库，连接模块与一个采集数据存储系统的负载均衡模块连接。连接模块具体有两种实现方式，一种是直接部署一个服务器中，另一种是将连接模块分成若干个子模块，分别部署在不同的采集数据存储系统所正在的服务器中。连接模块用以提供可靠的连接，向外提供一IP地址，采集端会访问该IP地址，连接模块接收采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块。与连接模块连接的负载均衡模块通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点。未与连接模块连接的负载均衡模块进行热备份。负载均衡模块通过RPC（RemoteProcedureCall）协议和其他模块进行连接。RPC协议在OSI网络通信模型中，跨越了传输层和应用层，是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。响应于连接模块连接的负载均衡模块所在的采集数据存储系统出现故障，连接模块选择一热备份的负载均衡模块连接，并将故障的采集数据存储系统剔除。响应于热备份的负载均衡模块所在的采集数据存储系统出现故障，连接模块将故障的采集数据存储系统剔除。通过此种方式，当一个地区的采集数据存储系统发生故障，连接模块可以不间断的提供数据连接服务，从而实现高可靠的数据连接，实现区域灾备的目的。数据库采用数据切割存储方式进行采样数据存储。数据存储的核心是通过水平扩展方式，提高数据存储容量，不断增加存储节点，扩展存储容量，从而达到可以存储PB级数据的目的。具体存储过程如图2所示：1）通过切割算法进行PB级数据表拆分，将拆分后的子表分布到存储节点；2）存储节点将与子表对应的采集数据写入数据块；3）对数据块进行合并；4）响应于合并后的数据块达到阈值，将合并后的数据块分割成若干大小相等的标准数据块。为了实现数据高可靠行，数据库采用冗余策略，拷贝标准数据块，将拷贝的标准数据块分散到所有采集数据存储系统的存储节点上。上述系统的连接模块和负载均衡模块构成数据库中间件，通过数据库中间件技术实现异地灾备双核心，通过采用数据切割存储技术实现海量容量存储和易于扩展。上述系统的存储方法，包括以下步骤：步骤1，连接模块用于向外提供一IP地址，接收访问该IP地址的采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块。步骤2，未与连接模块连接的负载均衡模块进行热备份。响应于连接模块连接的负载均衡模块所在的采集数据存储系统出现故障，连接模块选择一热备份的负载均衡模块连接，并将故障的采集数据存储系统剔除；响应于热备份的负载均衡模块所在的采集数据存储系统出现故障，连接模块将故障的采集数据存储系统剔除。步骤3，与连接模块连接的负载均衡模块通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点；步骤4，数据库采用数据切割存储方式进行采样数据存储。数据库进行数据存储的过程为：41）通过切割算法进行数据表拆分，将拆分后的子表分布到存储节点；42）存储节点将与子表对应的采集数据写入数据块；43）对数据块进行合并；44）响应于合并后的数据块达到阈值，将合并后的数据块分割成若干大小相等的标准数据块；45）采用冗余策略，拷贝标准数据块，将拷贝的标准数据块分散到所有采集数据存储系统的存储节点上。本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器本文档来自技高网...

【技术保护点】
1.一种异地一体化电网数据存储系统，其特征在于：包括连接模块和若干负载均衡模块，连接模块与一负载均衡模块连接；连接模块：用于向外提供一IP地址，接收访问该IP地址的采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块；负载均衡模块：通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点；未与连接模块连接的负载均衡模块进行热备份。

【技术特征摘要】
1.一种异地一体化电网数据存储系统，其特征在于：包括连接模块和若干负载均衡模块，连接模块与一负载均衡模块连接；连接模块：用于向外提供一IP地址，接收访问该IP地址的采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块；负载均衡模块：通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点；未与连接模块连接的负载均衡模块进行热备份。2.根据权利要求1所述的一种异地一体化电网数据存储系统，其特征在于：数据库采用数据切割存储方式进行采样数据存储。3.根据权利要求1所述的一种异地一体化电网数据存储系统，其特征在于：响应于连接模块连接的负载均衡模块所在的采集数据存储系统出现故障，连接模块选择一热备份的负载均衡模块连接，并将故障的采集数据存储系统剔除；响应于热备份的负载均衡模块所在的采集数据存储系统出现故障，连接模块将故障的采集数据存储系统剔除。4.根据权利要求1所述的一种异地一体化电网数据存储系统，其特征在于：数据库进行数据存储的过程为，通过切割算法进行数据表拆分，将拆分后的子表分布到存储节点；存储节点将与子表对应的采集数据写入数据块；对数据块进行合并；响应于合并后的数据块达到阈值，将合并后的数据块分割成若干大小相等的标准数据块。5.根据权利要求4所述的一种异地一体化电网数据存储系统，其特征在于：数据库采用冗余策略，拷贝标准数据块，将拷贝的标准数据块分散到所有采集数据存储系统的存储...

【专利技术属性】
技术研发人员：崔伟业，王玉军，史浩秋，徐骏，陈鹏，余璟，汪志成，吴海伟，
申请(专利权)人：国电南瑞科技股份有限公司，国家电网有限公司，国网江苏省电力有限公司，
类型：发明
国别省市：江苏,32