一种海量电网数据管理存储系统技术方案

本发明专利技术涉及电网数据储存技术领域，具体涉及一种海量电网数据管理存储系统，该系统包括：数据挖掘模块，用于基于Hadoop运行预设的第一数据挖掘模型实现电网数据的定向挖取；数据预处理模块，用于基于信源编码为不同类型的电网数据分配不同的数据标识；数据整理模块，用于根据数据标识为电网数据匹配对应的数据传输通道、数据储存节点和数据计算节点；数据存储模块，由若干个互不重叠数据储存节点构成，且每一个数据储存节点均配置独立的逻辑编号。本发明专利技术在可以显著减少电网数据库内载的亢余数据量的同时，实现了电网数据的分布处理，大大提高了系统的数据处理效率。大大提高了系统的数据处理效率。大大提高了系统的数据处理效率。

【技术实现步骤摘要】
一种海量电网数据管理存储系统


[0001]本专利技术涉及电网数据储存
，具体涉及一种海量电网数据管理存储系统。

技术介绍

[0002]现有的电力信息管理系统对电网数据的采集过程中会录入大量的无效和无用数据，从而导致电网数据库积累了大量的冗余数据，在占用了大量的存储空间的同时影响了系统的数据处理效果，使得工作人员不能及时发现电力设备存在的异常情况，同时也大大影响了工作人员对电网数据的分析利用。

技术实现思路

[0003]本专利技术的目的是提供一种海量电网数据管理存储系统，提高了系统的数据处理效率，可以及时发现电网数据内载的危险因素，所有的数据的来源均可追溯。
[0004]为解决上述技术问题，本专利技术提供了一种海量电网数据管理存储系统，包括：
[0005]数据挖掘模块，用于基于Hadoop运行预设的第一数据挖掘模型实现电网数据的定向挖取；
[0006]数据预处理模块，用于基于信源编码为不同类型的电网数据分配不同的数据标识；
[0007]数据整理模块，用于根据数据标识为电网数据匹配对应的数据传输通道、数据储存节点和数据计算节点；
[0008]数据存储模块，由若干个互不重叠数据储存节点构成，且每一个数据储存节点均配置独立的逻辑编号。
[0009]进一步地，还包括：
[0010]数据定位模块，用于为电网数据在数据储存节点内找到合适的位置，并为其找到相关联的电网数据，建立其与相关联电网数据之间的关系。
[0011]进一步地，还包括：还包括：<br/>[0012]数据监控模块，用于根据勾选/录入的数据监控规则实现电网数据的监控，当发现存在落入数据监控规则内的电网数据时，将该电网数据以弹出对话框的模式进行反馈，同时为这些电网数据配置独立的数据传输通道和数据储存节点。
[0013]进一步地，所述数据整理模块采用SparkR的并行化k
‑
means算法根据数据标识实现电网数据的分类，并根据分类结果为电网数据匹配对应的数据传输通道、数据储存节点和数据计算节点。
[0014]进一步地，还包括：
[0015]权限分配模块，用于根据数据标识为电网数据匹配对应的数据操作权限验证模型；
[0016]数据权限调控模块，用于根据数据权限验证模型的验证结果通过加密解密的方式实现数据操作权限的锁定和释放。
[0017]进一步地，所述数据权限调控模块通过随机加密模块实现电网数据的加密，数据权限调控模块与客户端通过相互独立的双通道连接，在任意一个通道进行通讯时，另一个备用通道进行密钥更新。
[0018]进一步地，还包括：
[0019]数据调用模块，用于根据勾选/录入的数据调用规则在权限范围内基于第二数据挖掘模型实现目标电网数据的调用。
[0020]进一步地，还包括：
[0021]数据标记模块，用于根据电网数据的来源和产生时间为每一个电网数据配置一不可编辑的隐藏式身份标识，需录入特定的算法方可唤醒身份标识，从而实现身份标识的可读。
[0022]本专利技术具有以下有益效果：
[0023]在可以显著减少电网数据库内载的亢余数据量的同时，实现了电网数据的分布处理，大大提高了系统的数据处理效率。
[0024]系统自带数据监控功能，可以及时发现电网数据内载的危险因素，从而及时发现电力设备存在的异常情况。
[0025]所有的数据的来源均可追溯，进一步方便了工作人员对电网数据的分析利用。
附图说明
[0026]为了更清楚地说明本专利技术实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0027]图1为本专利技术实施例1一种海量电网数据管理存储系统的系统框图。
[0028]图2为本专利技术实施例2一种海量电网数据管理存储系统的系统框图。
具体实施方式
[0029]本专利技术的核心是提供一种海量电网数据管理存储系统，提高了系统的数据处理效率，可以及时发现电网数据内载的危险因素，所有的数据的来源均可追溯。
[0030]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0031]实施例1
[0032]如图1所示，本专利技术实施例提供了一种海量电网数据管理存储系统,包括：
[0033]数据挖掘模块1，用于基于Hadoop运行预设的第一数据挖掘模型实现电网数据的定向挖取；
[0034]数据预处理模块2，用于基于信源编码为不同类型的电网数据分配不同的数据标识；
[0035]数据整理模块3，用于根据数据标识为电网数据匹配对应的数据传输通道、数据储
存节点和数据计算节点；
[0036]数据存储模块5，由若干个互不重叠数据储存节点构成，且每一个数据储存节点均配置独立的逻辑编号；
[0037]数据定位模块4，用于为电网数据在数据储存节点内找到合适的位置，并为其找到相关联的电网数据，建立其与相关联电网数据之间的关系；
[0038]数据调用模块6，用于根据勾选/录入的数据调用规则在权限范围内基于第二数据挖掘模型实现目标电网数据的调用。
[0039]数据监控模块7，用于根据勾选/录入的数据监控规则实现电网数据的监控，当发现存在落入数据监控规则内的电网数据时，将该电网数据以弹出对话框的模式进行反馈，同时为这些电网数据配置独立的数据传输通道和数据储存节点。
[0040]需要说明的是，上述存储节点互不重叠指的是相互独立。
[0041]本实施例中，所述数据整理模块3采用SparkR的并行化k
‑
means算法根据数据标识实现电网数据的分类，并根据分类结果为电网数据匹配对应的数据传输通道、数据储存节点和数据计算节点。
[0042]实施例2
[0043]如图2所示，本专利技术实施例提供了一种海量电网数据管理存储系统,包括：
[0044]数据挖掘模块1，用于基于Hadoop运行预设的第一数据挖掘模型实现电网数据的定向挖取；
[0045]数据标记模块，用于根据电网数据的来源和产生时间为每一个电网数据配置一不可编辑的隐藏式身份标识，需录入特定的算法方可唤醒身份标识，从而实现身份标识的可读；
[0046]这里的隐藏式身份标识的作用是为了后续数据的调用和查询，实现全追溯。
[0047]数据预处理模块2，用于基于信源编码为不同类型的电网数据分配不同的数据标识；
[0048]数据整理模块3，用于根据数据标识为电网数据匹配对应的数据传输通道、数据储存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种海量电网数据管理存储系统，其特征在于：包括：数据挖掘模块，用于基于Hadoop运行预设的第一数据挖掘模型实现电网数据的定向挖取；数据预处理模块，用于基于信源编码为不同类型的电网数据分配不同的数据标识；数据整理模块，用于根据数据标识为电网数据匹配对应的数据传输通道、数据储存节点和数据计算节点；数据存储模块，由若干个互不重叠数据储存节点构成，且每一个数据储存节点均配置独立的逻辑编号。2.如权利要求1所述的一种海量电网数据管理存储系统，其特征在于：还包括：数据定位模块，用于为电网数据在数据储存节点内找到合适的位置，并为其找到相关联的电网数据，建立其与相关联电网数据之间的关系。3.如权利要求1所述的一种海量电网数据管理存储系统，其特征在于：还包括：还包括：数据监控模块，用于根据勾选/录入的数据监控规则实现电网数据的监控，当发现存在落入数据监控规则内的电网数据时，将该电网数据以弹出对话框的模式进行反馈，同时为这些电网数据配置独立的数据传输通道和数据储存节点。4.如权利要求1所述的一种海量电网数据管理存储系统，其特征在于：所述数据整理模块具体用于采用SparkR的并行化k
‑
...

【专利技术属性】
技术研发人员：姚海燕，杜忠，崔金栋，吴金荣，葛天奇，黄宁洁，
申请(专利权)人：国网浙江杭州市余杭区供电有限公司国网浙江省电力有限公司杭州供电公司，
类型：发明
国别省市：