基于泛在电力物联网的配网施工安全质量管控平台大数据存储方法及系统技术方案

本发明专利技术公开了一种基于泛在电力物联网的配网施工安全质量管控平台大数据存储平台大数据存储方法及系统，该方法为将用于存储大数据的云端数据库分为一个主区块与多个从区块，并将主区块分为多个虚拟区块；将大数据转换成二维图片数据，并将二维图片数据分割成多个子数据，同时生成配置映射表；将配置映射表存储在多个虚拟区块中，并将上述多个子数据存储在上述多个从区块中。解决了配网施工安全质量管控平台大数据的急速扩大膨胀、查询速度慢，降低了数据利用效率等弊端，达到降低数据库负荷，大数据的高效存储与高速查询的效果。

【技术实现步骤摘要】
基于泛在电力物联网的配网施工安全质量管控平台大数据存储方法及系统
本专利技术涉及电力安全
，尤其涉及一种基于泛在电力物联网的配网施工安全质量管控平台大数据存储方法及系统。
技术介绍
农村供配电网，简称农网，是电力系统中重要的部分。农网改造升级工程是国家资本金投资建设的专项工程，具有总体投资大、单体项目投资小、数量多、范围广、以及管理链条长、环节多、地区差异大、项目地点分散等特点。随着农网建设逐渐加大，农网工程建设任务不断增多，跨区域联网建设不断增强，强化农网工程建设质量管控措施的落实，进一步提高农网工程建设安全质量已成为了建设坚强电网的重中之重，从而对农网工程的质量监督提出了更高的要求。配电农网施工主要存在三大难点：一是配网作业人员工作场地变动频率较快，无法对人员的工作状态及工作位置进行定位，作业位置管控难度大。二是配网施工多以登高施工为主，高处作业过程繁琐，作业环境恶劣，人身安全管控难度大。三是作业现场环境危险源繁多，带电的潜在的风险较大，带电设备管控难度大。因而，要实现对配网施工安全质量管控，需要进行大数据的存储及分析。电力大数据储存系统相当于电力系统的神经中枢大脑，目前使用的数据储存系统以关系型数据库为主，这是一种建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据，具有稳定、安全等特点。然而，由于配网施工现场的数据来源增多，数据类型多样，数据规模和存储压力急剧增大，调控业务对海量多源数据的高效存储与快速处理的要求不断提升。并且，由于数据的飞速发展，数据量越来越大，大数据的存储与查询成为很大的难题。现今云技术做为大数据和快数据的处理技术，被越来越多的应用在很多信息领域，如何根据需要来处理庞大的云数据成了自然而然的问题。处理大量数据最直接的方法是直接存入相应的数据库，这种方法对服务器性能要求高，而且如果每次使用都要到庞大的数据库中去查询所需的数据，查询速度慢，效率低，而如果只做简单的分表也无法达到理想的效果，数据库的负载仍然很大，不能快速的对数据进行定位，无法提高数据查询速度。
技术实现思路
针对现有技术的不足，本专利技术提供了一种基于泛在电力物联网的配网施工安全质量管控平台大数据存储方法及系统，以解决现有技术的大数据的高效存储与高速查询等问题，其具体方案如下：第一方面，本专利技术提供了一种基于泛在电力物联网的配网施工安全质量管控平台大数据存储方法，所述方法包括：将用于存储大数据的云端数据库分为一个主区块与多个从区块，并将所述主区块分为多个虚拟区块；将大数据转换成二维图片数据，并将所述二维图片数据分割成多个子数据，同时生成配置映射表；将所述配置映射表存储在所述多个虚拟区块中，并将所述多个子数据存储在所述多个从区块中。优选地，所述将所述二维图片数据分割成多个子数据之后，所述方法还包括：将所述二维图片数据分割的多个子数据产生一阵列校验码；接收一数据写入指令，并根据所述数据分割指令的目标物理地址，将附加了阵列校验码的多个子数据写入一缓冲阵列存储器。优选地，所述将所述多个子数据存储在所述多个从区块中，所述方法包括：当接收到一子数据写入指令时，依据所述子数据写入指令对所选取的从区块进行数据的写入，直至所述多个子数据已依次完全写入所述多个从区块。优选地，所述将所述二维图片数据分割成多个子数据，所述方法包括：将所述二维图片的数据量除以子数据的数据量N得到L，如果没有余数R则生成N个等量的大小为L的子数据，如果有余数R则生成N-1个大小为L的子数据和1个大小为L+R的子数据。优选地，所述配置映射表用于记录多个从区块的物理地址与多个虚拟区块的逻辑地址的映射关系，所述配置映射表包括所有子数据的分割编号、分割顺序编号、子数据存储的虚拟区块编号、子数据的总数量。优选地，所述将所述配置映射表存储在所述多个虚拟区块中，所述方法包括：将配置映射表分成多个子配置映射表；当接收到一子配置映射表写入指令时，依据所述子配置映射表写入指令对所选取的虚拟区块进行配置映射表的写入，直至所述多个子配置映射表已完全写入所述多个虚拟区块。优选地，所述方法还包括：接收包含数据地址的读取命令；判断所述数据地址所对应的目标子配置映射表是否已被存取，若为否时，从所述多个子配置映射表中存取所述目标子配置映射表；根据存取的所述目标子配置映射表，读取所述多个虚拟区块的子数据。第二方面，本专利技术提供了一种基于泛在电力物联网的配网施工安全质量管控平台大数据存储系统，所述系统包括：分块处理模块，用于将用于存储大数据的云端数据库分为一个主区块与多个从区块，并将所述主区块分为多个虚拟区块；转换处理模块，用于将大数据转换成二维图片数据，并将所述二维图片数据分割成多个子数据，同时生成配置映射表；存储处理模块，用于将所述配置映射表存储在所述多个虚拟区块中，并将所述多个子数据存储在所述多个从区块中。第三方面，本专利技术提供了一种基于泛在电力物联网的配网施工安全质量管控平台大数据存储系统，所述系统包括：通信总线，用于实现处理器与存储器间的连接通信；存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现如下步骤：将用于存储大数据的云端数据库分为一个主区块与多个从区块，并将所述主区块分为多个虚拟区块；将大数据转换成二维图片数据，并将所述二维图片数据分割成多个子数据，同时生成配置映射表；将所述配置映射表存储在所述多个虚拟区块中，并将所述多个子数据存储在所述多个从区块中。第四方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。有益效果：本专利技术的基于泛在电力物联网的配网施工安全质量管控平台大数据存储方法及平台，通过将用于存储大数据的云端数据库分为一个主区块与多个从区块，并将所述主区块分为多个虚拟区块；将大数据转换成二维图片数据，并将所述二维图片数据分割成多个子数据，同时生成配置映射表；将所述配置映射表存储在所述多个虚拟区块中，并将所述多个子数据存储在所述多个从区块中。解决了配网施工安全质量管控平台大数据的急速扩大膨胀、查询速度慢，降低了数据利用效率等弊端，达到降低数据库负荷，大数据的高效存储与高速查询的效果。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，附图中的实施例不构成对本专利技术的任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术基于泛在电力物联网的配网施工安全质量管控平台大数据存储方法实施例一流程示意图。图2是本专利技术基于泛在电力物联网的配网施工安全质量管控平台大数据存储方法实施例二流程示意图。图3是本专利技术基于泛在电力物联网的配网施工安本文档来自技高网...

【技术保护点】
1.一种基于泛在电力物联网的配网施工安全质量管控平台大数据储存方法，其特征在于，所述方法包括：/n将用于存储大数据的云端数据库分为一个主区块与多个从区块，并将所述主区块分为多个虚拟区块；/n将大数据转换成二维图片数据，并将所述二维图片数据分割成多个子数据，同时生成配置映射表；/n将所述配置映射表存储在所述多个虚拟区块中，并将所述多个子数据存储在所述多个从区块中。/n

【技术特征摘要】
1.一种基于泛在电力物联网的配网施工安全质量管控平台大数据储存方法，其特征在于，所述方法包括：
将用于存储大数据的云端数据库分为一个主区块与多个从区块，并将所述主区块分为多个虚拟区块；
将大数据转换成二维图片数据，并将所述二维图片数据分割成多个子数据，同时生成配置映射表；
将所述配置映射表存储在所述多个虚拟区块中，并将所述多个子数据存储在所述多个从区块中。


2.根据权利要求1所述的方法，其特征在于，所述将所述二维图片数据分割成多个子数据之后，所述方法还包括：
将所述二维图片数据分割的多个子数据产生一阵列校验码；
接收一数据写入指令，并根据所述数据分割指令的目标物理地址，将附加了阵列校验码的多个子数据写入一缓冲阵列存储器。


3.根据权利要求2所述的方法，其特征在于，所述将所述多个子数据存储在所述多个从区块中，所述方法包括：
当接收到一子数据写入指令时，依据所述子数据写入指令对所选取的从区块进行数据的写入，直至所述多个子数据已依次完全写入所述多个从区块。


4.根据权利要求2所述的方法，其特征在于，所述将所述二维图片数据分割成多个子数据，所述方法包括：
将所述二维图片的数据量除以子数据的数据量N得到L，如果没有余数R则生成N个等量的大小为L的子数据，如果有余数R则生成N-1个大小为L的子数据和1个大小为L+R的子数据。


5.根据权利要求1所述的方法，其特征在于，所述配置映射表用于记录多个从区块的物理地址与多个虚拟区块的逻辑地址的映射关系，所述配置映射表包括所有子数据的分割编号、分割顺序编号、子数据存储的虚拟区块编号、子数据的总数量。


6.根据权利要求1-5任一项所述的方法，其特征在于，所述将所述配置映射表存储在所述多个虚拟区块中，所述方法包括：
将配置映射表分成多...

【专利技术属性】
技术研发人员：邹海东，沙骏，张华荣，蔡兴涛，
申请(专利权)人：国网江苏省电力有限公司盐城供电分公司，国网江苏省电力有限公司东台市供电分公司，江苏茂源电气有限公司，国家电网有限公司，
类型：发明
国别省市：江苏;32