本申请公开了一种用于电力大数据的数据处理系统及方法，主要涉及数据处理技术领域，用以解决现有的电力数据处理技术存在隐私数据泄露的风险以及处理速度较慢等技术问题。包括：算法下发模块，用于下发数据预处理单元至电力数据采集设备，获得电力数据包；数据分配模块，用于读取包头数据中的设备编号，确定电力数据包对应的边缘计算模块；边缘计算模块，用于确定电力数据包是否存在预设隐私类型的电力数据，当存在时，通过训练好的预设乱码计算算法，确定电力数据对应的最终计算结果；当不存在预设隐私键值时，基于预设计算公式，确定电力数据对应的最终计算结果。本申请通过上述方法实现了规避了隐私电力数据被泄露的风险，提高了处理速度。提高了处理速度。提高了处理速度。
【技术实现步骤摘要】
一种用于电力大数据的数据处理系统及方法
[0001]本申请涉及数据处理
，尤其涉及一种用于电力大数据的数据处理系统及方法。
技术介绍
[0002]电力大数据主要指电力设备在运行过程中生成的大量电力数据，针对大数据时代下电力数据体量大、类型多、速度快的特点，传统的属性约简方法已经无法满足电力大数据的数据处理需求。
[0003]现阶段，电力大数据处理的主要方法为：（1）普通电力数据：收集大量电力数据，导入数据处理系统，通过系统中预设数据格式统一不同来源的电力大数据的格式，进而通过若干规则处理格式统一后的电力大数据。（2）隐私电力数据：将数据加密传输至数据处理系统，系统基于某种预设破解方法，获得该隐私电力数据，进而将隐私数据作为普通电力数据进行处理。
[0004]但是，目前的电网信息资源融合程度较低。不同来源电力数据的数据格式各不相同，服务器需要事先统一化电力数据格式，导致服务器的处理速度较低。且现有的隐私数据盗取技术发展迅速，在隐私电力数据的上传处理过程中，依然存在被窃取的风险。
技术实现思路
[0005]针对现有技术的上述不足，本专利技术提供一种用于电力大数据的数据处理系统及方法，以解决上述技术问题。
[0006]第一方面，本申请实施例提供了一种用于电力大数据的数据处理系统，系统包括：算法下发模块，用于下发数据预处理算法至电力数据采集设备，以通过数据预处理算法，获得电力数据包；其中，电力数据包包括：包头数据以及预设格式的电力数据；且电力数据包中的预设隐私类型的电力数据为乱码数据；数据分配模块，用于读取包头数据中的设备编号，确定电力数据包对应的边缘计算模块；边缘计算模块，用于确定电力数据包是否存在乱码数据，当存在时，通过训练好的预设乱码计算算法，确定电力数据对应的最终计算结果；当不存在预设隐私键值时，基于预设计算公式，确定电力数据对应的最终计算结果。
[0007]进一步地，算法下发模块包括算法下发单元、数据预处理单元；算法下发单元，用于确定进行电力数据处理的电力数据采集设备；确定电力数据采集设备中是否存在数据预处理单元；当不存在时，下发数据预处理单元至电力数据采集设备；数据预处理单元，用于确定电力数据采集设备中是否存在预设隐私类型的电力数据；当存在时，调用预设乱码处理算法，获得按照预设打乱规则打乱的电力数据；进而调用预设格式统一算法，获得预设格式的电力数据包；当不存在时，直接调用预设格式统一算法，获得预设格式的电力数据包。
[0008]进一步地，边缘计算模块还包括：数据计算单元以及算法训练单元；数据计算单元，用于确定包头数据是否存在预设隐私键值，当存在预设隐私键值时，确定存在乱码数据，进而确定预设隐私键值对应的预设乱码计算算法；将包含乱码数据的电力数据导入训
练好的预设乱码计算算法，进而确定电力数据对应的最终计算结果；当不存在预设隐私键值时，基于预设计算公式，确定电力数据对应的最终计算结果；算法训练单元，用于获取标记好最终计算结果的包含乱码数据的电力数据作为训练样本；基于训练样本数据对预设乱码计算算法进行训练，以确定预设乱码计算算法对应的权重和偏置，进而完成预设乱码计算算法的训练。
[0009]进一步地，边缘计算模块还包括：存储分配单元以及计算分流单元；存储分配单元，用于基于预设分配原则，确定电力数据包对应的备用边缘计算模块；以将电力数据包备份存储至备用边缘计算模块；并在预设日志中生成电力数据备份记录；计算分流单元，用于实时确定等待进行数据计算的电力数据包的等待数量；当等待数量大于预设数量阈值时，基于预设日志，确定后续新增的电力数据包对应的备用边缘计算模块；生成计算指令至备用边缘计算模块，以获得备用边缘计算模块计算的最终计算结果。
[0010]进一步地，系统还包括：数据分析模块；数据分析模块，用于确定最终计算结果对应的数据类型；确定数据类型对应的分析结论数据库；进而确定最终计算结果对应的分析结论；其中，数据结论数据库中包含最终计算结果、分析语句以及最终计算结果与分析语句之间的对应关系。
[0011]第二方面，本申请实施例提供了一种用于电力大数据的数据处理方法，方法包括：服务器下发数据预处理算法至电力数据采集设备，以通过数据预处理算法，获得电力数据包，其中，电力数据包包括包头数据以及预设格式的电力数据；且电力数据包中的隐私类型的电力数据为乱码数据；服务器通过读取包头数据中的设备编号，确定电力数据包对应的边缘计算节点；边缘计算节点确定电力数据包是否存在乱码数据，当存在时，通过训练好的预设乱码计算算法，确定电力数据对应的最终计算结果；当不存在预设隐私键值时，基于预设计算公式，确定电力数据对应的最终计算结果。
[0012]进一步地，方法还包括：服务器确定最终计算结果对应的数据类型；确定数据类型对应的分析结论数据库；其中，数据结论数据库中包含最终计算结果、分析语句以及最终计算结果与分析语句之间的对应关系；确定最终计算结果对应的分析结论。
[0013]进一步地，边缘计算节点确定电力数据包是否存在乱码数据，当存在时，通过训练好的预设乱码计算算法，确定电力数据对应的最终计算结果，具体包括：确定包头数据是否存在预设隐私键值，当存在预设隐私键值时，确定存在乱码数据；确定预设隐私键值对应的预设乱码计算算法；将包含乱码数据的电力数据导入训练好的预设乱码计算算法，进而确定电力数据对应的最终计算结果。
[0014]本领域技术人员能够理解的是，本专利技术至少具有如下有益效果：通过算法下发模块，实现了将数据预处理过程下发到各个电力数据采集设备，使电力数据采集设备通过运行数据预处理单元自行实现预设隐私类型的电力数据的乱码处理以及格式的统一，无需占用数据处理系统的运行空间、无需消耗数据处理系统的运行能耗，且电力数据采集设备自行运行处理数据较小，处理时间大幅降低。无需考虑提高算力以及降低运行负载的问题。
[0015]通过数据分配模块，实现了将数据预处理后的电力数据包发送至对应边缘计算模块。由于本专利技术公开的电力数据的表现形式为电力数据包，其具有包头数据（也叫数据包头），由于包头数据具有字节短易识别的特性，数据分配模块无需读取电力数据包对应的全
部数据，只需识别包头数据即可实现电力数据包的分配，提高了数据的分配效率。
[0016]通过边缘计算模块，实现了将乱码处理后的预设隐私类型的电力数据直接导入训练好的预设乱码计算算法，以使乱码的电力数据直接参与计算，无需将乱码的电力数据装换为原电力数据，有效避免了具有隐私性的电力数据的泄漏。
附图说明
[0017]下面参照附图来描述本公开的部分实施例，附图中：图1是本申请实施例提供的一种用于电力大数据的数据处理系统内部结构示意图。
[0018]图2是本申请实施例提供的一种用于电力大数据的数据处理方法流程图。
具体实施方式
[0019]本领域技术人员应当理解的是，下文所描述的实施例仅仅是本公开的优选实施例，并不表示本公开仅能通过该优选实施例实现，该优选实施例仅仅是用于解释本公开的技术原理本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于电力大数据的数据处理系统，其特征在于，所述系统包括：算法下发模块，用于下发数据预处理单元至电力数据采集设备，以通过数据预处理单元，获得电力数据包；其中，所述电力数据包包括：包头数据以及预设格式的电力数据；且电力数据包中的预设隐私类型的电力数据为乱码数据；数据分配模块，用于读取包头数据中的设备编号，确定电力数据包对应的边缘计算模块；边缘计算模块，用于确定电力数据包是否存在乱码数据，当存在时，通过训练好的预设乱码计算算法，确定电力数据对应的最终计算结果；当不存在预设隐私键值时，基于预设计算公式，确定电力数据对应的最终计算结果。2.根据权利要求1所述的用于电力大数据的数据处理系统，其特征在于，所述算法下发模块包括算法下发单元、数据预处理单元；所述算法下发单元，用于确定进行电力数据处理的电力数据采集设备；确定所述电力数据采集设备中是否存在数据预处理单元；当不存在时，下发所述数据预处理单元至电力数据采集设备；所述数据预处理单元，用于确定电力数据采集设备中是否存在预设隐私类型的电力数据；当存在时，调用预设乱码处理算法，获得按照预设打乱规则打乱的电力数据；进而调用预设格式统一算法，获得预设格式的电力数据包；当不存在时，直接调用预设格式统一算法，获得预设格式的电力数据包。3.根据权利要求1所述的用于电力大数据的数据处理系统，其特征在于，所述边缘计算模块还包括：数据计算单元以及算法训练单元；所述数据计算单元，用于确定包头数据是否存在预设隐私键值，当存在所述预设隐私键值时，确定存在乱码数据，进而确定所述预设隐私键值对应的预设乱码计算算法；将包含乱码数据的电力数据导入训练好的预设乱码计算算法，进而确定电力数据对应的最终计算结果；当不存在预设隐私键值时，基于预设计算公式，确定电力数据对应的最终计算结果；算法训练单元，用于获取标记好最终计算结果的包含乱码数据的电力数据作为训练样本；基于所述训练样本数据对预设乱码计算算法进行训练，以确定预设乱码计算算法对应的权重和偏置，进而完成预设乱码计算算法的训练。4.根据权利要求3所述的用于电力大数据的数据处理系统，其特征在于，所述边缘计算模块还包括：存储分配单元以及计算分流单元；所述存储分配单元，用于基于预设分配原则，确定电力数据包对应的...
【专利技术属性】
技术研发人员：于淞，林海龙，任之豪，王文龙，黄建会，于晓东，郝海光，鲁晓涛，杜吉超，宋恩稼，
申请(专利权)人：国网山东省电力公司乳山市供电公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。