一种电力数据管理系统及其方法技术方案

本申请公开一种电力数据管理系统及其方法，涉及电力数据管理技术领域，能够实现电力数据的规范灵活管理。具体方案包括：数据接入模块，用于接收传入数据，传入数据包括业务数据以及多个电力设备发送的物理数据，并将物理数据和业务数据传输至数据明细模块，数据明细模块，用于根据预设电力行业设备和参数命名标准，对传入数据进行命名后，再对传入数据进行预处理，得到目标传入数据，并将目标传入数据传输至公共维度模块；公共维度模块，用于将目标传入数据添加至对应的数据表中；其中，物理数据的传输和处理过程基于流式处理架构执行，业务数据的传输和处理过程基于批量处理架构执行。执行。执行。

【技术实现步骤摘要】
一种电力数据管理系统及其方法


[0001]本申请涉及电力数据管理
，尤其涉及一种电力数据管理系统及其方法。

技术介绍

[0002]电网领域中的电力数据主要由电网运行数据、设备检测数据或监测数据构成，电力数据具备多源、异构、体量大、增长迅速等特点。其中，多源体现在：电力数据可来源于智能电表、传感器等多种设备，以及发电、传输、能耗等各个电网运行环节的多方信息平台；异构体现在：电力数据包括以记录设备属性、环境参数等信息的表格数据为代表的结构化数据，还有以生产监控产生的视频、音频、图片以及文档为代表的非结构化数据。由于电力数据的这些特性，导致目前传统的电力数据管理方法无法实现电力数据的规范灵活管理。

技术实现思路

[0003]本申请提供一种电力数据管理系统及其方法，能够提高电力数据管理的灵活性和规范性，实现电力数据的规范灵活管理。
[0004]为达到上述目的，本申请采用如下技术方案：
[0005]本申请实施例提供了一种电力数据管理系统，系统包括：数据接入模块、数据明细模块和公共维度模块，系统还包括用于进行数据处理的流式处理架构和批量处理架构；
[0006]数据接入模块，用于接收传入数据，传入数据包括业务数据以及多个电力设备发送的物理数据，并将物理数据和业务数据传输至数据明细模块，物理数据包括：电压、功率和负荷，业务数据包括：巡检图像和文字报告；
[0007]数据明细模块，用于根据预设电力行业设备和参数命名标准，对传入数据进行命名后，再对传入数据进行预处理，得到目标传入数据，并将目标传入数据传输至公共维度模块；
[0008]公共维度模块中包括多个数据表，数据表包括电力设备信息数据表、不同类型文件的映射表和业务操作记录表，公共维度模块，用于将目标传入数据添加至对应的数据表中；
[0009]其中，物理数据的传输和处理过程基于流式处理架构执行，业务数据的传输和处理过程基于批量处理架构执行。
[0010]在一个实施例中，系统还包括：数据服务模块，数据服务模块包括预设的数据调用接口；
[0011]数据服务模块，用于根据业务需求利用数据调用接口从公共维度模块调用对应的数据，并对调用数据进行格式转换和封装处理后，形成交付文件。
[0012]在一个实施例中，系统还包括开发环境和发布环境，开发环境是针对测试人员的，发布环境是针对生产人员的；开发环境中包括数据接入模块、数据明细模块、数据服务器模块和公共维度模块；发布环境为开发环境的副本；
[0013]数据接入模块，还用于接入不同业务所需的原始数据；
[0014]开发环境，用于针对不同的业务定制对应的数据处理功能，并将数据处理功能部署至数据服务模块中；
[0015]数据服务模块，用于利用发布环境将交付文件发送至其他系统或设备。
[0016]在一个实施例中，数据接入模块还用于：
[0017]将传入数据转化为预设结构，并对传入数据的数据质量进行标记，将标记后的传入数值进行缓存，预设结构为当前设备可读写的数据结构，数据质量包括：数据是否缺失。
[0018]在一个实施例中，数据服务模块具体用于：
[0019]根据电力设备在基本属性上的关联，对调用的物理数据和业务数据进行粗粒度的聚合，或者，根据业务需求的业务表中相同的字段信息对调用的物理数据和业务数据进行细粒度的对齐，形成对电力设备的多层次描述。
[0020]在一个实施例中，业务需求包括：数据分析、数据挖掘和数据理解，数据服务模块具体用于：
[0021]根据不同的业务需求对聚合后物理数据和业务数据进行对应的加工处理，得到不同业务需求对应的交付文件。
[0022]在一个实施例中，业务数据存储至当前设备的任一文件系统中，物理数据以轻量级的数据交换格式存储；
[0023]公共维度模块中物理数据和业务数据还以关系表的形式，存储至关系型数据库管理系统中。
[0024]在一个实施例中，流式处理架构具体用于：对物理数据进行时间对齐处理、单位统一处理以及暂存短期历史记录；
[0025]根据业务需求实时计算需要指标和模型参数。
[0026]在一个实施例中，批量处理架构具体用于：存储静态数据，并将静态数据存储至硬盘存储资源中；
[0027]从历史数据中获取描述对象多个维度的特征，并对各维度数据进行异常值检测和清洗；
[0028]利用多个维度的特征，进行数据分析和建模得到预测模块，并利用预测模型预测物理数据对应的未来变化情况。
[0029]在一个实施例中，系统包括支持大数据处理的硬软件组件和保存数据各负责组件的连接信息。
[0030]为了解决相同的技术问题，本申请另一实施例提供电力数据管理方法，适用于上述的电力数据管理系统，包括以下步骤：
[0031]接收传入数据，所述传入数据包括业务数据以及多个电力设备发送的物理数据，并将所述物理数据和所述业务数据传输至所述数据明细模块，所述物理数据包括：电压、功率和负荷，所述业务数据包括：巡检图像和文字报告；
[0032]根据预设电力行业设备和参数命名标准，对所述传入数据进行命名后，再对所述传入数据进行预处理，得到目标传入数据并将所述目标传入数据添加至对应的数据表中；
[0033]其中，所述物理数据的传输和处理过程基于所述流式处理架构执行，所述业务数据的传输和处理过程基于所述批量处理架构执行。
[0034]在一个实施例中，方法还包括：用于根据业务需求利用数据调用接口从公共维度
模块调用对应的数据，并对调用数据进行格式转换和封装处理后，形成交付文件。
[0035]在一个实施例中，系统还包括开发环境和发布环境，开发环境是针对测试人员的，发布环境是针对生产人员的；开发环境中包括数据接入模块、数据明细模块、数据服务器模块和公共维度模块；发布环境为开发环境的副本；所述方法还包括：
[0036]通过数据接入模块接入不同业务所需的原始数据；
[0037]给予所述开发环境针对不同的业务定制对应的数据处理功能，并将数据处理功能部署至数据服务模块中；
[0038]通过数据服务模块利用发布环境将交付文件发送至其他系统或设备。
[0039]在一个实施例中，方法还包括：
[0040]将传入数据转化为预设结构，并对传入数据的数据质量进行标记，将标记后的传入数值进行缓存，预设结构为当前设备可读写的数据结构，数据质量包括：数据是否缺失。
[0041]在一个实施例中，方法还包括：
[0042]根据电力设备在基本属性上的关联，对调用的物理数据和业务数据进行粗粒度的聚合，或者，根据业务需求的业务表中相同的字段信息对调用的物理数据和业务数据进行细粒度的对齐，形成对电力设备的多层次描述。
[0043]在一个实施例中，业务需求包括：数据分析、数据挖掘和数据理解，数据服务模块具体用于：
[0044]根据不同的业务需求对聚合后物理数据和业务数据进行对应的加工处理，得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电力数据管理系统，其特征在于，所述系统包括：数据接入模块、数据明细模块和公共维度模块，所述系统还包括用于进行数据处理的流式处理架构和批量处理架构；所述数据接入模块，用于接收传入数据，所述传入数据包括业务数据以及多个电力设备发送的物理数据，并将所述物理数据和所述业务数据传输至所述数据明细模块，所述物理数据包括：电压、功率和负荷，所述业务数据包括：巡检图像和文字报告；所述数据明细模块，用于根据预设电力行业设备和参数命名标准，对所述传入数据进行命名后，再对所述传入数据进行预处理，得到目标传入数据，并将所述目标传入数据传输至所述公共维度模块；所述公共维度模块中包括多个数据表，所述数据表包括电力设备信息数据表、不同类型文件的映射表和业务操作记录表，所述公共维度模块，用于将所述目标传入数据添加至对应的数据表中；其中，所述物理数据的传输和处理过程基于所述流式处理架构执行，所述业务数据的传输和处理过程基于所述批量处理架构执行。2.根据权利要求1所述的系统，其特征在于，所述系统还包括：数据服务模块，所述数据服务模块包括预设的数据调用接口；所述数据服务模块，用于根据业务需求利用所述数据调用接口从所述公共维度模块调用对应的数据，并对所述调用数据进行格式转换和封装处理后，形成交付文件。3.根据权利要求2所述的系统，其特征在于，所述系统还包括开发环境和发布环境，所述开发环境是针对测试人员的，所述发布环境是针对生产人员的；所述开发环境中包括所述数据接入模块、所述数据明细模块、所述数据服务器模块和所述公共维度模块；所述发布环境为所述开发环境的副本；所述数据接入模块，还用于接入不同业务所需的原始数据；所述开发环境，用于针对不同的业务定制对应的数据处理功能，并将所述数据处理功能部署至所述数据服务模块中；所述数据服务模块，用于利用所述发布环境将所述交付文件发送至其他系统或设备。4.根据权利要求1所述的系统，其特征在于，所述数据接入模块还用于：将所述传入数据转化为预设结构，并对所述传入数据的数据质量进行标记，将标记后的传入数值进行缓存，所述预设结构为当前设备可读写的数据结构，所述数据质量包括：数据是否...

【专利技术属性】
技术研发人员：李强强，赵宗罗，赵训君，罗良，周波，蒋良，许毅，王立森，帅万高，姚毅滨，孔令令，陈非凡，黄晗婧，刘波，徐永军，金辰立，
申请(专利权)人：国网浙江省电力有限公司杭州供电公司，
类型：发明
国别省市：