一种数据加载方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据加载方法、装置、电子设备及存储介质。所述方法包括：获取电能质量终端中的电能质量基础数据，通过数据转换单元对数据进行转换，生成电能质量数据；若检测电能质量数据中存在的异常数据，则确定异常数据的数据类型；根据异常数据的数据类型获取对应的数据清洗规则，并根据所述数据清洗规则对异常数据进行清洗；将清洗后的结果数据保存到Hadoop结果数据库中。采用本申请方案，提升了电网数据加载的灵活性和高效性，可以根据需要对数据加载服务进行横向和/或纵向的扩展，以增大数据的加载能力，减少系统资源的使用。用。用。

【技术实现步骤摘要】
一种数据加载方法、装置、电子设备及存储介质


[0001]本专利技术属于电网管理
，具体涉及一种数据加载方法、装置、电子设备及存储介质。

技术介绍

[0002]随着电网管理信息化的发展，各供电企业从业务上不同的专业方面，建设了各类信息系统。随着时间的推移、信息化建设的深入，供电企业自身从各个专业方面积累了大量的专题数据。针对这些分散数据的统筹、整合，以便对后续的风险预测、能源管理的建设提供决策参考支撑。随着互联网技术的飞速发展，对电网系统中这些离散数据整理的手段也多了起来。
[0003]因此，如何增加电网数据加载的灵活性，是本技术人员亟需解决的问题。

技术实现思路

[0004]本专利技术实施例提供了一种数据加载方法、装置、电子设备及存储介质，提升了电网数据加载的灵活性和高效性，可以根据需要对数据加载服务进行横向或纵向的扩展，以增大数据的加载能力，减少系统资源的使用。
[0005]第一方面，本专利技术实施例中提供了一种数据加载方法，所述方法包括：
[0006]获取电能质量终端中的电能质量基础数据，通过数据转换单元对数据进行转换，生成电能质量数据；
[0007]若检测电能质量数据中存在的异常数据，则确定异常数据的数据类型；
[0008]根据异常数据的数据类型获取对应的数据清洗规则，并根据所述数据清洗规则对异常数据进行清洗；
[0009]将清洗后的结果数据保存到Hadoop结果数据库中。
[0010]第二方面，本专利技术实施例中提供了一种数据加载装置，所述装置包括：
[0011]电能质量数据生成模块，用于获取电能质量终端中的电能质量基础数据，通过数据转换单元对数据进行转换，生成电能质量数据；
[0012]异常数据类型确定模块，用于检测电能质量数据中存在的异常数据，并确定异常数据的数据类型；
[0013]数据清洗模块，用于根据异常数据的数据类型获取对应的数据清洗规则，并根据所述数据清洗规则对异常数据进行清洗；
[0014]数据结果保存模块，用于将清洗后的结果数据保存到Hadoop结果数据库中。
[0015]第三方面，本专利技术实施例中还提供了一种电子设备，包括：
[0016]一个或多个处理装置；
[0017]存储装置，用于存储一个或多个程序；
[0018]当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如本专利技术任意实施例中提供的所述数据加载方法。
[0019]第四方面，本专利技术实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现如本专利技术任意实施例中提供的所述数据加载方法。
[0020]本专利技术实施例公开了一种数据加载方法、装置、电子设备及存储介质。所述方法包括：获取电能质量终端中的电能质量基础数据，通过数据转换单元对数据进行转换，生成电能质量数据；若检测电能质量数据中存在的异常数据，则确定异常数据的数据类型；根据异常数据的数据类型获取对应的数据清洗规则，并根据所述数据清洗规则对异常数据进行清洗；将清洗后的结果数据保存到Hadoop结果数据库中。采用本申请方案，提升了电网数据加载的灵活性和高效性，可以根据需要对数据加载服务进行横向和/或纵向的扩展，以增大数据的加载能力，减少系统资源的使用。
附图说明
[0021]为了更清楚的说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术中描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一种实施方式，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1是本专利技术实施例中提供的一种数据加载方法的流程图；
[0023]图2是本专利技术实施例中提供的一种数据加载装置的结构框图；
[0024]图3是本专利技术实施例中提供的一种电子设备的结构示意图。
具体实施方式
[0025]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0026]在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0027]下面通过以下各个实施例及其可选方案对本申请中提供的数据加载方法、装置、电子设备及存储介质进行详细阐述。
[0028]图1是本专利技术实施例中提供的一种数据加载方法的流程图。本专利技术实施例可适用于对电网数据进行加载的情况。该方法可由数据加载装置来执行，该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图1所示，本申请实施例中提供的数据加载方法，可包括以下步骤：
[0029]S110、获取电能质量终端中的电能质量基础数据，通过数据转换单元对数据进行转换，生成电能质量数据。
[0030]其中，电能质量可以是指电力系统中电能的质量，所述电能质量终端中包括docker容器A、中间数据库、docker容器C以及结果数据库，其中：
[0031]所述docker容器A内电性连接有数据源连接器；所述数据连接器上设置有数据连
接器统一接口，所述数据连接器通过所述数据连接器统一接口和数据转换单元连接；所述docker容器A内电性连接有数据储存单元；所述数据储存单元和所述数据转换单元之间电性连接；
[0032]中间数据库：所述中间数据库包含有数据库A、数据库B以及数据库C，所述中间数据库和所述docker容器A之间电性连接；
[0033]docker容器C：所述docker容器C中预设有数据清洗规则和多维度统计计算规则，所述docker容器C和所述中间数据库之间电性连接。
[0034]结果数据库：所述结果数据库包含结果数据库A、结果数据库B以及结果数据库C，所述结果数据库和所述docker容器C之间电性连接。
[0035]电能质量基础数据由于设备的不同导致数据格式不统一，将数据转换成统一格式的数据并实现数据的兼容，同时满足电能质量业务应用分析需求。
[0036]可选的，所述数据转换单元内部预设有数据转换方法，所述数据转换方法的使用过程，包括：通过数据识别规则对数据进行识别，将符合条件的数据以json格式返回给调用方；将不符合条件的和/或错误的数据，记录为错误信息，待修正后根据加载规则重新转换并返回给调用方。所述数据识别规则为：将不同设备的电能质量数据进行统一格式的处理。例如，将数据值为3kv的数据转换为3.00kv，将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据加载方法，特征在于，所述方法包括：获取电能质量终端中的电能质量基础数据，通过数据转换单元对数据进行转换，生成电能质量数据；若检测电能质量数据中存在的异常数据，则确定异常数据的数据类型；根据异常数据的数据类型获取对应的数据清洗规则，并根据所述数据清洗规则对异常数据进行清洗；将清洗后的结果数据保存到Hadoop结果数据库中。2.根据权利要求1所述的方法，其特征在于，所述电能质量终端中包括docker容器A、中间数据库、docker容器C以及结果数据库。3.根据权利要求1所述的方法，其特征在于，所述数据转换单元内部预设有数据转换方法，所述数据转换方法的使用过程，包括：通过数据识别规则对数据进行识别，将符合条件的数据以json格式返回给调用方；将不符合条件的和/或错误的数据，记录为错误信息，待修正后根据加载规则重新转换并返回给调用方。4.根据权利要求3所述的方法，其特征在于，所述数据识别规则为：将不同设备的电能质量数据进行统一格式的处理。5.根据权利要求1所述的方法，其特征在于，所述数据清洗规则为：针对电流数据，每半时取1个数据点，一天共获取48个数据点，所述48个数据点中，空值超过7个的样本，该天样本视为无效样本，对其进行剔除，保留其余样本作为训练数据；每天48个数据点中，零值超过7个的样本，该天样本视为无效样本，对其进行剔除，保留其余样本作为训练数据；针对电量数据，剔除电量为零和/或为空的样本；针对采集成功率，剔除采集成功率不等于100％的样本；针对数据源区域选取，新增区域不参与计算，已拆除区域不参与计算。6.根据权利要求1所述的方法，其特征在于，所述多维度统计计算规则采用如下公式：其中，ΔA表示三相负荷平衡时的损电量，N表示电力网结构系数，单...

【专利技术属性】
技术研发人员：江嘉铭，阮伟聪，覃高星，钟恒辉，郭咏，董家读，光俊红，谢国财，盖凌云，
申请(专利权)人：广东电网有限责任公司清远供电局广东电网能源投资有限公司，
类型：发明
国别省市：