基于行业类型的电力数据处理方法及装置制造方法及图纸

本发明专利技术提供了一种基于行业类型的电力数据处理方法及装置，该方法包括：根据预先确定的电力数据所属行业的缺失边界以及所述电力数据，确定所述电力数据中的完整数据以及缺失数据；确定所述缺失数据的最大连续缺失天数；根据所述最大连续缺失天数以及所述完整数据补充所述缺失数据。本发明专利技术所提供的基于行业类型的电力数据处理方法及装置，基于行业用电特征将数据重新分类，针对电力数据在采集、传输及存储过程中出现的数据缺失、数据异常等质量问题，提出有效的剔除异常值和补全缺失的智能算法，为行业、企业用电的分析实验及应用等工作提供完整用电数据。作提供完整用电数据。作提供完整用电数据。

【技术实现步骤摘要】
基于行业类型的电力数据处理方法及装置


[0001]本专利技术涉及大数据处理
，特别是一种基于行业类型的电力数据处理方法及装置。

技术介绍

[0002]随着计算机技术的飞速发展，电力大数据(Power Big data)也吸引了越来越多的关注。电力大数据中包含丰富的信息，如企业侧用电数据分析。随着智能电表技术的不断升级和供电公司采集、存储用电信息系统的不断完善，电力大数据体系日益庞大。完整、真实的电力大数据对于相关科学研究具有不可替代的作用。
[0003]令人遗憾的是，由于实际用电数据采集、存储、处理过程的复杂性，电力大数据并不完整，电力大数据的直接利用价值较低。研究电力大数据的优化方法，是使用电力数据进行有效分析的前提和基础。电力大数据具有行业特性和企业特性，规律变化快、记录完整性不一。根据现有数据分析，电力数据可按照企业特性大致分为完整数据企业、待清洗数据企业、数据不可用企业，其中待清洗数据企业占比往往较大，提出有效的数据优化方法对提高数据的可用性，提高数据质量支撑有着重大意义。此外，电力大数据中还存在包含数据异常值和数据缺失值的问题。单个企业异常值多、缺失情况复杂，不同行业下的数据质量差别也较大。

技术实现思路

[0004]本专利技术所提供的基于行业类型的电力数据处理方法及装置，将缺失情况重新分类，针对电力数据在采集、传输及存储过程中常会出现的数据缺失、数据异常等质量问题，提出有效的剔除异常值和补全缺失的智能算法，为行业、企业用电的分析实验等工作提供完整用电数据。
[0005]为了实现上述目的，第一方面，本方提供了一种基于行业类型的电力数据处理方法，包括：
[0006]根据预先确定的电力数据所属行业的缺失边界以及所述电力数据，确定所述电力数据中的完整数据以及缺失数据；
[0007]确定所述缺失数据的最大连续缺失天数；
[0008]根据所述最大连续缺失天数以及所述完整数据补充所述缺失数据。
[0009]一实施例中，确定所述缺失边界的方法包括：
[0010]根据所述电力数据所属行业下企业的数据缺失率生成缺失率数据集合；
[0011]计算所述缺失率数据集合的四分位数；
[0012]根据所述四分位数确定所述缺失边界。
[0013]一实施例中，所述根据预先确定的电力数据所属行业的缺失边界以及所述电力数据，确定所述电力数据中的完整数据以及缺失数据包括：
[0014]确定所述电力数据中存在数据缺失的企业的数据缺失率；
[0015]根据所述缺失边界以及所述存在数据缺失的企业的数据缺失率，将所述存在数据缺失的企业对应的电力数据划分为缺失数据以及舍弃数据。
[0016]一实施例中，根据所述最大连续缺失天数以及所述完整数据补充所述缺失数据，包括：
[0017]当所述最大连续缺失天数大于预设阈值时，根据所述完整数据计算所述缺失数据的相似日距离；
[0018]根据所述相似日距离从所述完整数据中确定所述缺失数据所对应的电力数据；
[0019]将所述缺失数据所对应的电力数据补充至所述缺失数据中。
[0020]一实施例中，基于行业类型的电力数据处理方法还包括：
[0021]按照时间维度，根据预设长度的移动窗口对所述缺失数据进行检测；
[0022]根据检测结果清洗所述缺失数据。
[0023]第二方面，本专利技术提供一种基于行业类型的电力数据处理装置，该装置包括：
[0024]数据分类模块，用于根据预先确定的电力数据所属行业的缺失边界以及所述电力数据，确定所述电力数据中的完整数据以及缺失数据；
[0025]最大天数确定模块，用于确定所述缺失数据的最大连续缺失天数；
[0026]缺失数据补充模块，用于根据所述最大连续缺失天数以及所述完整数据补充所述缺失数据。
[0027]一实施例中，基于行业类型的电力数据处理装置还包括：边界确定模块，用于确定所述缺失边界，所述边界确定模块包括：
[0028]缺失率数据集合生成单元，用于根据所述电力数据所属行业下企业的数据缺失率生成缺失率数据集合；
[0029]四分位数计算单元，用于计算所述缺失率数据集合的四分位数；
[0030]缺失边界确定单元，用于根据所述四分位数确定所述缺失边界。
[0031]一实施例中，所述数据分类模块包括：
[0032]数据缺失企业确定单元，用于确定所述电力数据中存在数据缺失的企业的数据缺失率；
[0033]数据分类单元，用于根据所述缺失边界以及所述存在数据缺失的企业的数据缺失率，将所述存在数据缺失的企业对应的电力数据划分为缺失数据以及舍弃数据。
[0034]一实施例中，所述缺失数据补充模块包括：
[0035]距离计算单元，用于当所述最大连续缺失天数大于预设阈值时，根据所述完整数据计算所述缺失数据的相似日距离；
[0036]缺失数据确定单元，用于根据所述相似日距离从所述完整数据中确定所述缺失数据所对应的电力数据；
[0037]缺失数据补充单元，用于将所述缺失数据所对应的电力数据补充至所述缺失数据中。
[0038]一实施例中，基于行业类型的电力数据处理装置还包括：
[0039]数据检测模块，用于按照时间维度，根据预设长度的移动窗口对所述缺失数据进行检测；
[0040]数据清洗模块，用于根据检测结果清洗所述缺失数据。
[0041]第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的基于行业类型的电力数据处理方法的步骤。
[0042]第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的基于行业类型的电力数据处理方法的步骤。
[0043]第五方面，本申请提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现所述的基于行业类型的电力数据处理方法的步骤。
[0044]从上述描述可知，本专利技术实施例提供的基于行业类型的电力数据处理方法及装置，首先根据预先确定的电力数据所属行业的缺失边界以及电力数据确定电力数据中的完整数据以及缺失数据；接着，确定缺失数据的最大连续缺失天数；最后根据最大连续缺失天数以及完整数据补充缺失数据。本专利技术针对特定的行业，既能反映出整个行业的基本情况，又提高了不同行业下电力数据的连续性和可用性，进而使优化后的连续电力数据可应用于行业用电分析和生产管控。
附图说明
[0045]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0046]图1为本专利技术实施例中提供的基于行业类型的电力数据处理方法的流程示意图一；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于行业类型的电力数据处理方法，其特征在于，包括：根据预先确定的电力数据所属行业的缺失边界以及所述电力数据，确定所述电力数据中的完整数据以及缺失数据；确定所述缺失数据的最大连续缺失天数；根据所述最大连续缺失天数以及所述完整数据补充所述缺失数据。2.根据权利要求1所述的电力数据处理方法，其特征在于，确定所述缺失边界的方法包括：根据所述电力数据所属行业下企业的数据缺失率，生成缺失率数据集合；计算所述缺失率数据集合的四分位数；根据所述四分位数确定所述缺失边界。3.根据权利要求1所述的电力数据处理方法，其特征在于，所述根据预先确定的电力数据所属行业的缺失边界以及所述电力数据，确定所述电力数据中的完整数据以及缺失数据，包括：确定所述电力数据中存在数据缺失的企业的数据缺失率；根据所述缺失边界以及所述数据缺失率，将所述存在数据缺失的企业对应的电力数据划分为缺失数据以及舍弃数据；根据所述电力数据、所述缺失数据以及所述舍弃数据确定所述完整数据。4.根据权利要求1所述的电力数据处理方法，其特征在于，根据所述最大连续缺失天数以及所述完整数据补充所述缺失数据，包括：当所述最大连续缺失天数大于预设阈值时，根据所述完整数据计算所述缺失数据的相似日距离；根据所述相似日距离从所述完整数据中确定所述缺失数据所对应的电力数据；将所述缺失数据所对应的电力数据补充至所述缺失数据中。5.根据权利要求1所述的电力数据处理方法，其特征在于，还包括：按照时间维度，根据预设长度的移动窗口对所述缺失数据进行检测；根据检测结果清洗所述缺失数据。6.一种基于行业类型的电力数据处理装置，其特征在于，包括：数据分类模块，用于根据预先确定的电力数据所属行业的缺失边界以及所述电力数据，确定所述电力数据中的完整数据以及缺失数据；最大天数确定模块，用于确定所述缺失数据的最大连续缺失天数；缺失数据补充模块，用于根据所述最大连续缺失天数以及所述完整数据补充所述缺失数据。7.根据权利要求6所述的电...

【专利技术属性】
技术研发人员：周卫青，吴华成，李朋，张强，贺克斌，郑博，周子龙，丁立萍，
申请(专利权)人：清华大学国家电网有限公司，
类型：发明
国别省市：