一种用电数据集成系统技术方案

本发明专利技术涉及数据集成，具体涉及一种用电数据集成系统，包括服务器，服务器通过用电数据采集单元采集不同类型用电主体的用电数据，服务器通过存储区块创建模块创建用于按照用电主体类型存储用电数据的存储区块，并通过存储数据更新模块对各区块数据进行数据更新，服务器通过存储数据聚合单元按照数据类型对各区块数据进行数据聚合，服务器通过数据集市构建模块构建数据集市，并通过数据导入模块将区块数据、聚合数据导入数据集市，服务器通过数据索引模块提供数据集市的数据检索服务；本发明专利技术提供的技术方案能够有效克服现有技术所存在的无法全面有效地采集用电数据、可扩展性较差、不具备数据快速检索功能的缺陷。不具备数据快速检索功能的缺陷。不具备数据快速检索功能的缺陷。

A power data integration system

【技术实现步骤摘要】
一种用电数据集成系统


[0001]本专利技术涉及数据集成，具体涉及一种用电数据集成系统。

技术介绍

[0002]随着信息化时代的迅速发展，全球数据量正在爆炸式地增长，为数据挖掘分析带来了无限机遇，同时也给数据分析处理带来了巨大的挑战。在现今的电力系统中，以大数据技术为基础，开展了负荷分析曲线研究，为研究负荷特性、进行负荷预测做铺垫。
[0003]电力系统中，电气设备所需要使用的电功率称为电力负荷，电力负荷就是电力系统中所有用电设备消耗功率的总和。用电负荷是一个不断变化的量，不同企业下的用电单位或部门，以及不同类型的用电设备，对电力的需求、用电方式上都存在明显的差别。通过回归分析法建立的模型来解释各变量之间的关系，对因果关系分析是十分有效的，该方法需要收集较多的观测值，并且预测准确度与样本数量有关。
[0004]由此可见，通过收集、归类和定义具有不同属性、行为特征的用电客户群，分析客户用电趋势，对于电网负荷预测具有重要意义。然而，现有的用电数据集成系统无法全面有效地采集用电数据，并且可扩展性较差，也不具备数据快速检索功能。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术所存在的上述缺点，本专利技术提供了一种用电数据集成系统，能够有效克服现有技术所存在的无法全面有效地采集用电数据、可扩展性较差、不具备数据快速检索功能的缺陷。
[0007](二)技术方案
[0008]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0009]一种用电数据集成系统，包括服务器，所述服务器通过用电数据采集单元采集不同类型用电主体的用电数据，所述服务器通过存储区块创建模块创建用于按照用电主体类型存储用电数据的存储区块，并通过存储数据更新模块对各区块数据进行数据更新；
[0010]所述服务器通过存储数据聚合单元按照数据类型对各区块数据进行数据聚合，所述服务器通过数据集市构建模块构建数据集市，并通过数据导入模块将区块数据、聚合数据导入数据集市，所述服务器通过数据索引模块提供数据集市的数据检索服务。
[0011]优选地，所述用电数据采集单元包括用户信息采集模块、设备信息采集模块和用电量统计模块，所述用户信息采集模块用于采集用户信息，所述设备信息采集模块用于采集用电设备信息，所述用电量统计模块用于统计各类型用户的用电量。
[0012]优选地，所述存储区块创建模块创建用于按照用电主体类型存储用电数据的存储区块，所述存储区块包括居民用户用电数据存储区块、工商业用户用电数据存储区块、工业用户用电数据存储区块和农业用户用电数据存储区块。
[0013]优选地，所述存储数据更新模块将用电数据采集单元上传的类型用电主体的用电
数据存储至对应存储区块，并删除设定时间段范围外的历史用电数据。
[0014]优选地，所述存储数据聚合单元包括区块数据读取模块、数据特征提取模块和区块数据聚合模块，所述区块数据读取模块用于从存储区块创建模块创建的存储区块中读取区块数据，所述数据特征提取模块用于提取区块数据的数据特征，并根据数据特征确定适配的聚合算法，所述区块数据聚合模块利用聚合算法对区块数据按照数据类型进行数据聚合。
[0015]优选地，所述数据导入模块内部封装有多种数据导入组件，并支持原生API，所述数据导入模块基于区块数据、聚合数据的数据类型，选择适配的数据导入组件将区块数据、聚合数据导入数据集市。
[0016]优选地，所述数据导入组件包括Kettle组件和Sqoop组件，所述Kettle组件用于将多种格式的区块数据、聚合数据，以及关系型数据导入Hadopp分布式平台；
[0017]所述Sqoop组件用于将关系型数据导入Hadopp分布式平台；
[0018]所述原生API用于调用Hadopp分布式文件系统，以及Hbase数据的API，并导入Hadopp分布式平台。
[0019]优选地，所述数据集市包括用于存储用户信息、用电设备信息的项目信息表，以及用于存储各类型用户的用电量的数据信息表；
[0020]所述项目信息表中存储的字段包括用户编号、用户名称、用电地址、用电类别、用户分类、电价类别和电表ID；
[0021]所述数据信息表中存储的字段包括用户编号、抄表时间、抄表数据、时间段内用电量和电表ID，所述抄表时间、抄表数据在原记录位置重新覆盖，所述时间段内用电量以天为单位分行记录。
[0022]优选地，所述数据索引模块通过rowkey映射索引表对项目信息表进行索引，所述rowkey映射索引表包括两个HBase表，其中一个HBase表的rowkey为电表ID，每一列为该电表ID下对应的用户信息；另一个HBase表的rowkey为索引条件，每一列为索引条件下对应的电表ID；
[0023]所述项目信息表的索引条件包括用户名称、用电地址、用电类别、用户分类。
[0024]优选地，所述数据索引模块通过rowkey映射索引表对数据信息表表进行索引，所述rowkey映射索引表包括一个HBase表，所述HBase表的rowkey为电表ID和抄表时间，每一列为该电表在对应抄表时间下的抄表数据、时间段内用电量。
[0025](三)有益效果
[0026]与现有技术相比，本专利技术所提供的一种用电数据集成系统，具有以下有益效果：
[0027]1)用电数据采集单元通过用户信息采集模块采集用户信息，通过设备信息采集模块采集用电设备信息，通过用电量统计模块统计各类型用户的用电量，从而能够全面有效地采集用电数据；
[0028]2)数据集市中设有用于存储用户信息、用电设备信息的项目信息表，以及用于存储各类型用户的用电量的数据信息表，通过设置项目信息表、数据信息表不仅便于后续进行数据扩展，同时也便于数据集市提供数据检索服务；
[0029]3)首先存储区块按照用电主体类型存储用电数据，其次存储数据聚合单元根据区块数据的数据特征，采用适配的聚合算法对区块数据按照数据类型进行数据聚合，并由数
据导入模块将区块数据、聚合数据导入数据集市，配合数据集市中设置的项目信息表、数据信息表，使得系统能够通过数据索引模块提供数据集市的数据检索服务，实现数据快速检索功能。
附图说明
[0030]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]图1为本专利技术的系统示意图；
[0032]图2为本专利技术的流程示意图。
具体实施方式
[0033]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用电数据集成系统，其特征在于：包括服务器，所述服务器通过用电数据采集单元采集不同类型用电主体的用电数据，所述服务器通过存储区块创建模块创建用于按照用电主体类型存储用电数据的存储区块，并通过存储数据更新模块对各区块数据进行数据更新；所述服务器通过存储数据聚合单元按照数据类型对各区块数据进行数据聚合，所述服务器通过数据集市构建模块构建数据集市，并通过数据导入模块将区块数据、聚合数据导入数据集市，所述服务器通过数据索引模块提供数据集市的数据检索服务。2.根据权利要求1所述的用电数据集成系统，其特征在于：所述用电数据采集单元包括用户信息采集模块、设备信息采集模块和用电量统计模块，所述用户信息采集模块用于采集用户信息，所述设备信息采集模块用于采集用电设备信息，所述用电量统计模块用于统计各类型用户的用电量。3.根据权利要求1所述的用电数据集成系统，其特征在于：所述存储区块创建模块创建用于按照用电主体类型存储用电数据的存储区块，所述存储区块包括居民用户用电数据存储区块、工商业用户用电数据存储区块、工业用户用电数据存储区块和农业用户用电数据存储区块。4.根据权利要求3所述的用电数据集成系统，其特征在于：所述存储数据更新模块将用电数据采集单元上传的类型用电主体的用电数据存储至对应存储区块，并删除设定时间段范围外的历史用电数据。5.根据权利要求1所述的用电数据集成系统，其特征在于：所述存储数据聚合单元包括区块数据读取模块、数据特征提取模块和区块数据聚合模块，所述区块数据读取模块用于从存储区块创建模块创建的存储区块中读取区块数据，所述数据特征提取模块用于提取区块数据的数据特征，并根据数据特征确定适配的聚合算法，所述区块数据聚合模块利用聚合算法对区块数据按照数据类型进行数据聚合。6.根据权利要求5所述的用电数据集成系统，其特征在于：所述数据导入模块内部封装有多种数据导入组件，并支持原生API，所...

【专利技术属性】
技术研发人员：陈珺，尹波，
申请(专利权)人：安徽凯炎电力保护设备有限公司，
类型：发明
国别省市：