一种面向业务市场接入需求的多源数据多维重构方法技术

本发明专利技术公开了一种面向业务市场接入需求的多源数据多维重构方法，属于用电行为分析预测技术领域，包括包括数据抽取与整合、大数据存储、大数据计算、大数据展现和大数据应用。本发明专利技术通过对业扩市场相关海量、异构、多源数据的融合与治理，实现市场接入需求数据的有效整合与信息共享，利用多维重构数据分析、数据可视化分析与数据挖掘算法实现对业扩市场接入需求的分布和变化趋势的把握，提高业扩接入市场需求分析和预测的准确性，更好服务于电网规划建设，提高电网规划的效率效益，提高电网运行的经济性和安全性。

【技术实现步骤摘要】
一种面向业务市场接入需求的多源数据多维重构方法
本专利技术涉及
，特别涉及一种面向业务市场接入需求的多源数据多维重构方法。
技术介绍
随着新一轮电力体制改革的深入推进，公司的经营环境、盈利模式、市场条件等正在发生快速变化，强化了市场竞争，供电企业须变革被动式服务意识，推行以客户为中心的服务理念，建立以需求特别是市场接入需求为导向的服务体系，现有市场接入需求分析的数据融合与共享方面，市场接入需求相关的数据往往割裂在各个不同的业务系统中，未能有效实现数据的融合信息共享；市场接入需求分析方法方面，较少对客户市场的成长周期和用电量进行分析和预测，接入需求把握不够精准，缺乏前瞻性，因此迫切需要研究一种面向业扩市场接入需求的多源数据多维重构方法。
技术实现思路
本专利技术的目的在于提供一种面向业务市场接入需求的多源数据多维重构方法，以提高业务接入市场需求分析和预测的准确性。为实现以上目的，本专利技术采用一种面向业务市场接入需求的多源数据多维重构方法，包括：通过Sqoop与Flume抽取营销业务系统、用电信息采集系统、调度技术支持系统、PMS、规划计划系统和第三方平台中的多源数据，该多源数据包括用户档案、业务信息、高压用户电量、用户负荷、主网电量、主网负荷、主配网设备、网架基本台账、电网规划信息、气象数据以及政府规划信息；对抽取的多源数据进行预处理，得到预处理后的数据；将预处理后的数据分别存储在HBASE、MySQL、HDFS和文件中；对预处理后的数据进行数据挖局、数据加工和数据搜索计算，得到大数据计算结果；采用大数据的相关性分析、分类算法、权重分析，结合聚类、异类等数据挖掘算法对大数据计算结果进行处理，得到特征要素及权重，并结合事先采集的训练样本数据进行优化，建立特征模型；利用特征模型对行业扩展接入需求分布、行业扩展接入需求趋势以及客户用电量预测进行分析。进一步地，所述对抽取的多源数据进行预处理，得到预处理后的数据，包括：对所述多源数据进行数据清洗、转换和整合处理，得到整合数据，该数据清洗处理包括去除前缀0值、去除突变值、空值使用后值补全、标准化处理以及采样处理。进一步地，所述HBASE用于存储交互数据，所述MySQL用于存储分析结果数据，结果数据主要用于进行视图展示，以视图形式更能直观展示数据动态变化，所述HDFS用于存储结构化/非结构化数据和所述文件用于存储接口交互数据。进一步地，所述对预处理后的数据进行数据挖局、数据加工和数据搜索计算，得到大数据计算结果，包括：利用Mahout对所述整合数据进行聚类、分类和推荐过滤，得到数据挖掘结果；利用MR/Sparkcore、Hive/Impala或Spark-SQL软件对所述整合数据进行加工，得到数据加工结果；通过Solr建立搜索服务，并对所述整合数据进行分词、建立索引，以根据访问者输入的搜索条件进行数据搜索。进一步地，所述采用大数据的相关性分析、分类算法、权重分析，结合聚类、异类等数据挖掘算法对大数据计算结果进行处理，得到特征要素及权重，并结合事先采集的训练样本数据进行优化，建立特征模型，包括：通过交互方式在所述多源数据中选取一特征所包含的数据特征要素，根据特征要素构成特征识别模型，并将特征要素相对应的特征参数容量、单双电源作为属性添加到特征识别模型中；利用特征识别模型对所述多源数据进行识别，并将识别出的数据特征与预先定义在数据库中的数据特征进行匹配，标识出数据特征，并根据标识出的数据特征构建数据的特征模型；利用欠拟合/欠拟合方式对数据的特征模型进行调优。进一步地，还包括采用数据可视化方法将所述大数据计算结果进行可视化展示，具体为：通过Echarts对所述大数据计算结果进行统计，并根据数据变化绘制动态图；通过Pentaho对所述大数据计算结果进行分析集成，并绘制报表/图表；将数据进行展现。与现有技术相比，本专利技术存在以下技术效果：本专利技术通过对业扩市场相关海量、异构、多源数据的融合与治理，实现市场接入需求数据的有效整合与信息共享，利用多维重构数据分析、数据可视化分析与数据挖掘算法实现对业扩市场接入需求的分布和变化趋势的把握，提高业扩接入市场需求分析和预测的准确性，更好服务于电网规划建设，提高电网规划的效率效益，提高电网运行的经济性和安全性。附图说明下面结合附图，对本专利技术的具体实施方式进行详细描述：图1是一种面向业务市场接入需求的多源数据多维重构方法的流程示意图；图2是大数据运营管理系统的结构示意图；图3是分析各分类高压客户的用电成长周期的流程示意图。具体实施方式为了更进一步说明本专利技术的特征，请参阅以下有关本专利技术的详细说明与附图。所附图仅供参考与说明之用，并非用来对本专利技术的保护范围加以限制。如图1至图2所示，本实施例公开了一种面向业务市场接入需求的多源数据多维重构方法，包括如下步骤S1至S6：S1、通过Sqoop与Flume抽取营销业务系统、用电信息采集系统、调度技术支持系统、PMS、规划计划系统和第三方平台中的多源数据，该多源数据包括用户档案、业务信息、高压用户电量、用户负荷、主网电量、主网负荷、主配网设备、网架基本台账、电网规划信息、气象数据以及政府规划信息；其中，第三方平台包括政府门户网站和气象网站。S2、对抽取的多源数据进行预处理，得到预处理后的数据；S3、将预处理后的数据分别存储在HBASE、MySQL、HDFS和文件中；S4、对预处理后的数据进行数据挖局、数据加工和数据搜索计算，得到大数据计算结果；S5、采用大数据的相关性分析、分类算法、权重分析，结合聚类、异类等数据挖掘算法对大数据计算结果进行处理，得到特征要素及权重，并结合事先采集的训练样本数据进行优化，建立特征模型；S6、利用特征模型对行业扩展接入需求分布、行业扩展接入需求趋势以及客户用电量预测进行分析。需要说明的是，基于海量、异构、多源的客户数据、业扩数据、电网台账与运行数据的融合与治理的方法，设计数据融合与数据治理的方法和工作体系，实现电网SCADA系统、电能量采集系统、用电信息采集系统、营销MIS系统、GIS系统、PMS系统和经济、气象等外围数据的有效整合和信息共享；实现了业扩市场接入需求相关的多源数据融合与信息共享。进一步地，所述对抽取的多源数据进行预处理，得到预处理后的数据，包括：由于多源数据中包括结构化的和非结构化的，而且分布在不同的系统，各个业务系统从这些数据库中取数据的需求和情况越来越多，需要对所述多源数据进行数据清洗、转换和整合处理，然后建立统一的数据管理和访问平台，便于统一维护和管理的数据，为了去除多源数据中冗余和异常数据以及业务系统涉及不到的数据，需要对这些数据进行清理，主要数据清洗处理方法包括去除前缀0值、去除突变值、空值使用后值补全、标准化处理以及采样处理。进一步地，所述HBASE用于存储交互数据，所述MySQL用于存储分析结果数据，所述HDFS用于存储结构化/非结构化数据和所述文件用于存储接口交互数据。其中，上述特征模型采用MySQL数据库中的数据进行分析建立。进一步地，上述步骤S4：对预处理后的数据进行数据挖掘、数据加工和数据搜索计算，得到大数据计算结果。包括：利用Mahout对所述整合数据进行聚类、分类和推荐过滤，得到数据挖掘结果；利用MR/Sparkcore、Hive本文档来自技高网...

【技术保护点】
1.一种面向业务市场接入需求的多源数据多维重构方法，其特征在于，包括：通过Sqoop与Flume抽取营销业务系统、用电信息采集系统、调度技术支持系统、PMS、规划计划系统和第三方平台中的多源数据，该多源数据包括用户档案、业务信息、高压用户电量、用户负荷、主网电量、主网负荷、主配网设备、网架基本台账、电网规划信息、气象数据以及政府规划信息；对抽取的多源数据进行预处理，得到预处理后的数据；将预处理后的数据分别存储在HBASE、MySQL、HDFS和文件中；对预处理后的数据进行数据挖局、数据加工和数据搜索计算，得到大数据计算结果；采用大数据的相关性分析、分类算法、权重分析，结合聚类、异类等数据挖掘算法对大数据计算结果进行处理，得到特征要素及权重，并结合事先采集的训练样本数据进行优化，建立特征模型；利用特征模型对行业扩展接入需求分布、行业扩展接入需求趋势以及客户用电量预测进行分析。

【技术特征摘要】
1.一种面向业务市场接入需求的多源数据多维重构方法，其特征在于，包括：通过Sqoop与Flume抽取营销业务系统、用电信息采集系统、调度技术支持系统、PMS、规划计划系统和第三方平台中的多源数据，该多源数据包括用户档案、业务信息、高压用户电量、用户负荷、主网电量、主网负荷、主配网设备、网架基本台账、电网规划信息、气象数据以及政府规划信息；对抽取的多源数据进行预处理，得到预处理后的数据；将预处理后的数据分别存储在HBASE、MySQL、HDFS和文件中；对预处理后的数据进行数据挖局、数据加工和数据搜索计算，得到大数据计算结果；采用大数据的相关性分析、分类算法、权重分析，结合聚类、异类等数据挖掘算法对大数据计算结果进行处理，得到特征要素及权重，并结合事先采集的训练样本数据进行优化，建立特征模型；利用特征模型对行业扩展接入需求分布、行业扩展接入需求趋势以及客户用电量预测进行分析。2.如权利要求1所述的面向业务市场接入需求的多源数据多维重构方法，其特征在于，所述对抽取的多源数据进行预处理，得到预处理后的数据，包括：对所述多源数据进行数据清洗、转换和整合处理，得到整合数据，该数据清洗处理包括去除前缀0值、去除突变值、空值使用后值补全、标准化处理以及采样处理。3.如权利要求2所述的面向业务市场接入需求的多源数据多维重构方法，其特征在于，所述HBASE用于存储交互数据，所述MySQL用于存储分析结果数据，所述HDFS用于存储结构化/非结构化数据和所述文件用于存储接口交互数据。4.如权利要求2所述的面向业务市场接入需求的多源数据...

【专利技术属性】
技术研发人员：王萍，谈韵，张谢，陈晨，桂宁，陈家静，万顺，胡聪，张靖，王勇，李文芳，徐伟刚，唐发荣，陈小龙，
申请(专利权)人：国网安徽省电力有限公司合肥供电公司，
类型：发明
国别省市：安徽,34