一种基于业务宽表的电网运营数据大数据分析方法技术

本发明专利技术提供一种基于业务宽表的电网运营数据大数据分析方法，包括：对业务系统和数据表进行解析，生成数据分析服务目录；根据需要从数据分析服务目录中勾选多个业务系统中的数据表；进行宽表配置；根据数据表之间的关联关系判断是否可组成宽表，若判断能关联，则生成宽表描述；为定制的宽表配置大数据应用；从数据仓库中获取业务数据组成宽表；对业务数据进行清洗；大数据分析和结果展示。本发明专利技术采用所见即所得的方式配置电力宽表的关联数据表、数据字段和关联关系，根据配置结果自动生成视图，从数据仓库中自动获取数据后，利用大数据分析工具开展大数据分析，发掘数据价值，为电网运营全业务流程监控提供决策支持。网运营全业务流程监控提供决策支持。网运营全业务流程监控提供决策支持。

【技术实现步骤摘要】
一种基于业务宽表的电网运营数据大数据分析方法


[0001]本专利技术涉及电力信息化
，具体是一种基于业务宽表的电网运营数据大数据分析方法。

技术介绍

[0002]大数据分析，即对大规模数据进行分析。大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
[0003]电力大数据是能源变革中电力工业技术革新的必然过程，而不是简单的技术范畴。电力大数据不仅仅是技术进步，更是涉及整个电力系统在大数据时代下发展理念、管理体制和技术路线等方面的重大变革，是下一代智能化电力系统在大数据时代下价值形态的跃升。重塑电力核心价值和转变电力发展方式是电力大数据的两条核心主线。
[0004]电力大数据分析一方面离不开获取并汇总整理多业务系统中海量数据，将无序的数据输出为具有价值的数据集合，另一方面充分利用数据汇聚结果，开展多样化大数据分析及可视化展示，让数据成为电力公司全业务流程监测、辅助决策的最佳助手。
[0005]目前，电力各专业部门业务关注的重点不同、业务系统数据分散存储，使得获取并融合海量业务数据进行大数据分析，开展电力业务全流程监测，将无序的数据输出为具有价值的数据集合，实时分发至用户是非常困难的。

技术实现思路

[0006]针对现有技术存在的上述问题，本专利技术提供一种一种基于业务宽表的电网运营数据大数据分析方法，采用数据分析服务目录对电力业务系统和数据表进行统一描述，采用所见即所得的方式配置电力宽表的关联数据表、数据字段和关联关系，根据配置结果自动生成视图，从数据仓库中自动获取数据后，利用大数据分析工具开展大数据分析，发掘数据价值，为电网运营全业务流程监控提供决策支持。
[0007]本专利技术提出的一种基于业务宽表的电网运营数据大数据分析方法，包括以下步骤：
[0008](1)对业务系统和数据表进行解析，生成数据分析服务目录；
[0009](2)根据需要从数据分析服务目录中勾选多个业务系统中的数据表；
[0010](3)进行宽表配置：采用所见即所得的方式，配置业务主题相关的数据表、数据表之间的指标、维度、属性关联关系以及宽表中保留的数据字段；
[0011](4)根据数据表之间的关联关系判断是否可组成宽表，若判断能关联，则执行步骤(5)；
[0012](5)生成宽表描述；
[0013](6)为定制的宽表配置大数据应用；
[0014](7)从数据仓库中获取业务数据组成宽表；
[0015](8)对业务数据进行清洗；
[0016](9)大数据分析和结果展示。
[0017]进一步的，步骤(1)中，数据分析服务目录按照专业划分为业务数据表集合，每个业务数据表集合包含该业务系统中的全部数据表及其属性，业务系统包括电力规划系统、生产系统、调度系统、营销系统、财务系统。
[0018]进一步的，步骤(3)中，所述关联关系包括左连接、右连接、内连接。
[0019]进一步的，步骤(4)具体包括：根据数据表之间的指标、维度、属性关联关系，自动生成判断数据表是否可以组成宽表的SQL语句，判断宽表能否生成。
[0020]进一步的，步骤(6)为定制的宽表配置大数据应用，具体包括：利用FineBI分析数据并改善业务、企业运营分析、销售数据分析。
[0021]进一步的，步骤(7)具体包括：在数据仓库中自动执行SQL语句，从数据仓库中获取业务数据组成宽表，其中可选的数据仓库包括电力大数据中心、海量数据平台。
[0022]进一步的，步骤(8)对业务数据进行清洗具体包括对缺失值、异常值、重复数据以及噪音数据四类异常数据进行处理。
[0023]进一步的，步骤(9)中，所述大数据分析包括统计分析、建模分析、相关性分析，结果展示包括采用商业智能工具进行可视化展示、R语言编程可视化展示。
[0024]进一步的，所述商业智能类工具包括tableau、spotfire。
[0025]本专利技术的采用所见即所得的方式配置电力宽表的关联数据表、数据字段和关联关系，根据配置结果自动生成视图，从数据仓库中自动获取数据，利用商务智能软件开展大数据分析，发掘数据中的价值，可开展电力业务全流程监测，将无序的数据输出为具有价值的数据集合。
附图说明
[0026]图1为本专利技术一种基于业务宽表的电网运营数据大数据分析方法其中一个实施例的流程图；
[0027]图2为本专利技术数据表选择示意图；
[0028]图3为本专利技术宽表关联关系选择示意图；
[0029]图4为本专利技术宽表数据字段配置示意图。
具体实施方式
[0030]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0031]请参阅图1，本专利技术实施例提供一种基于业务宽表的电网运营数据大数据分析方法，包括如下步骤：
[0032](1)对业务系统和数据表进行解析，生成数据分析服务目录；
[0033]其中，数据分析服务目录按照专业划分为业务数据表集合，每个业务数据表集合包含该业务系统中的全部数据表及其属性等。业务系统包括但不局限于电力规划、生产、调
度、营销、财务等专业相关业务系统。
[0034](2)根据需要从数据分析服务目录中勾选多个业务系统中的数据表；
[0035]如图2所示，本实施例采用所见即所得的方式，从数据分析服务目录中依次选择所需要的数据表，通过拖拽的方式放到同一可见视图中进行操作。
[0036](3)进行宽表配置；
[0037]具体的，所述宽表配置采用所见即所得的方式，配置业务主题相关的数据表、数据表之间的指标、维度、属性关联关系以及宽表中保留的数据字段，所述关联关系包括左连接、右连接、内连接等，如图3和图4所示。
[0038](4)根据数据表之间的关联关系判断是否可组成宽表，若判断能关联，则执行步骤(5)；
[0039]具体的，根据数据表之间的指标、维度、属性关联关系，自动生成判断数据表是否可以组成宽表的SQL语句，判断宽表能否生成。
[0040](5)生成宽表描述；
[0041]具体的，所述宽表通过视图的方式进行描述，有需要获取时可自动获取数据，从而提高迭代计算效率以节约存储空间。
[0042](6)配置大数据应用；
[0043]为定制的宽表配置大数据应用，包括利用FineBI分析数据并改善业务、企业运营分析、销售数据分析等；
[0044](7)从数据仓库中获取业务数据组成宽表；
[0045]宽表由视图描述，在数据仓库中自动执行SQL语句本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于业务宽表的电网运营数据大数据分析方法，其特征在于：包括如下步骤：(1)对业务系统和数据表进行解析，生成数据分析服务目录；(2)根据需要从数据分析服务目录中勾选多个业务系统中的数据表；(3)进行宽表配置：采用所见即所得的方式，配置业务主题相关的数据表、数据表之间的指标、维度、属性关联关系以及宽表中保留的数据字段；(4)根据数据表之间的关联关系判断是否可组成宽表，若判断能关联，则执行步骤(5)；(5)生成宽表描述；(6)为定制的宽表配置大数据应用；(7)从数据仓库中获取业务数据组成宽表；(8)对业务数据进行清洗；(9)大数据分析和结果展示。2.如权利要求1所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：步骤(1)中，数据分析服务目录按照专业划分为业务数据表集合，每个业务数据表集合包含该业务系统中的全部数据表及其属性，业务系统包括电力规划系统、生产系统、调度系统、营销系统、财务系统。3.如权利要求1所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：步骤(3)中，所述关联关系包括左连接、右连接、内连接。4.如权利要求1所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：步骤(4)具体包括...

【专利技术属性】
技术研发人员：郭志刚，陈莉娟，施志勇，赵立华，
申请(专利权)人：湖北华中电力科技开发有限责任公司国网湖北省电力有限公司，
类型：发明
国别省市：