变电站多形态电力设备及物联网采集展示大数据接入方法技术

变电站多形态电力设备及物联网采集展示大数据接入方法，采集变电站多形态电力设备及物联网大数据；根据数据类型将所采集的变电站多形态电力设备及物联网大数据分为结构化数据、半结构化数据和非结构化数据；根据所得的不同数据类型，将结构化数据用Sqoop、半结构化数据用Flume和非结构化数据用Kafka均导入Hadoop的HDFS；Yarn资源管理系统针对不同计算任务进行资源分配，并根据计算需求选择计算方式；Oozie进行任务调度，Zookeeper对平台进行框架的配置和调度；对处理后的变电站电力设备大数据进行可视化分析。本发明专利技术对电力设备及物联网多形态大数据采用不同计算方式，提高内存使用率，降低延迟，提取有用数据，进行数据挖掘等分析，为变电站安全稳定经济运行提供保障。

【技术实现步骤摘要】
变电站多形态电力设备及物联网采集展示大数据接入方法
本专利技术属于变电站电力设备
，涉及变电站多形态电力设备及物联网采集展示大数据接入方法。
技术介绍
智能电网技术不断发展，在高度融合传统电力技术的基础上，结合了制造、信息、控制、互联网、自动化等技术，通过对电力全过程中各个环节收集大量数据信息，对信息进行分析、挖掘和延伸，并以此优化决策，为实现电力设备的安全和高效运行提供了良好的技术基础。大数据概念自从出现以后，深刻影响着世界，尤其是在有关消费的各领域环节，得到了广泛的应用。电力行业大数据也成为新时期电网职能的主要支撑体系之一，通过对电力设备的数据采集、传输、存储、处理，使得众多电力工作中对相关数据的挖掘成为电力主业工作的重点内容。现有技术文件1(姜立丹；王野；周新宇；刘田；韩振华；徐剑；李刚；张希正.基于大数据的变电设备智能监控分析系统[P].中国专利:CN110932405A,2020-03-27)包括中心监控系统和终端系统，但是该专利对监测信号利用率较低，不能实现可视化的效果。现有技术文件2(李雨轩.基于大数据分析的故障诊断系统及方法[P].中国专利:CN111124735A,2020-05-08)，该系统包括计算机，计算机内部设有通用软件分析模块、硬件数据采集监测模块、模糊诊断初始单元、专家远程诊断数据终端、故障预处理模块和报警模块，但是该专利对变电站的特殊应用场合不匹配，数据配置和调度不能满足变电站设备状态监测的需求。
技术实现思路
为了解决现有技术存在的问题，本专利技术的目的在于，提供了一种变电站多形态电力设备及物联网采集展示大数据接入方法，本专利技术将变电站电力设备大数据按不同数据类型进行传输与存储，实现海量数据的存储与统一管理。本专利技术采用如下的技术方案：变电站多形态电力设备及物联网采集展示大数据接入方法，包括以下步骤：步骤1，采集变电站多形态电力设备及物联网大数据；步骤2，根据数据类型将步骤1所采集的变电站多形态电力设备及物联网大数据分为结构化数据、半结构化数据和非结构化数据；步骤3，将步骤2所得的结构化数据、半结构化数据和非结构化数据分别利用Sqoop、Flume和Kafka传输至HDFS，其中，HDFS为Hadoop分布式文件系统，Sqoop为开源的工具，Flume为日志采集聚合和传输的系统，Kafka为开源流处理平台；步骤4，利用步骤3中的HDFS，Yarn资源管理系统针对不同计算任务进行资源分配，并根据计算需求选择计算方式；所采用的计算方式包括Mapreduce离线计算、Spark计算以及Flink实时计算；步骤5，Oozie对步骤4选择计算方式的计算任务进行调度，Zookeeper对开源流处理平台Kafka进行配置和调度，其中，Oozie为工作流调度程序系统，Zookeeper为开放源码的分布式应用程序协调服务；步骤6，对步骤4和步骤5处理后的变电站电力设备大数据进行可视化分析。所述步骤1中，变电站电力设备大数据包括视频监控设备产生的视频数据、无人机巡检产生的图片数据、设备故障信息文本、设备巡视记录、维护记录、故障跳闸记录、故障典型案例库、缺陷和消缺记录、在线监测和带电检测数据。所述步骤2中，结构化数据包括变压器振动信号，变压器振动信号属于在线监测和带电检测数据，半结构化数据包括日志，非结构化数据包括视频监控设备产生的视频数据。所述步骤3中，所述HDFS包括Hbase和Hive，所述Hbase为非关系型数据库，用于非结构化数据存储，包括视频监控设备产生的视频数据、无人机巡检产生的图片数据和办公系统流转过程中的电子文件，在PCServer搭建结构化存储集群；所述Hive静态表批处理方法，将结构化的数据文件包括在线监测和带电检测数据映射为数据库表，并提供SQL查询功能，将SQL语句转变成MapReduce任务来执行，其中，SQL为结构化查询语言。所述步骤4中，所述Yarn资源管理系统为上层应用提供统一的资源管理和调度。所述步骤4中，所述Mapreduce离线计算是将大型数据处理任务按照电力设备的编码分解成单个的、在服务器集群中并行执行的任务，任务的计算结果合并在一起计算出最终的结果。所述步骤4中，所述Spark计算包括四个模块为Sparksql、SparkMLlib、Sparkstreaming和SparkGraphx，其中，Sparksql用于电力设备数据查询，SparkMLlib引入机器学习算法用于对电力设备进行生产运行优化、设备状态评估、重大事故事后分析与年月日统计，Sparkstreaming流处理，用于电力设备在线监测异常数据与实时故障诊断的，SparkGraphx用于电力设备复杂数据可视化分析。所述步骤4中，所述Flink实时计算处理无边界和有边界的数据集，用于电力设备在线监测异常数据与实时故障诊断。所述步骤5中，所述Oozie框架的任务调度方法：支持基于时间的调度以及基于数据可用性的调度。所述步骤5中，所述Zookeeper框架的配置和调度方法：协调解决分布式集群中应用系统均衡分配，维护和监控存储数据的状态变化，进行基于数据的集群管理。本专利技术的有益效果在于，与现有技术相比：本专利技术对电力设备大数据采用不同计算方式，提高内存使用率，降低延迟，提取有用数据，进行数据挖掘等分析，为变电站安全稳定经济运行提供保障。附图说明图1为一种变电站多形态电力设备及物联网采集展示大数据接入方法流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术的技术方案进行清楚、完整地描述。本申请所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部实施例。基于本专利技术精神，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术的保护范围。本专利技术公开了一种变电站多形态电力设备及物联网采集展示大数据接入方法，该方法包括基于Sqoop框架的结构化数据传输方法；基于Flume框架的文件日志(半结构化数据)传输方法；基于Kafka的非结构化数据传输与存储方法；基于HDFS的文件存储库；基于Hbase的非关系型数据库；基于Hive的静态批处理方法；基于Yarn资源管理系统；基于Mapreduce的计算模型；基于Spark框架的数据挖掘分析方法；基于Flink框架的实时数据计算方法；基于Oozie框架的任务调度方法；基于Zookeeper框架的配置和调度方法；如图1所示，一种变电站多形态电力设备及物联网采集展示大数据接入方法，包括以下步骤：步骤1，采集变电站多形态电力设备及物联网大数据；步骤2，根据数据类型将步骤1所采集的变电站多形态电力设备及物联网大数据分为结构化数据、半结构化数据和非结构化数据；步骤3，将步骤2所得的结构化数据、半结构化数据和非结构化数据分别利本文档来自技高网...

【技术保护点】
1.变电站多形态电力设备及物联网采集展示大数据接入方法，其特征在于：包括以下步骤：/n步骤1，采集变电站多形态电力设备及物联网大数据；/n步骤2，根据数据类型将步骤1所采集的变电站多形态电力设备及物联网大数据分为结构化数据、半结构化数据和非结构化数据；/n步骤3，将步骤2所得的结构化数据、半结构化数据和非结构化数据分别利用Sqoop、Flume和Kafka传输至HDFS，/n其中，HDFS为Hadoop分布式文件系统，Sqoop为开源的工具，Flume为日志采集聚合和传输的系统，Kafka为开源流处理平台；/n步骤4，利用步骤3中的HDFS，Yarn资源管理系统针对不同计算任务进行资源分配，并根据计算需求选择计算方式；/n所采用的计算方式包括Mapreduce离线计算、Spark计算以及Flink实时计算；/n步骤5，Oozie对步骤4选择计算方式的计算任务进行调度，Zookeeper对开源流处理平台Kafka进行配置和调度，/n其中，Oozie为工作流调度程序系统，Zookeeper为开放源码的分布式应用程序协调服务；/n步骤6，对步骤4和步骤5处理后的变电站电力设备大数据进行可视化分析。/n...

【技术特征摘要】
1.变电站多形态电力设备及物联网采集展示大数据接入方法，其特征在于：包括以下步骤：
步骤1，采集变电站多形态电力设备及物联网大数据；
步骤2，根据数据类型将步骤1所采集的变电站多形态电力设备及物联网大数据分为结构化数据、半结构化数据和非结构化数据；
步骤3，将步骤2所得的结构化数据、半结构化数据和非结构化数据分别利用Sqoop、Flume和Kafka传输至HDFS，
其中，HDFS为Hadoop分布式文件系统，Sqoop为开源的工具，Flume为日志采集聚合和传输的系统，Kafka为开源流处理平台；
步骤4，利用步骤3中的HDFS，Yarn资源管理系统针对不同计算任务进行资源分配，并根据计算需求选择计算方式；
所采用的计算方式包括Mapreduce离线计算、Spark计算以及Flink实时计算；
步骤5，Oozie对步骤4选择计算方式的计算任务进行调度，Zookeeper对开源流处理平台Kafka进行配置和调度，
其中，Oozie为工作流调度程序系统，Zookeeper为开放源码的分布式应用程序协调服务；
步骤6，对步骤4和步骤5处理后的变电站电力设备大数据进行可视化分析。


2.根据权利要求1所述的变电站多形态电力设备及物联网采集展示大数据接入方法，其特征在于：
所述步骤1中，变电站电力设备大数据包括视频监控设备产生的视频数据、无人机巡检产生的图片数据、设备故障信息文本、设备巡视记录、维护记录、故障跳闸记录、故障典型案例库、缺陷和消缺记录、在线监测和带电检测数据。


3.根据权利要求1所述的变电站多形态电力设备及物联网采集展示大数据接入方法，其特征在于：
所述步骤2中，结构化数据包括变压器振动信号，变压器振动信号属于在线监测和带电检测数据，半结构化数据包括日志，非结构化数据包括视频监控设备产生的视频数据。


4.根据权利要求1所述的变电站多形态电力设备及物联网采集展示大数据接入方法，其特征在于：
所述步骤3中，所述HDFS包括Hbase和Hive，所述Hbase为非关系型数据库，用于非结构化数据存储，包括视频监控设备产生的视频数据、无人机巡检产生的图片数据和办公系统流转过程中的电子文件，在PCServer...

【专利技术属性】
技术研发人员：朱红，王文帝，刘少君，周冬旭，杨洛，王立宪，马飞，刘致，
申请(专利权)人：国网江苏省电力有限公司南京供电分公司，
类型：发明
国别省市：江苏;32