基于大数据处理技术的二次运维数据融合方法技术

一种基于大数据处理技术的二次运维数据融合方法，包括如下步骤：部署Hadoop大数据平台，实现电力二次数据融合任务分配；利用大数据平台提供的接口结合关系型数据库，实现数据的高速读取和存储；以调度平台的子系统作为数据源进行数据信息采集，并通过数据清洗、数据集成、数据选择、数据变换对多数据进行预处理；利用欧氏距离作为相似性指标进行数据聚类，根据统一数据模型的定义规则，将多源数据结合成新的多维度数据，实现数据融合；将多维度数据存入关系型数据库，供其他功能模块调用。本发明专利技术可实现子系统的数据交互，有利于提高运维主站的数据处理和管理能力。

【技术实现步骤摘要】
基于大数据处理技术的二次运维数据融合方法
本专利技术涉及智能电网领域，特别涉及电力调度数据网涉及的各个不同系统进行信息交互融合的一种方法。
技术介绍
智能变电站二次设备种类繁多，不同类型、不同厂家生产的二次设备的设备监测信息不同，状态信息的属性也不相同。在智能运维主站端，随着接入的运维子站数目增多，数据平台将面临日益增长的多源、异构电力大数据，传统的分析处理方法将越来越无法承受电力企业发展的需求。为了解决现有继电保护等二次设备联网系统信息数据独立分散的问题，有必要研究面向各级电网的完整故障及异常数据集，以全面描述电网异常事件中一、二次设备及电网结构信息。
技术实现思路
本专利技术的目的在于提供一种基于大数据处理技术的二次运维数据融合方法，实现系统数据交互，有利于提高运维主站的数据处理和管理能力。本专利技术的目的可以这样实现，设计一种基于大数据处理技术的二次运维数据融合方法，包括以下步骤：S1、构建Hadoop大数据平台，安装并配置Hadoop分布式机群，计算机之间能够通过MapReduce机制进行任务分发和结果统计；S2、Hadoop大数据平台和关系型数据库进行结合，使用Hadoop提供的数据口接口，实现对二次大数据的高速存储和读取；S3、以调度平台的子系统作为数据源进行数据信息采集形成多源数据，并通过数据清洗、数据集成、数据选择、数据变换对多源数据进行预处理；S4、选择欧氏距离作为相似性度量指标，通过相似性指标聚类的方法对待挖掘数据进行聚类；根据统一数据模型的定义规则，对同类的多源数据结合成新的多维度数据，实现二次数据融合；S5、将多维度数据存入关系型数据库，供其他功能模块调用。进一步地，所述步骤S3包括：S31、调度平台的子系统包括D5000系统、整定计算系统、保信及录波联网系统、行波测距系统，子系统进行多源数据信息采集；S32、数据清洗，去掉多源数据中重复冗余的数据；S33、数据集成，消除因条件不一样所引起的数据差异，为后续数据处理提供方便；条件包括类型、平台；S34、数据选择，以设定参数为筛选条件，抽取目标数据对象；S35、数据变换，降低数据维数，缩减数据量，确定出有价值的数据。进一步地，步骤S4包括：S41、根据数据预处理的结果，将处理后的数据投影到空间坐标系；S42、计算数据点之间的欧式距离；S43、通过阈值确定数据相似度；S44、通过数据相似度确定同类数据；S45、将同类的多源数据结合成新的多维度数据。进一步地，步骤S5中将多维度统一模型数据存入关系型数据库，功能模块通过访问关系型数据库获得完整数据信息。进一步地，设定参数包括特定时间；降低数据维数包括由二维数据降为一维数据。进一步地，阈值设定为90％。进一步地，统一数据模型为汇总了多个子系统的数据之后，对同一个数据模型做信息提取，汇总之后形成的信息属性较全的数据模型的集合。本专利技术将大数据分析技术与二次运维技术相结合，挖掘时序性数据，可以对设备的运行规律进行了解，从而对其规律进行深入研究和应用。引入数据挖掘分析技术来处理二次大数据，研究和建立Hadoop大数据平台，实现对二次数据的获取、存储、处理分析的通用分布式处理，构建大规模、低延时的数据分析应用，实现调度D5000系统、整定计算系统、二次设备联网系统的数据交互，有利于提高运维主站的数据处理和管理能力。附图说明图1是本专利技术较佳实施例的流程图；图2是本专利技术较佳实施例之多源数据采集及预处理的流程图；图3是本专利技术较佳实施例之多源数据融合的流程图。具体实施方式以下结合实施例对本专利技术作进一步的描述。如图1所示，一种基于大数据处理技术的二次运维数据融合方法，包括如下步骤：步骤S1、在电网统一数据平台中构建Hadoop大数据平台(Hadoop是一个开源的分布式存储分布式计算平台)，安装并配置Hadoop分布式机群(即多台服务器，部署Hadoop服务的集群)，计算机之间能够通过MapReduce机制(并行处理框架，实现任务分解和调度)进行任务分发和结果统计；步骤S2、Hadoop大数据平台和关系型数据库进行结合，使用Hadoop提供的数据口接口，实现对二次大数据的高速存储和读取；步骤S3、以调度平台的各子系统作为数据源进行数据信息采集形成多源数据，并通过数据清洗、数据集成、数据选择、数据变换等手段对多数据进行预处理；步骤S4、选择欧氏距离作为相似性度量指标，通过相似性指标聚类的方法对待挖掘数据进行聚类；根据统一数据模型的定义规则，对同类的多源数据结合成新的多维度数据，实现二次数据融合；步骤S5、将多维度数据存入关系型数据库，供其他功能模块调用。如图2所示，其中多源数据采集及预处理，包括如下步骤：步骤S31、从D5000系统、整定计算系统、保信及录波联网系统等调度平台的子系统进行多源数据信息采集；步骤S32、数据清洗，去掉多源数据中重复冗余的数据，即去掉不同系统针对同一信息点同一描述的数据，如变电站内冗余的装置模型数据；步骤S33、数据集成，消除因类型、平台等条件不一样所引起的数据差异，为后续数据处理提供方便，如保信系统与D5000获取的同一时间点的录波文件；步骤S34、数据选择，以设定参数为筛选条件，抽取目标数据对象；设定参数包括特定时间。步骤S35、数据变换，降低数据维数，缩减数据量，确定出真正有价值的数据；降低数据维数包括由二维数据降为一维数据。如图3所示，多源数据融合，包括如下步骤：步骤S41、根据数据预处理的结果，将相关数据投影到空间坐标系；步骤S42、计算数据点之间的欧式距离；步骤S43、通过阈值确定数据相似度；阈值设定为90％。欧式距离代表两数据点的差异度，当欧式距离小于特定值(特定值为阈值映射的距离参数，实际效果为包含相关数据的90％)时，认为其数据相似度达于90％。步骤S44、通过数据相似度确定同类数据。步骤S45、依据数据模型的定义规则，挖掘同类数据的潜在信息，将同类的多源数据结合成新的多维度数据。从不同子系统获取的同一数据模型属性侧重点不同，将差异信息提取之后汇总多系统来源的同一个模型形成新的同一数据模型。统一数据模型为汇总了多个子系统的数据之后，对同一个数据模型做信息提取，汇总之后形成的信息属性较全的数据模型的集合。本专利技术将大数据分析技术与二次运维技术相结合，利用该技术挖掘出设备运行潜在规律。在此过程中挖掘时序性数据，可以对设备的运行规律进行了解，从而对其规律进行深入研究和应用。引入数据挖掘分析技术来处理二次大数据，研究和建立Hadoop大数据平台，实现对二次数据的获取、存储、处理分析的通用分布式处理，构建大规模、低延时的数据分析应用，实现调度D5000系统、整定计算系统、二次设备联网系统的数据交互，有利于提高运维主站的数据处本文档来自技高网...

【技术保护点】
1.一种基于大数据处理技术的二次运维数据融合方法，其特征在于，包括以下步骤：/nS1、构建Hadoop大数据平台，安装并配置Hadoop分布式机群，计算机之间能够通过MapReduce机制进行任务分发和结果统计；/nS2、Hadoop大数据平台和关系型数据库进行结合，使用Hadoop提供的数据口接口，实现对二次大数据的高速存储和读取；/nS3、以调度平台的子系统作为数据源进行数据信息采集形成多源数据，并通过数据清洗、数据集成、数据选择、数据变换对多源数据进行预处理；/nS4、选择欧氏距离作为相似性度量指标，通过相似性指标聚类的方法对待挖掘数据进行聚类；根据统一数据模型的定义规则，对同类的多源数据结合成新的多维度数据，实现二次数据融合；/nS5、将多维度数据存入关系型数据库，供其他功能模块调用。/n

【技术特征摘要】
1.一种基于大数据处理技术的二次运维数据融合方法，其特征在于，包括以下步骤：
S1、构建Hadoop大数据平台，安装并配置Hadoop分布式机群，计算机之间能够通过MapReduce机制进行任务分发和结果统计；
S2、Hadoop大数据平台和关系型数据库进行结合，使用Hadoop提供的数据口接口，实现对二次大数据的高速存储和读取；
S3、以调度平台的子系统作为数据源进行数据信息采集形成多源数据，并通过数据清洗、数据集成、数据选择、数据变换对多源数据进行预处理；
S4、选择欧氏距离作为相似性度量指标，通过相似性指标聚类的方法对待挖掘数据进行聚类；根据统一数据模型的定义规则，对同类的多源数据结合成新的多维度数据，实现二次数据融合；
S5、将多维度数据存入关系型数据库，供其他功能模块调用。


2.根据权利要求1所述的基于大数据处理技术的二次运维数据融合方法，其特征在于，所述步骤S3包括：
S31、调度平台的子系统包括D5000系统、整定计算系统、保信及录波联网系统、行波测距系统，子系统进行多源数据信息采集；
S32、数据清洗，去掉多源数据中重复冗余的数据；
S33、数据集成，消除因条件不一样所引起的数据差异，为后续数据处理提供方便；条件包括类型、平台；
S34、数据选择，以设定参...

【专利技术属性】
技术研发人员：邵庆祝，谢民，王同文，赵子根，胡适，易秋实，叶远波，于洋，俞斌，张骏，王海港，程晓平，李志，
申请(专利权)人：国网安徽省电力有限公司，长园深瑞继保自动化有限公司，
类型：发明
国别省市：安徽;34