一种电网环保生态大数据预警挖掘方法技术

本发明专利技术创造提供了一种电网环保生态大数据预警挖掘方法，步骤一，调用大数据平台内数据，将数据划分为实时挖掘数据和结构化挖掘数据；步骤二，采用时序数据挖掘方法分别将实时挖掘数据与结构化挖掘数据翻译成后续可处理结构形式；步骤三，将结构化挖掘数据与实时挖掘数据映射对应，且实时挖掘数据映射后位于相应结构化挖掘数据后面；步骤四，划定数据选取层次且对每个划定层次中数据进行具体数值属性的规定与排序。本发明专利技术创造从对数据进行分类划分后进行关联分析处理，一方面节约了服务器的同时高速运行多数据的问题，另一方面采用多层划分分析的方式将数据集归结与对应关系明确对应，进而分析结果针对性大大提高。

【技术实现步骤摘要】
一种电网环保生态大数据预警挖掘方法
本专利技术创造属于大数据利用领域，尤其是涉及一种电网环保生态大数据预警挖掘方法。
技术介绍
目前大数据应用频次越来越高，因数据的更新频率高以及真实准确性高等特点，后台使用大数据来达到对特定环境下的预警是一个非常不错的选择。在十三五规划中对于民生问题重视程度也在提升，合理利用大数据背后隐藏讯息，将大数据消息体结构进行有效组合来完成影响众多百姓的风险预测工作。由于信息技术的发展极为迅速，因此在不同技术模式支撑下的大型数据集数据挖掘算法有所不同，且每项研究领域中，有关信息数据计算的成果也不尽相同，但都在以往的研究项目基础上有所突破。在初期，从事该领域研究的专家学者主要把精力放在确定性聚类的研究内容上，针对某个具象的数据归类进行探索研究，通常某类数据只能归集到同一个类别之中。后期人们对于大型数据集聚类的研究有所进展，往往某一个数据对象能够以一定的概率归集到不同的几个类别之中。这样一来，大型数据集在整个运算或处理的过程中，往往反映到对应的数据集中，其表型为不明显的数据集分离。
技术实现思路
有鉴于此，本专利技术创造旨在提出一种电网环保生态大数据预警挖掘方法，以解决数据集归结与对应关系不明显造成分析结果针对性差的问题。为达到上述目的，本专利技术创造的技术方案是这样实现的：一种电网环保生态大数据预警挖掘方法，大数据平台用于统一收集多维度数据，通过大数据平台内部存储的解析机制将收集数据进行解析、清洗、归类与存储，大数据平台的数据输出接口与大数据挖掘系统连接，大数据挖掘系统中的预警挖掘方法如下：步骤一，调用大数据平台内数据，将数据划分为实时挖掘数据和结构化挖掘数据；步骤二，采用时序数据挖掘方法分别将实时挖掘数据与结构化挖掘数据翻译成后续可处理结构形式；步骤三，将结构化挖掘数据与实时挖掘数据映射对应，且实时挖掘数据映射后位于相应结构化挖掘数据后面；步骤四，划定数据选取层次且对每个划定层次中数据进行具体数值属性的规定与排序；之后对单独不同层次内的数据集进行关联分析，分析结果作为第一关联分析数据；步骤五，将每个层次的第一关联分析数据通过多维度关联数据挖掘分析方法得到最终的关联结果，多维度关联数据挖掘分析方法采用Apriori算法进行关联结果分析；步骤六，根据步骤五中的关联结果进行数据统计分析，数据统计分析按照步骤四中层次划分属性归类，统计众多时序的关联结果；步骤七，通过数据反演分析方法将步骤六的关联结果反演推算步骤一中的原始数据条件，进行结果验证，如没有问题则进入步骤八，如出现问题则返回步骤四调整多维度关联数据挖掘分析方法中的最小支持度和最小置信度，之后继续步骤五；步骤八，采用反馈式神经网络模型对数据统计分析后的数据集进行数据关联分析，最终得到可视化态势预测分析结果。进一步的，步骤八中对数据统计分析后的数据集进行数据关联分析，针对分析结果使用比较算法判断时间紧急程度，对不同的时间紧急程度进行数据标记，大数据挖掘系统针对标记的时间紧急程度下发至电网环保生态业务应用系统，可视化态势预测分析结果也一并下发至电网环保生态业务应用系统。进一步的，步骤四中划定数据层次包括气候带层，气候带层以气候带类型对整个大数据进行类别划分，针对不同气候带类型中的电网工程方向和环境因素方向数据进行关联分析。进一步的，步骤四中划定数据层次还包括经济划分层和行政区域划分层，经济划分层以社会经济带划分类型对整个大数据进行类别划分，行政区域划分层以国家行政区域带划分类型对整个大数据进行类别划分。进一步的，步骤二中对于实时挖掘数据与结构化挖掘数据采用公式进行标准化处理，Sn为标准化数据，S为原始挖掘数据，为原始挖掘数据均值，SDv为原始挖掘数据的标准差。进一步的，在进行标准化处理之后，采用奇异值分解法将奇异值消除，优化后面需要关联分析的数据，具体奇异值分解法采用Si为矩阵M的ith奇异值，标量为ith左奇异矢量，为ith右奇异矢量。进一步的，针对分析结果使用比较算法判断时间紧急程度，比较算法为(ωi为情况紧急程度等级；n为需要同时评定的情况数量；ks为情况紧急程度等级评定的标度；为概率发生量)这个公式判定步骤八的分析结果紧急程度，从而根据不同紧急程度发送给电网环保生态业务应用系统进行后续处理。相对于现有技术，本专利技术创造所述的一种电网环保生态大数据预警挖掘方法具有以下优势：本专利技术创造所述的大数据预警挖掘方法从对数据进行分类划分后进行关联分析处理，一方面节约了服务器的同时高速运行多数据的问题，另一方面采用多层划分分析的方式将数据集归结与对应关系明确对应，进而分析结果针对性大大提高。在选取分析方法与公式的时候，针对当前大数据结构特点进行了多样归集，提高了分析效果与准确性。附图说明构成本专利技术创造的一部分的附图用来提供对本专利技术创造的进一步理解，本专利技术创造的示意性实施例及其说明用于解释本专利技术创造，并不构成对本专利技术创造的不当限定。在附图中：图1为本专利技术创造实施例所述的一种电网环保生态大数据预警挖掘方法系统搭建框图；图2为本专利技术创造实施例所述的一种电网环保生态大数据预警挖掘方法处理流程图；图3为本专利技术创造实施例所述的一种电网环保生态大数据预警挖掘方法流转图。具体实施方式需要说明的是，在不冲突的情况下，本专利技术创造中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本专利技术创造。一种电网环保生态大数据预警挖掘方法，大数据平台用于统一收集多维度数据，通过大数据平台内部存储的解析机制将收集数据进行解析、清洗、归类与存储，类别的划分是以数据来源以及数据关联程度为原则，同时会标记更新频次，将实时更新数据与固定化数据进行区分，在进行数据下发与传输时分通道进行传输，大数据平台的数据输出接口与大数据挖掘系统连接，大数据挖掘系统中的预警挖掘方法如下：步骤一，调用大数据平台内数据，将数据划分为实时挖掘数据和结构化挖掘数据。步骤二，采用时序数据挖掘方法分别将实时挖掘数据与结构化挖掘数据翻译成后续可处理结构形式；步骤二中对于实时挖掘数据与结构化挖掘数据采用公式进行标准化处理，Sn为标准化数据，S为原始挖掘数据，为原始挖掘数据均值，SDv为原始挖掘数据的标准差。在进行标准化处理之后，采用奇异值分解法将奇异值消除，优化后面需要关联分析的数据，具体奇异值分解法采用Si为矩阵M的ith奇异值，标量为ith左奇异矢量，为ith右奇异矢量。步骤三，将结构化挖掘数据与实时挖掘数据映射对应，且实时挖掘数据映射后位于相应结构化挖掘数据后面。步骤四，划定数据选取层次且对每个划定层次中数据进行具体数值属性的规定与排序；之后对单独不同层次内的数据集进行关联分析，分析结果作为第一关联分析数据；步骤四中划定数据层次包括气候带层、经济划分层和行政区域划分层，气候带层以气候带类型对整个大数据进行类别划分，针对不同气候带类型中的电网工程方向和环境因素方向数据进行关联分析，经济划分层以社会经济带划分类型对整个大数据进行类别划分，行政区域划分层以国家行政区域带划分类型对整个大数据进行类别划分。例如：气候带层包括热带、南温带、北温带、南寒带、北寒带，在根据不同带区进行其他数据对应；其中包括电网工程方向数据，主要包括已建成的输变电工程位置和线路工程走廊数据等，之后将对应地域的环保、水保数据本文档来自技高网...

【技术保护点】
1.一种电网环保生态大数据预警挖掘方法，其特征在于：大数据平台用于统一收集多维度数据，通过大数据平台内部存储的解析机制将收集数据进行解析、清洗、归类与存储，大数据平台的数据输出接口与大数据挖掘系统连接，大数据挖掘系统中的预警挖掘方法如下：步骤一，调用大数据平台内数据，将数据划分为实时挖掘数据和结构化挖掘数据；步骤二，采用时序数据挖掘方法分别将实时挖掘数据与结构化挖掘数据翻译成后续可处理结构形式；步骤三，将结构化挖掘数据与实时挖掘数据映射对应，且实时挖掘数据映射后位于相应结构化挖掘数据后面；步骤四，划定数据选取层次且对每个划定层次中数据进行具体数值属性的规定与排序；之后对单独不同层次内的数据集进行关联分析，分析结果作为第一关联分析数据；步骤五，将每个层次的第一关联分析数据通过多维度关联数据挖掘分析方法得到最终的关联结果，多维度关联数据挖掘分析方法采用Apriori算法进行关联结果分析；步骤六，根据步骤五中的关联结果进行数据统计分析，数据统计分析按照步骤四中层次划分属性归类，统计众多时序的关联结果；步骤七，通过数据反演分析方法将步骤六的关联结果反演推算步骤一中的原始数据条件，进行结果验证，如没有问题则进入步骤八，如出现问题则返回步骤四调整多维度关联数据挖掘分析方法中的最小支持度和最小置信度，之后继续步骤五；步骤八，采用反馈式神经网络模型对数据统计分析后的数据集进行数据关联分析，最终得到可视化态势预测分析结果。...

【技术特征摘要】
1.一种电网环保生态大数据预警挖掘方法，其特征在于：大数据平台用于统一收集多维度数据，通过大数据平台内部存储的解析机制将收集数据进行解析、清洗、归类与存储，大数据平台的数据输出接口与大数据挖掘系统连接，大数据挖掘系统中的预警挖掘方法如下：步骤一，调用大数据平台内数据，将数据划分为实时挖掘数据和结构化挖掘数据；步骤二，采用时序数据挖掘方法分别将实时挖掘数据与结构化挖掘数据翻译成后续可处理结构形式；步骤三，将结构化挖掘数据与实时挖掘数据映射对应，且实时挖掘数据映射后位于相应结构化挖掘数据后面；步骤四，划定数据选取层次且对每个划定层次中数据进行具体数值属性的规定与排序；之后对单独不同层次内的数据集进行关联分析，分析结果作为第一关联分析数据；步骤五，将每个层次的第一关联分析数据通过多维度关联数据挖掘分析方法得到最终的关联结果，多维度关联数据挖掘分析方法采用Apriori算法进行关联结果分析；步骤六，根据步骤五中的关联结果进行数据统计分析，数据统计分析按照步骤四中层次划分属性归类，统计众多时序的关联结果；步骤七，通过数据反演分析方法将步骤六的关联结果反演推算步骤一中的原始数据条件，进行结果验证，如没有问题则进入步骤八，如出现问题则返回步骤四调整多维度关联数据挖掘分析方法中的最小支持度和最小置信度，之后继续步骤五；步骤八，采用反馈式神经网络模型对数据统计分析后的数据集进行数据关联分析，最终得到可视化态势预测分析结果。2.根据权利要求1所述的一种电网环保生态大数据预警挖掘方法，其特征在于：步骤八中对数据统计分析后的数据集进行数据关联分析，针对分析结果使用比较算法判断时间紧急程度，对不同的时间紧...

【专利技术属性】
技术研发人员：白晓春，吴健，卢林，李睿，吕平海，宋继明，王绿，魏金祥，吴凯，杨彬，鱼小兵，陈勃，赵亚林，耿明昕，郭季璞，南宵汉，
申请(专利权)人：国网陕西省电力公司电力科学研究院，国网西安环保技术中心有限公司，
类型：发明
国别省市：陕西,61