一种基于电网微数据融合的数据监测分析及优化方法技术

针对现有技术的不足，本发明专利技术利用微数据融合技术，能够在进行数据关联分析前，对大数据进行有针对性的筛选,有效提升项目相关指标。为实现以上目的，本发明专利技术通过以下技术方案予以实现：一种基于电网微数据融合的数据监测分析及优化方法，应用于指定区域的电力项目，包括以下步骤：通过数据平台获取项目所在区域电网结构数据、电网运行数据及规划项目数据；基于电力数据字典对电网数据进行清洗，对数据中的重复值、异常数据等脏数据进行清理或修复，达到可用标准；本发明专利技术考虑了现有技术中项目无法根据实地情况进行优化的问题，系统的提出了电力项目考虑实际环境进行优选的方法，弥补了原有电网项目优选体系的不适应性。

【技术实现步骤摘要】
一种基于电网微数据融合的数据监测分析及优化方法
本专利技术涉及数据分析领域，具体涉及基于微数据融合的电力数据监测分析及优化方法。
技术介绍
随着电网服务的全面深化，对于各个电力公司管理模式和经营策略产生了深刻影响。尤其是为主动适应发展新形势，依据“大经营”体系建设思路，提出要完善经营管理机制和研究机制，打造协调有序、优化有方、执行有力、考核有据、集约高效的经营管理网上平台目前绝大多数的项目优选方法都是基于大数据挖掘技术，其所需数据量巨大，对分析运算效率要求较高，同时，对大量数据中的脏数据处理也相对麻烦，在整个分析过程中，管理人员能难介入，这就造成了很多分析结果不能很好的与当地的实际情况相结合，造成项目建设了，但是收效甚微的情况，浪费了有限的资源。于是为了优化项目的可行性和效率，现有技术中就提出了例如专利申请号为：201811228414.4的专利技术专利《一种电网项目两阶段决策优化方法及系统》中就公开了一种电网项目两阶段决策优化方法及系统，包括以下内容：对影响电网项目排序的因素进行分析，构建电网项目优化排序的评价指标体系；根据电网项目优化排序的评价指标体系，建立基于物元可拓的电网项目优化排序模型；根据电网项目优化排序模型，筛选出满足对应评价指标要求的电网项目，并获取筛选出的电网项目的基本信息；根据电网发展目标，预先建立基于Weingartner的电网发展辅助决策模型，并确定电网项目的约束条件；根据预先建立的电网发展辅助决策模型和筛选出的电网项目及其基本信息，基于电网投资限额，确定最优的电网项目或电网项目的组合，该专利技术可以广泛应用于决策优化领域中。但是在整个优化过程中，其指标的设置等都是决策者的智力活动的体现。即便获得相同的信息，不同层次的决策者做出的决定都是不同的。因此这样的系统虽然可以让决策者方便了解数据信息以及项目动态，但是不能直接带来项目的优化。此外，从技术角度上看，这样的分析方法在功能上仍以临时计算的方式应对多样化的查询需求，在预计算技术上仅满足历史离线数据查询需求；在易用性上仅面向数据开发人员和对数据较为熟悉的建模人员，不能直接供对一线操作人员不够友好。
技术实现思路
针对现有技术的不足，本专利技术提供基于电网微数据融合的数据监测分析及优化方法，利用微数据融合技术，能够在进行数据关联分析前，对大数据进行有针对性的筛选，通过人工智能，结合实际情况，在项目关联指标中找出适合当地现场特色的指标体系，形成微数据集，一方面降低后续分析所使用的数据量，另一方面优选结果直接当地实际情况相匹配，方便一线操作人员理解和执行，有效提升项目相关指标。为实现以上目的，本专利技术通过以下技术方案予以实现：一种基于电网微数据融合的数据监测分析及优化方法，应用于指定区域的电力项目，包括以下步骤：步骤1：通过数据平台获取项目所在区域电网结构数据、电网运行数据及规划项目数据；步骤2：基于电力数据字典对电网数据进行清洗，对数据中的重复值、异常数据等脏数据进行清理或修复，达到可用标准；步骤3：通过用相关系数分析来对电网数据进行指标筛选，从所有数据指标中挑选适合当地电网情况的数据指标集；步骤4：通过影响因素量化解析数据挖掘方法，从数据指标集中找出该地区影响到电网可靠性、适应性等影响较大的指标，形成指标微数据集影响因子系数；步骤5：利用融合赋权法，将各个待建项目的指标代入，得到电网项目关联关系；步骤6：根据项目的关联关系建立项目动态调整构架；步骤7：通过手动或自动触发的形式进行项目的调整。优选的，所述步骤2中基于电力数据字典对电网数据进行清洗至少包括：1.不完整数据处理；2.错误值的检测及处理；3.重复记录的检测及消除；4.不一致性数据的检测及处理；上述步骤由1-4依次执行，并且在第一轮循环完毕后重复执行直到处理后的数值不发生变化。通过这样的方式将获得的电力数据精简以除去重复记录，并使剩余部分转换成标准可接受的格式。电力数据清洗将从数据的准确性、完整性、一致性、惟一性、适时性、有效性几个方面来处理数据的丢失值、越界值、不一致代码、重复数据等问题。优选的，所述步骤3中指标筛选的具体步骤为：首先确定所关注区域电网核心指标；将其他电网指标与核心指标放在一起进行对比，从指标筛选正相关、负相关和不相关三个方向确定两组电网指标间的变化趋势关系，建立相关系数的数学模型；设电网核心指标数据集为X，其他的关联指标数据集Y，则两组数据的协方差为：Cov(X，Y)＝E(X-E(X))(Y-E(Y))其中Cov(X，Y)为协方差，即表示的是两组数据的总体的误差，E(X)和E(Y)分别为数据集的期望值；得到Cov(X，Y)后，进一步通过相关系数ρXY来判断两组指标之间的相关程度：相关系数ρXY的计算公式为:说明式中D(X)为可靠性指标数据集的方差，D(Y)为假设的关联指标数据集的方差，ρXY为相关系数；通过相关系数ρXY来判断核心指标和其他指标之间的相关程度。优选的，所述步骤4中所采用的影响因素量化解析数据挖掘方法具体为依托随机森林预测算法的嵌入法，具体步骤包括：1)首先确定预测算法的自变量和因变量；2)将75％的历史因变量和特征数据作为随机森林预测算法的输入训练集，设置模型参数，拟合出预测模型；3)利用剩余25％的历史因变量和特征数据作为预测算法的测试集，利用预测模型进行因变量的预测，并与实际因变量数值进行比较，判断预测模型的误差；4)当误差在可接受范围内时，输出此时的特征重要度排序；5)当误差超过允许值时，则采取调整模型设置参数或者增加特征重新建模，直到误差在可接受范围内，再输出此时的特征重要度排序。进一步的，通过随机森林预测算法得到的指标初选后，通过灰色关联法对指标进分析，以确定其对电网的影响，进而进一步确定优选指标体系，根据灰色关联度可以得出指标与电网之间的关联度，关联度值的大小代表该指标对电网的影响程度，通过设定关联度的阈值可以确定需要使用的指标。其中生成灰色关联，先将数据标准化处理。设Fi＝(fi1，fi2，fi3，...，fij，...，fiN)为相似度数据影响指标的第i(i＝1，2，...，M)个影响因素序列，即第i个比较序列。其中，N表示因素的统计的年份或者地区，M表示因素数目。采用下式对数据进行标准化处理Xi＝(xi1，xi2，xi3，...，xij，…，xiN)：确定分析因素：通过第一步对参考序列Ik＝(ik1，ik2，ik3，...，ikj，...，ikN)k＝1，2标准化得到Xk＝(xk1，xk2，xk3，...，xkj，…，xkN)。计算灰色关联系数采用下式计算xij和x0j的接近程度。其中：γ(x0j，xij)是xij和x0j的关联系数、ξ为分辨系数，ξ∈[0，1]，一般取0.5，且：Δij＝|xkj-xij|本文档来自技高网...

【技术保护点】
1.一种基于电网微数据融合的数据监测分析及优化方法，应用于指定区域的电力项目，其特征在于：包括以下步骤：/n步骤1：通过数据平台获取项目所在区域电网结构数据、电网运行数据及规划项目数据；/n步骤2：基于电力数据字典对电网数据进行清洗，对数据中的重复值、异常数据等脏数据进行清理或修复，达到可用标准；/n步骤3：通过相关系数分析对电网数据进行指标筛选，从所有数据指标中挑选适合当地电网情况的数据指标集；/n步骤4：通过影响因素量化解析数据挖掘方法，从数据指标集中找出该地区影响到电网可靠性、适应性等影响较大的指标，形成指标微数据集影响因子系数；/n步骤5：利用融合赋权法，将各个待建项目的指标代入，得到电网项目关联关系；/n步骤6：根据项目的关联关系建立项目动态调整构架；/n步骤7：通过手动或自动触发的形式进行项目的调整。/n

【技术特征摘要】
1.一种基于电网微数据融合的数据监测分析及优化方法，应用于指定区域的电力项目，其特征在于：包括以下步骤：
步骤1：通过数据平台获取项目所在区域电网结构数据、电网运行数据及规划项目数据；
步骤2：基于电力数据字典对电网数据进行清洗，对数据中的重复值、异常数据等脏数据进行清理或修复，达到可用标准；
步骤3：通过相关系数分析对电网数据进行指标筛选，从所有数据指标中挑选适合当地电网情况的数据指标集；
步骤4：通过影响因素量化解析数据挖掘方法，从数据指标集中找出该地区影响到电网可靠性、适应性等影响较大的指标，形成指标微数据集影响因子系数；
步骤5：利用融合赋权法，将各个待建项目的指标代入，得到电网项目关联关系；
步骤6：根据项目的关联关系建立项目动态调整构架；
步骤7：通过手动或自动触发的形式进行项目的调整。


2.如权利要求1所述的一种基于电网微数据融合的数据监测分析及优化方法，其特征在于：所述步骤2中基于电力数据字典对电网数据进行清洗至少包括：
1.不完整数据处理；
2.错误值的检测及处理；
3.重复记录的检测及消除；
4.不一致性数据的检测及处理；
上述步骤由1-4依次执行，并且在第一轮循环完毕后重复执行直到处理后的数值不发生变化。


3.如权利要求1所述的一种基于电网微数据融合的数据监测分析及优化方法，其特征在于：所述步骤3中指标筛选的具体步骤为：
首先确定所关注区域电网核心指标；
将其他电网指标与核心指标放在一起进行对比，从正相关、负相关和不相关三个方向确定两组电网指标间的变化趋势关系，建立相关系数的数学模型；
设电网核心指标数据集为X，其他的关联指标数据集Y，则两组数据的协方差为：
Cov(X，Y)＝E(X-E(X))(Y-E(Y))
其中Cov(X，Y)为协方差，即表示的是两组数据的总体的误差，E(X)和E(Y)分别为数据集的期望值；
得到Cov(X，Y)后，进一步通过相关系数ρXY来判断两组指标之间的相关程度：
相关系数ρXY的计算公式为：



说明式中D(X)为可靠性指标数据集的方差，D(Y)为假设的关联指标数据集的方差，ρXY为相关系数；通过相关系数ρXY来判断核心指标和其他指标之间的相关程度。


4.如权利要求1所述的一种基于电网微数据融合的数据监测分析及优化方法，其特征在于：所述步骤4中所采用的影响因素量化解析数据挖掘方法具体为依托随机森林预测算法的嵌入法，具体步骤包括：
1)首先确定预测算法的自变量和因变量；
2)将75％的历史因变量和特征数据作为随机森林预测算法的输入训练集，设置模型参数，拟合出预测模型；
3)利用剩余25％的历史因变量和特征数据作为预测算法的测试集，利用预测模型进行因变量的预测，并...

【专利技术属性】
技术研发人员：司为国，李颖毅，罗近圣，钱啸，高璐，叶刚进，章姝俊，商佳宜，杨翾，陈致远，龙昌敏，李雯芸，向新宇，毛西吟，陆海波，
申请(专利权)人：国网浙江省电力有限公司，国网浙江省电力有限公司杭州供电公司，北京国网信通埃森哲信息技术有限公司，
类型：发明
国别省市：浙江;33