一种大规模过电压数据智能自清洗方法技术

本发明专利技术提供一种大规模过电压数据智能自清洗方法，通过稀疏自编码方法提取电压特征后，通过CFSFDP法对特征量所代表的波形完成聚类以实现过电压数据清洗，通过对数据深度处理，能够较为快速，准确对不同类型过电压进行分类自动识别，从而对实测进一步实测过电压的研究提供技术支持。

【技术实现步骤摘要】
一种大规模过电压数据智能自清洗方法
本专利技术涉及数据清洗与处理
，尤其涉及一种大规模过电压数据智能自清洗方法。
技术介绍
智能电网及其更高组织形式的能源互联网是未来电网发展方向。能源互联网的发展对电力系统安全可靠运行的要求极高，而电力系统的开关操作、外部雷击所产生的电磁暂态，也称电力系统过电压，会在发变电站通过各种耦合方式在弱电系统内产生相应的干扰电压。在特殊情况下会损坏设备，导致电气设备损坏、供电中断、大面积停电等严重后果，造成巨大的经济损失。由此可见，过电压对于电力系统的稳定、可靠运行有着巨大威胁。为了能够精确了解过电压产生与传播特性，从源头减少由于过电压而导致的事故危险，对电网过电压进行在线监控，时刻观察其波形的产生、变化情况意义重大。随着数据采集、存储和传输技术的发展，过电压在线监测系统的构建已较为成熟，且已形成国际标准，国内外机构已研发了各种过电压在线监测系统，并在实际变电站中得到应用。虽然这些在线监测数据均捕获到了一些变电站的过电压数据，但由于数据传输链路上影响因素众多，数据库中可能存在噪声和较多异常、错误数据，导致整体的过电压波形数据库数据质量降低，难以满足后续和分析研究需求，因此对过电压数据库进行有效的数据清洗以提高数据质量达到可实现挖掘水平是海量过电压数据研究的关键之一。目前国内外学者针对数据清洗已开展了大量的研究，在电网输变电设备状态数据方面亦有诸多研究和应用，主要集中在缺失数据搜索、噪声数据分离与处理、损坏数据检测以及基于聚类的数据清洗方法。但是，在电网过电压实测数据领域却暂时止步不前，其原因不仅是由于过电压高频暂态波形采集困难，更重要的是相较于传统数据清洗方法所处理的数据，过电压数据是海量高维的数据序列波形，清洗难度更大，复杂程度更高，这些因素都严重的阻碍着过电压数据挖掘的进程。受错误波形掺入过电压波形数据库导致其数据质量降低的影响，只能人工筛选出数据库中少量高质量过电压波形进行识别、诊断等研究。但这不仅仅会因为人的主观性导致判断错误，过电压数据巨大导致耗时耗力，而且会由于捕捉信息片面丢失甚至错误判断数据价值，导致数据丰富，但信息贫乏，失去应用意义。因此，迫切的需要一种高效实测的过电压数据清洗方法
技术实现思路
本专利技术的目的在于提供一种大规模过电压数据智能自清洗方法，以解决上述
技术介绍
中提出的问题。本专利技术是通过以下技术方案实现的：一种大规模过电压数据智能自清洗方法，通过稀疏自编码方法提取高维过电压波形的关键特征后，通过CFSFDP法实现特征聚类，用以实现过电压数据清洗，其步骤如下：S1、获取某地区供电站的原始过电压波形数据；S2、搭建基于主成分分析法的稀疏自编码网络，对所述原始过电压波形数据进行特征提取，获得过电压数据的二维特征量集合；S3、采用CFSFDP法对所述二维过电压特征量进行聚类分析，获得若干类聚类簇；S4、监测每一类聚类簇所表达的波形，进行过电压数据完全清洗和分类。优选的，所述原始过电压波形数据包括内部过电压波形数据与外部过电压波形数据，所述外部过电压波形数据为雷电过电压波形数据，所述内部过电压包括暂时过电压与操作过电压，所述暂时过电压分为谐振过电压和工频电压升高，工频电压升高的类型有空载长线路的电容效应、不对称接地和突然甩负荷，谐振过电压包括线性谐振，参数谐振和非线性谐振，所述操作过电压包括投切变压器、投切线路、间隙电弧接地过电压。优选的，步骤S2中，建立包括输入层，隐含层与输出层在内的稀疏自编码神经网络，每层网络有对应的编码器和对应的权重函数，同时构造一个惩罚函数，通过惩罚函数的最小化获得自编码网络中各个参数的值。优选的，在所建立的稀疏自编码神经网络中，从输入层到隐藏层是编码过程，所述编码过程的表达式为：a(k)＝f(W(k,1)*X(k-1)+b(k,1))从隐藏层到输出层是解码过程，所述解码过程的表达式为：y(k)＝f(W(k,2)*a(k)+b(k,2))式中，W(k,1)、W(k,2)表示第k个自编码器对应的权重，、b(k,1)、b(k,2)表示第k个自编码器对应的biss参数,f(k)为激活函数。优选的，在建立稀疏自编码神经网络时，所采用的激活函数f(k)的表达式为：式中，exp表示以e为底的指数函数。优选的，在建立稀疏自编码神经网络时，所构造的惩罚函数为：式中，m为样本个数，β控制权重大小，J(W,b)为均方差项。优选的，步骤S3中，采用CFSFDP法对所述二维过电压特征量进行聚类分析时，主要分为以下步骤进行：S31、计算数据点之间的距离；S32、计算每个数据点的局部密度ρi；S33、计算各个数据点的高密度距离δi；S34、根据局部密度ρi和高密度距离δi作出决策图，获得二维过电压特征量的聚类簇，并从聚类簇中找到聚类中心。优选的，所述局部密度ρi的计算方法为：式中，dc代表截止距离，采用相邻数据点平均百分数P进行代替，所述相邻数据点平均百分数P的计算方法为：第N个数据点*p/100，p的取值范围为(0,100)，dij代表相邻数据点的距离。优选的，所述高密度距离δi表示数据点的与其局部密度更高点的数据点的距离最小值，δi被定义为：式中，j取1,2,3，…，m，且j≠i。优选的，在根据局部密度ρi和高密度距离δi作出决策图前，还根据ρi对数据进行预清洗，当ρi<0.01时，该局部密度ρi所代表的数据为错误数据，不进行聚类。与现有技术相比，本专利技术达到的有益效果如下：本专利技术提供的一种大规模过电压数据智能自清洗方法，适用于大规模海量实测过电压的分类与识别，通过基于主成分分析法的稀疏自编码网络从高维过电压波形中提取关键特征，并通过CFSFDP法对关键特征完成聚类，通过聚类后的相似波形特性清除错误数据，其清洗效率高，通过对数据深度处理，能够较为快速，准确对不同类型过电压进行分类自动识别，从而对实测进一步实测过电压的研究提供技术支持。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的一种大规模过电压数据智能自清洗方法的流程图；图2为本专利技术实施例提供的稀疏自编码网络结构图；图3为本专利技术实施例提供的真实过电压波形特征；图4为本专利技术实施例提供的错误过电压波形；图5为本专利技术实施例提供的数据聚类分析结构图。具体实施方式为了更好理解本专利技术
技术实现思路
，下面提供具体实施例，并结合附图对本专利技术做进一步的说明。参见图1，一种大规模过电压数据智能自清洗方法，通过稀疏自编码方法提取高维过电压波形的关键特征后，通过CFSFDP法实现特征聚类，用以实现过电压数据清洗，其步骤如下：S1、获取某地区供电站的原始过电压波形数据；S2、搭建基于主成分分析法的稀疏自编码网络，对所述原始过电压波形数据进行特征提取，获得过电压数据的二维特征量集合；S3、采用CFSFDP法对所述二维过电压特征量进行聚类分析，获得若干类聚类簇；S4、监测每一类聚类簇所表达的波形，进行过电压数据完全清洗。具体的，采用重庆某220kV变电站10kV系统采集的过电压波形构建原始过电压波形数据库，本文档来自技高网...

【技术保护点】
1.一种大规模过电压数据智能自清洗方法，其特征在于，通过稀疏自编码方法提取高维过电压波形的关键特征后，通过CFSFDP法实现特征聚类，用以实现过电压数据清洗，其步骤如下：S1、获取某地区供电站的原始过电压波形数据；S2、搭建基于主成分分析法的稀疏自编码网络，对所述原始过电压波形数据进行特征提取，获得过电压数据的二维特征量集合；S3、采用CFSFDP法对所述二维过电压特征量进行聚类分析，获得若干类聚类簇；S4、监测每一类聚类簇所表达的波形，进行过电压数据完全清洗。

【技术特征摘要】
1.一种大规模过电压数据智能自清洗方法，其特征在于，通过稀疏自编码方法提取高维过电压波形的关键特征后，通过CFSFDP法实现特征聚类，用以实现过电压数据清洗，其步骤如下：S1、获取某地区供电站的原始过电压波形数据；S2、搭建基于主成分分析法的稀疏自编码网络，对所述原始过电压波形数据进行特征提取，获得过电压数据的二维特征量集合；S3、采用CFSFDP法对所述二维过电压特征量进行聚类分析，获得若干类聚类簇；S4、监测每一类聚类簇所表达的波形，进行过电压数据完全清洗。2.根据权利要求1所述的一种大规模过电压数据智能自清洗方法，其特征在于，所述原始过电压波形数据包括内部过电压波形数据与外部过电压波形数据，所述外部过电压波形数据为雷电过电压波形数据，所述内部过电压包括暂时过电压与操作过电压，所述暂时过电压分为谐振过电压和工频电压升高，工频电压升高的类型有空载长线路的电容效应、不对称接地和突然甩负荷，谐振过电压包括线性谐振，参数谐振和非线性谐振，所述操作过电压包括投切变压器、投切线路、间隙电弧接地过电压。3.根据权利要求1所述的一种大规模过电压数据智能自清洗方法，其特征在于，步骤S2中，建立包括输入层，隐含层与输出层在内的稀疏自编码神经网络，每层网络有对应的编码器和对应的权重函数，同时构造一个惩罚函数，通过惩罚函数的最小化获得自编码网络中各个参数的值。4.根据权利要求3所述的一种大规模过电压数据智能自清洗方法，其特征在于，在所建立的稀疏自编码神经网络中，从输入层到隐藏层是编码过程，所述编码过程的表达式为：a(k)＝f(W(k，1)*X(k-1)+b(k，1))从隐藏层到输出层是解码过程，所述解码过程的表达式为：y(k)＝f(W(k，2)*a(k)+b(k，2))式中，W(k，1)、W(k，2)表示第k个自编码器对应的权重...

【专利技术属性】
技术研发人员：陈钦柱，司马文霞，殷健，袁涛，王为民，张涵，庞松岭，杨鸣，
申请(专利权)人：海南电网有限责任公司电力科学研究院，
类型：发明
国别省市：海南,46