一种基于spark的Ftrl电压预测方法技术

本发明专利技术涉及一种基于spark的Ftrl电压预测方法，首先，获取历史电力负荷数据以及日均温度，建立特征维度，建立特征平台；其次，spark数据特征处理；然后，根据实际获取的电力负荷数据以及日均气温，建立基于Ftrl在线训练模型，进行低电压预测。本发明专利技术所提出的一种基于spark的Ftrl电压预测方法，基于spark框架提出ftrl算法，针对海量电压数据，提取有效特征，搭建ftrl实时计算平台，建立高容错、实时、准确、快速的低电压预测系统，该系统可以有效实现低电压预测告警，相对目前的人工监测机制有了很大改善。

A Ftrl voltage prediction method based on spark

The invention relates to a prediction method based on spark, Ftrl voltage first, access to the history data of the power load and the average daily temperature, a characteristic dimension, the establishment of characteristic platform; secondly, the characteristics of spark data processing; then, according to the actual power load data and daily mean temperature acquisition, the establishment of Ftrl online training model based on low voltage prediction. The invention provides a Ftrl voltage based on spark prediction method, spark framework is proposed based on ftrl algorithm for massive data voltage, to extract effective features, build ftrl real-time computing platform, the establishment of high fault tolerance, real-time, accurate, low voltage fast prediction system, the system can effectively realize the prediction of low voltage alarm, great are relative to the current manual monitoring mechanism.

【技术实现步骤摘要】
一种基于spark的Ftrl电压预测方法
本专利技术涉及数据挖掘
，特别是一种基于spark的Ftrl电压预测方法。
技术介绍
配电网中的低电压现象受多维度因素的影响。总结可能会有以下原因：1)季节因素。很多地区的用电负荷随着天气温度影响变化幅度很大，再精密的考虑也无法做到电网系统可以应对所有的负荷状态。需要配电系统可以智能化，根据历史数据来进行预测调整，让电压稳定在一个合理的区间。2)人为因素。在农村乡镇比较显著，特别农村低电压线路为三相四线型，工作人员容易在电线杆导线接电，容易造成三相不平衡。3)地域因素。工业发达城市、绿化城市、学校、工厂、公司等，不同区域的用电方式、高峰期有差异。对这些因素结合海量历史数据进行分析，提取出低电压相关的有效特征，用大数据框架处理，算法优化模型，可以对低电压预测提供有效的支持。大数据已经融入到各行各业，且已经在很多领域取得显著成功，互联网大数据思想可以应用到很多场景，在电网类企业，目前也应用极为广泛。低电压包含的历史数据也是海量级别。需要分布式存储系统、计算框架、以及高容错机制才能满足低电压预测告警的准确、实时、安全性。针对电压类数据，每个区本文档来自技高网...

【技术保护点】
一种基于spark的Ftrl电压预测方法，其特征在于，包括如下步骤：步骤S1：获取历史电力负荷数据以及日均温度，建立特征维度，建立特征平台；步骤S2：spark数据特征处理；步骤S3：建立基于Ftrl在线训练模型；步骤S4：根据实际获取的电力负荷数据以及日均气温，通过所建立的基于Ftrl在线训练模型，进行低电压预测。

【技术特征摘要】
1.一种基于spark的Ftrl电压预测方法，其特征在于，包括如下步骤：步骤S1：获取历史电力负荷数据以及日均温度，建立特征维度，建立特征平台；步骤S2：spark数据特征处理；步骤S3：建立基于Ftrl在线训练模型；步骤S4：根据实际获取的电力负荷数据以及日均气温，通过所建立的基于Ftrl在线训练模型，进行低电压预测。2.根据权利要求1所述的一种基于spark的Ftrl电压预测方法，其特征在于，在所述步骤S1中，利用配电网原始数据，结合业务场景，对电压影响因素进行分层归类；建立特征工程，通过离线数据验证特征的有效性，将评估效果符合预设标准的特征加入到线上实时模型。3.根据权利要求2所述的一种基于spark的Ftrl电压预测方法，其特征在于，所述配电网原始数据从业务应用系统、电能服务管理平台、营销业务管控平台、电源运营管理以及实时监测系统的日志数据中获取；所述特征包括：设备层、运营系统以及用户类；所述设备层包括：供电半径、线径大小以及配变容量；所述运营系统包括：发电量、负荷类以及功率电压电流；用户类包括：用户负荷曲线、冻结电能示值以及低压投诉。4.根据权利要求1所述的一种基于spark的Ftrl电压预测方法，其特征在于，在所述步骤S2中，所述特征平台对按天对电网类数据进行spark任务调度处理，采用hive分区存储，数据按日期分区进行存储，不同类型数据根据预设规则创建对应的hive表，每天的实时数据写入当天日期对应的分区中；在进行特征数据存储时，剔除丢失电压数据、电流数据以及采集点数据；在spark读取hive分区数据时，启动一个map任务将缺失的数据过滤掉；在提取特征时做归一化处理，将数据标准化输出到保持特征的hive表中，并按分区存储；在进行特征数据提取时，对对应的数据进行join，过滤掉key对应的value数量大于预设标准数量的数据，提高shuffle操作并行度，采样产生倾斜的key拆分进行join操作，以解决数据倾斜。5.根据权利要求4所述的一种基于spark的Ftrl电压预测方法，其特征在于，在所述步骤S3中，包括离线训练和在线实时训练；所述在线实时训练...

【专利技术属性】
技术研发人员：李学永，钟小强，高琛，丁忠安，郭志伟，鄢盛腾，邓伯发，叶强，陈宏，陈元珽，黄永煌，麦鸿坤，董雨，
申请(专利权)人：国网福建省电力有限公司，国家电网公司，国网福建省电力有限公司电力科学研究院，国网信通亿力科技有限责任公司，中国科学技术大学，
类型：发明
国别省市：福建,35