一种用于光伏发电功率预测的大数据处理系统技术方案

本发明专利技术涉及一种用于光伏发电功率预测的大数据处理系统，系统的服务器中包括：数据获取模块，对于实时数据服务器，数据获取模块获取实时数据和各类历史数据；数据通信模块，包括Flume系统和分布式消息队列Kafka，实现传输通信；数据处理模块，数据处理模块对获取的实时数据和历史数据进行数据清洗，且在运算服务器中进行预测模型的训练和生成；数据存储模块，冗余存储经过数据清理的实时数据和历史数据；数据应用模块，用于将训练生成的预测模型部署在服务器中，实现预测模型的调用，并上报预测模型得到的预测结果。与现有技术相比，本发明专利技术具有对光伏发电功率的大数据进行实时处理等优点。理等优点。理等优点。

【技术实现步骤摘要】
一种用于光伏发电功率预测的大数据处理系统


[0001]本专利技术涉及数据处理，尤其是涉及一种用于光伏发电功率预测的大数据处理系统。

技术介绍

[0002]目前国内电厂存在以下问题：电厂有多个不同的业务系统，且相互独立，形成信息孤岛，系统间存在数据交换壁垒；预测系统、状态监测系统、运行系统等各自独立的系统均需要单独维护，运维成本较高，大量系统也导致服务器等硬件重复配置；多个业务系统数据流程独立且复杂，存在大量冗余接口和重复信息流。此外，目前采用的传统结构的单线程或多线程平台难以实现对光伏发电系统产生的海量数据的存储和计算，难以对光伏发电功率的大数据进行实时处理。

技术实现思路

[0003]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供的一种实现对光伏发电系统产生的海量数据的存储和计算，对实时数据进行处理的用于光伏发电功率预测的大数据处理系统。
[0004]本专利技术的目的可以通过以下技术方案来实现：
[0005]一种用于光伏发电功率预测的大数据处理系统，系统包括实时数据服务器、历史数据服务器和运算服务器，服务器中包括：
[0006]数据获取模块，对于实时数据服务器，数据获取模块获取运行设备上的实时数据和天气预报厂商的预测数据，对于历史数据服务器，数据获取模块获取电厂系统中的各类历史数据；
[0007]数据通信模块，包括Spark架构下的Flume系统和分布式消息队列Kafka，数据通信模块用于实时数据、预测数据和历史数据在实时数据服务器、历史数据服务器和运算服务器之间的传输通信；
[0008]数据处理模块，所述数据处理模块基于Spark Streaming对传输的实时数据、预测数据和历史数据进行数据清洗，且在运算服务器中进行预测模型的训练和生成；
[0009]数据存储模块，用于在实时数据服务器、历史数据服务器和运算服务器上冗余存储经过数据清理的实时数据、预测数据和历史数据；
[0010]数据应用模块，用于将训练生成的预测模型部署在服务器中，实现预测模型的调用，生成并上报预测模型得到的预测结果。
[0011]进一步地，对于实时数据，数据通信模块采用Spark架构下的Flume系统，通过读取配置文件，自动收集数据文件，采用分布式消息队列Kafka对实时数据进行集成，并将集成后的实时数据在实时数据服务器、历史数据服务器和运算服务器之间传输。
[0012]进一步地，运算服务器中的数据处理模块在对预测模型的训练过程中，获取第一预设时间段的携带有时间戳的历史数据和实时数据，并进行数据清洗，将数据清洗后的数
据进行归一化处理和分割，形成样本数据，根据样本数据对预测模型进行训练，得到训练好的预测模型。
[0013]进一步地，数据应用模块生成预测模型得到的预测结果的过程中，获取第二预设时间段的预测数据，并基于数据处理模块将第二预设时间段的预测数据进行数据清洗，所述第二预设时间段位于第一预设时间段之后，将数据清洗后的第一预设时间段的数据和第二预设时间段的数据整合，构建一个时间序列为t
‑
23、t
‑
22
…
t
‑
1、t共24个时间点的数据输入集，按照输入流程循环带入至训练好的预测模型中，预测得到的光伏发电功率预测值，完成一次超短期光伏功率预测，完成后，将t
‑
1时刻的实时数据平移至t时刻。
[0014]进一步地，数据处理模块基于Spark平台下Spark MLlib机器学习库和Spark RDD进行预测模型的训练和生成。
[0015]进一步地，数据存储模块将经过数据清理的实时数据和历史数据存储在HBase和Mysql数据库中。
[0016]进一步地，HBase是基于HDFS文件系统的分布式存储系统，经过数据清理的实时数据存储在HBase中。
[0017]进一步地，实时数据中的静态数据，和部分历史数据存储在Mysql数据库中。
[0018]进一步地，数据获取模块获取运行设备上的实时数据的过程中，使用IPSec VPN隧道模式建立数据传输通道。
[0019]进一步地，所述数据清洗包括异常值检验、数据过滤和缺失值插值处理。
[0020]与现有技术相比，本专利技术具有以下有益效果：
[0021]本专利技术基于Spark架构的大数据处理流程，针对光伏电厂实际的数据特点进行了数据流程优化，模块之间的数据流程统一，设置数据通信模块、数据处理模块和数据存储模块有效解决传统结构的单线程或多线程平台难以实现对光伏发电系统产生的海量数据的存储和计算，以及Hadoop架构难以实现对大数据进行实时处理的问题。
附图说明
[0022]图1为本专利技术的系统的结构图；
[0023]图2为本专利技术的系统的服务器结构示意图；
[0024]图3为本专利技术的循环预测的原理图。
具体实施方式
[0025]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。
[0026]本专利技术提供一种用于光伏发电功率预测的大数据处理系统。系统的结构图如图1所示。系统包括实时数据服务器、历史数据服务器和运算服务器，系统的服务器的结构图如图2所示。
[0027]本专利技术中的预测数据为NWP(Numerical Weather Prediction数值天气预报)的数据。
[0028]本专利技术的服务器中包括：
[0029]数据获取模块，对于实时数据服务器，数据获取模块获取运行设备上的实时数据和天气预报厂商的预测数据，对于历史数据服务器，数据获取模块获取系统中的各类历史数据。
[0030]通过在光伏电厂的数据监控中心安装无线发送接收模块，数据获取模块可以从运行设备上实时采集现场数据。数据获取模块获取运行设备上的实时数据的过程中，使用IPSec VPN隧道模式建立数据传输通道，能有效保护数据传输的安全。数据获取模块获取系统中的各类历史数据的过程中，通过文件传输(FTP)或有线网络连接进行数据传输，获取存储在电厂SCADA(Supervisory Control And Data Acquisition数据采集与监视控制)系统中的各类历史数据。数据获取模块通过TCP/IP协议从互联网获取天气预报厂商的数值天气预报数据。
[0031]数据通信模块，包括Spark架构下的Flume系统和分布式消息队列Kafka，数据通信模块用于实时数据、预测数据和历史数据在实时数据服务器、历史数据服务器和运算服务器之间的传输通信。对于实时数据，数据通信模块采用Spark架构下的Flume系统，通过读取配置文件，自动收集数据文件，采用分布式消息队列Kafka对实时数据进行集成，并将集成后的实时数据在实时数据服务器、历史数据服务器和运算服务器之间传输。对于历史数据，数据通信模块采用文件上传的形式进行数据传输。
[0032]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于光伏发电功率预测的大数据处理系统，系统包括实时数据服务器、历史数据服务器和运算服务器，其特征在于，服务器中包括：数据获取模块，对于实时数据服务器，数据获取模块获取运行设备上的实时数据和天气预报厂商的预测数据，对于历史数据服务器，数据获取模块获取电厂系统中的各类历史数据；数据通信模块，包括Spark架构下的Flume系统和分布式消息队列Kafka，数据通信模块用于实时数据、预测数据和历史数据在实时数据服务器、历史数据服务器和运算服务器之间的传输通信；数据处理模块，所述数据处理模块基于Spark Streaming对传输的实时数据、预测数据和历史数据进行数据清洗，且在运算服务器中进行预测模型的训练和生成；数据存储模块，用于在实时数据服务器、历史数据服务器和运算服务器上冗余存储经过数据清理的实时数据、预测数据和历史数据；数据应用模块，用于将训练生成的预测模型部署在服务器中，实现预测模型的调用，生成并上报预测模型得到的预测结果。2.根据权利要求1所述的一种用于光伏发电功率预测的大数据处理系统，其特征在于，对于实时数据，数据通信模块采用Spark架构下的Flume系统，通过读取配置文件，自动收集数据文件，采用分布式消息队列Kafka对实时数据进行集成，并将集成后的实时数据在实时数据服务器、历史数据服务器和运算服务器之间传输。3.根据权利要求1所述的一种用于光伏发电功率预测的大数据处理系统，其特征在于，运算服务器中的数据处理模块在对预测模型的训练过程中，获取第一预设时间段的携带有时间戳的历史数据和实时数据，并进行数据清洗，将数据清洗后的数据进行归一化处理和分割，形成样本数据，根据样本数据对预测模型进行训练，得到训练好的预测模型。4.根据权利要求3所述的一种用于光伏发电功率预测的大数据处理系统，其特征在于，数据应用模块生成预测模型得到的预...

【专利技术属性】
技术研发人员：戴朝辉，王翔，于立军，孙银奎，刘单珂，郭嘉毅，刘莘轶，
申请(专利权)人：中电投新疆能源化工集团哈密有限公司，
类型：发明
国别省市：