一种用于光伏发电功率预测的大数据处理系统技术方案

本发明专利技术涉及一种用于光伏发电功率预测的大数据处理系统，系统的服务器中包括：数据获取模块，对于实时数据服务器，数据获取模块获取实时数据和各类历史数据；数据通信模块，包括Flume系统和分布式消息队列Kafka，实现传输通信；数据处理模块，数据处理模块对获取的实时数据和历史数据进行数据清洗，且在运算服务器中进行预测模型的训练和生成；数据存储模块，冗余存储经过数据清理的实时数据和历史数据；数据应用模块，用于将训练生成的预测模型部署在服务器中，实现预测模型的调用，并上报预测模型得到的预测结果。与现有技术相比，本发明专利技术具有对光伏发电功率的大数据进行实时处理等优点。理等优点。理等优点。

【技术实现步骤摘要】
一种用于光伏发电功率预测的大数据处理系统


[0001]本专利技术涉及数据处理，尤其是涉及一种用于光伏发电功率预测的大数据处理系统。

技术介绍

[0002]目前国内电厂存在以下问题：电厂有多个不同的业务系统，且相互独立，形成信息孤岛，系统间存在数据交换壁垒；预测系统、状态监测系统、运行系统等各自独立的系统均需要单独维护，运维成本较高，大量系统也导致服务器等硬件重复配置；多个业务系统数据流程独立且复杂，存在大量冗余接口和重复信息流。此外，目前采用的传统结构的单线程或多线程平台难以实现对光伏发电系统产生的海量数据的存储和计算，难以对光伏发电功率的大数据进行实时处理。

技术实现思路

[0003]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供的一种实现对光伏发电系统产生的海量数据的存储和计算，对实时数据进行处理的用于光伏发电功率预测的大数据处理系统。
[0004]本专利技术的目的可以通过以下技术方案来实现：
[0005]一种用于光伏发电功率预测的大数据处理系统，系统包括实时数据服务器、历史数据服务器和运算服务器，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于光伏发电功率预测的大数据处理系统，系统包括实时数据服务器、历史数据服务器和运算服务器，其特征在于，服务器中包括：数据获取模块，对于实时数据服务器，数据获取模块获取运行设备上的实时数据和天气预报厂商的预测数据，对于历史数据服务器，数据获取模块获取电厂系统中的各类历史数据；数据通信模块，包括Spark架构下的Flume系统和分布式消息队列Kafka，数据通信模块用于实时数据、预测数据和历史数据在实时数据服务器、历史数据服务器和运算服务器之间的传输通信；数据处理模块，所述数据处理模块基于Spark Streaming对传输的实时数据、预测数据和历史数据进行数据清洗，且在运算服务器中进行预测模型的训练和生成；数据存储模块，用于在实时数据服务器、历史数据服务器和运算服务器上冗余存储经过数据清理的实时数据、预测数据和历史数据；数据应用模块，用于将训练生成的预测模型部署在服务器中，实现预测模型的调用，生成并上报预测模型得到的预测结果。2.根据权利要求1所述的一种用于光伏发电功率预测的大数据处理系统，其特征在于，对于实时数据，数据通信模块采用Spark架构下的Flume系统，通过读取配置文件，自动收集数据文件，采用分布式消息队列Kafka对实时数据进行集成，并将集成后的实时数据在实时数据服务器、历史数据服务器和运算服务器之间传输。3.根据权利要求1所述的一种用于光伏发电功率预测的大数据处理系统，其特征在于，运算服务器中的数据处理模块在对预测模型的训练过程中，获取第一预设时间段的携带有时间戳的历史数据和实时数据，并进行数据清洗，将数据清洗后的数据进行归一化处理和分割，形成样本数据，根据样本数据对预测模型进行训练，得到训练好的预测模型。4.根据权利要求3所述的一种用于光伏发电功率预测的大数据处理系统，其特征在于，数据应用模块生成预测模型得到的预...

【专利技术属性】
技术研发人员：戴朝辉，王翔，于立军，孙银奎，刘单珂，郭嘉毅，刘莘轶，
申请(专利权)人：中电投新疆能源化工集团哈密有限公司，
类型：发明
国别省市：