一种基于Spark Streaming与InfluxDB协同架构的低压光伏数据流式处理系统及方法技术方案

本发明专利技术公开了一种基于Spark Streaming与InfluxDB协同架构的低压光伏数据流式处理系统及方法，所述系统包括光伏消息处理模块、量测信息存储模块和量测信息查询模块；所述方法包括光伏消息处理模块从物联管理平台消息总线上订阅光伏采集数据消息，并解析成量测对象分类发布到配电云主站消息总线；量测信息存储模块采用独立多子单元机制从配电云主站消息总线上订阅量测对象消息，并根据量测对象特性分类存储到Influxdb时序库中；量测信息查询模块依托内部光伏模型缓存，对外部应用提供多样化的量测数据查询接口。本发明专利技术能够显著提升光伏采集数据的处理、存储与查询性能，满足配电云主站对海量分布式低压光伏的实时监控需求，为新型电力系统提供高效稳定的光伏数据服务。

【技术实现步骤摘要】

本专利技术涉及新能源电力系统自动化，尤其涉及一种基于sparkstreaming与influxdb协同架构的低压光伏数据流式处理系统及方法。

技术介绍

1、配电云主站作为智慧配电网的“智能中枢”，在新型电力系统的构建中扮演着至关重要的角色。配电云主站借助先进的数据融合与高级分析技术，不仅实现了对配电网运行状态的全面洞察，还推动了配电网从传统被动运维模式向主动服务模式的深刻转型。然而，随着海量低压分布式光伏(pv)设备的广泛接入，配电云主站在光伏数据处理与存储方面正面临着前所未有的严峻挑战。

2、配电云主站历史量测数据的存储长期依赖关系型数据库(如oracle、mysql等)，其基于行列结构的存储模型虽适用于事务性业务场景，但在应对海量分布式光伏(pv)接入时面临显著瓶颈。首先，光伏逆变器数量庞大，传统关系型数据库受限于行式存储和锁机制，写入吞吐量通常低于1万条/秒，难以支撑高并发写入需求，导致数据堆积与丢失风险；其次，光伏数据具有强时间关联性与稀疏性，关系型数据库缺乏时间分区优化和列式压缩能力，存储冗余度高达30％-50％，且跨时段聚合查询需全本文档来自技高网...

【技术保护点】

1.一种基于Spark Streaming与InfluxDB协同架构的低压光伏数据流式处理系统，其特征在于，包括光伏消息处理模块、量测信息存储模块和量测信息查询模块；光伏消息处理模块从物联管理平台消息总线上订阅低压光伏采集数据，并将数据解析成自定义的量测对象发往配电云主站消息总线；量测信息存储模块订阅光伏消息处理模块转发的量测对象消息，并将量测对象按所属量测类型分别存储到InfluxDB时序库中，量测信息查询模块从InfluxDB时序库中读取所需的量测数据；采用分布式消息队列实现光伏设备数据接入，通过Spark Stream流计算引擎完成实时数据解析与校验，并基于动态数据分区策略将解析后...

【技术特征摘要】

1.一种基于spark streaming与influxdb协同架构的低压光伏数据流式处理系统，其特征在于，包括光伏消息处理模块、量测信息存储模块和量测信息查询模块；光伏消息处理模块从物联管理平台消息总线上订阅低压光伏采集数据，并将数据解析成自定义的量测对象发往配电云主站消息总线；量测信息存储模块订阅光伏消息处理模块转发的量测对象消息，并将量测对象按所属量测类型分别存储到influxdb时序库中，量测信息查询模块从influxdb时序库中读取所需的量测数据；采用分布式消息队列实现光伏设备数据接入，通过spark stream流计算引擎完成实时数据解析与校验，并基于动态数据分区策略将解析后的量测数据写入influxdb时序库。

2.根据权利要求1所述的基于spark streaming与influxdb协同架构的低压光伏数据流式处理系统，其特征在于，所述光伏消息处理模块包括光伏消息订阅单元、光伏消息解析单元和量测消息转发单元；

3.根据权利要求2所述的基于spark streaming与influxdb协同架构的低压光伏数据流式处理系统，其特征在于，所述光伏消息解析单元的解析规则包括：

4.根据权利要求1所述的基于spark streaming与influxdb协同架构的低压光伏数据流式处理系统，其特征在于，所述量测信...

【专利技术属性】
技术研发人员：吕非，宗伟康，何鸣一，陈凯旋，王立旭，季学纯，于海平，周福，陶定元，胡振洲，张名扬，李汀，武会超，谭志军，陈宁，孙文彦，朱灏，周兆南，
申请(专利权)人：国电南瑞科技股份有限公司，
类型：发明
国别省市：