电力调控系统分布式实时数据处理方法技术方案

本发明专利技术涉及一种电力调控系统分布式实时数据处理方法，分布式协调处理服务模块根据负载均衡策略动态调整数据处理单元分配情况，实现数据处理单元、实时数据处理服务的统一管理、统一协调；实时数据处理服务接受分布式协调服务模块的统一调度，其接收分布式协调服务模块下发的数据处理单元，启动数据处理线程并从消息总线订阅相关厂站实时消息，并完成消息处理。本发明专利技术采用分布式协调处理服务模块解决电力调控系统实时数据并行数据处理任务调度问题，实现所有数据处理单元、实时数据处理服务的统一管理，数据处理任务统一分配、统一协调；提高了实时数据并行接入能力，理论上支持厂站级数据处理能力的线性扩展。

Distributed Real-time Data Processing Method for Electric Power Control System

The present invention relates to a distributed real-time data processing method for power control system. The distributed coordinated processing service module dynamically adjusts the distribution of data processing units according to load balancing strategy, realizes the unified management and coordination of data processing units and real-time data processing services. The real-time data processing service receives the unified scheduling of distributed coordinated service modules, and its receiving points. The data processing unit issued by the distributed coordination service module starts the data processing thread and subscribes the real-time messages from the relevant factories and stations from the message bus, and completes the message processing. The distributed coordinated processing service module is adopted to solve the task scheduling problem of real-time data parallel processing in power regulation system, to realize the unified management of all data processing units and real-time data processing services, to uniformly distribute and coordinate data processing tasks, to improve the parallel access capability of real-time data, and to theoretically support the linear expansion of data processing capability at plant and station level.

【技术实现步骤摘要】
电力调控系统分布式实时数据处理方法
本专利技术属于电力调控系统自动化管理
，具体涉及一种电力调控系统分布式实时数据处理方法。
技术介绍
电力系统监控数据分为稳态数据、暂态数据及动态数据，稳态数据是电力调控系统中电网分析计算的基础，支撑状态估计、电网潮流、静态安全分析等应用分析计算，对保障电网安全稳定运行具有重要意义。本专利技术所提到的实时数据均为稳态数据。传统的电力调控系统一般采用集中式处理，由实时数据处理模块完成系统实时数据处理，并通过主备部署模式提高实时数据处理的可靠性。然而随着电网规模不断扩大，电网调控系统需要接入的实时数据不断增多，尤其是随着省地调控云平台建设，需要同时接入全省实时数据，数据量大、数据频率高，导致单一数据处理节点因单机性能瓶颈等问题，无法有效支撑大规模实时数据的并行处理。
技术实现思路
由于电力调控系统实时数据特别关注数据的时序性，同一量测的数据处理顺序需保证与采样顺序一致，简单的量测流式处理技术不能解决数据时序性问题，需考虑在能够保证数据处理时序性情况下的并行处理技术。为解决现有技术存在的上述问题，本专利技术重点解决电力调控系统在保证数据处理时序性情况下的实时数据并行处理任务调度问题，保证同一量测数据分配到指定节点处理，而不是随机选择处理节点，实现实时数据的分布式处理，提升电力调控系统实时数据处理能力，满足省地调控云系统大规模实时数据处理的需要。本专利技术所采用的技术方案如下：电力调控系统分布式实时数据处理方法，包括以下步骤：步骤1、分布式协调处理服务模块加载电网模型并以厂站为单位将电网模型拆分为多个数据处理单元，接收实时数据处理服务注册并为其分配数据处理单元，实时检测数据处理服务状态及负载情况，根据负载均衡策略动态调整数据处理单元分配情况，实现数据处理单元、实时数据处理服务的统一管理、统一协调；步骤2、实时数据处理服务是实时数据的业务处理模块，接受分布式协调服务模块的统一调度，其接收分布式协调服务模块下发的数据处理单元，启动数据处理线程并从消息总线订阅相关厂站实时消息，并完成消息处理。考虑到电力调控系统一般按站完成数据采集及传输，本专利技术提出以厂站为最小单位对电网模型进行拆分处理，将电网模型以厂站为单位拆分为多个数据处理单元，每个数据处理单元包含数个实时量测，一个数据处理单元可交由多个实时数据处理服务进行冗余处理，当实时数据处理服务异常时可快速交由其他数据处理服务进行处理。实时数据处理服务可采用集群化部署，一个实时数据处理服务同时处理多个数据处理单元，数据处理能力可以支持厂站级的线性扩展。本专利技术提出增加分布式协调处理服务模块，实现所有数据处理单元、实时数据处理服务的统一管理、统一协调，解决电力调控系统实时数据并行数据处理任务调度问题。分布式协调处理服务模块主要处理过程分以下四部分：(1)分布式协调处理服务模块初始运行时，根据副本数量配置信息将一个数据处理单元并行分配到多个实时数据处理服务，并选择一个实时数据处理服务作为此数据处理单元的主处理节点，其他实时数据处理服务作为辅处理节点，仅主处理节点数据对外发布。实时数据处理服务个数一般要求大于等于副本数量，否则无法分配足够多的副本。在这里，“副本数量”是指每个数据处理单元应该由多个实时数据处理服务冗余处理其相关数据，处理该数据处理单元数据的一个实时数据处理服务称为一个副本，同时处理同一个数据处理单元数据的实时数据处理服务个数称为“副本数量”。(2)当某一实时数据处理服务异常时，分布式协调处理服务模块自动将其处理的数据处理单元分配到其他实时数据处理服务，保证每个数据处理单元足够多的副本，分布式协调处理服务模块在对数据处理单元重新分配时需要根据各实时数据处理服务的负载情况进行负载均衡计算，避免各实时数据处理服务间出现较大的负载不均衡情况、以及数据处理服务节点超负载情况，当故障实时数据处理服务上的数据处理单元无法全部重新分配时，分布式协调处理服务模块自动发送告警事件请求运维人员干预。(3)当某一数据处理单元的主处理节点异常时，分布式协调处理服务模块自动将某一辅处理节点升级为主处理节点。极端情况下，当某一数据处理单元的所有处理节点同时故障时，分布式协调处理服务模块重新分配此数据处理单元到正常实时数据处理服务，并重新选择主处理节点，实现数据处理单元服务能力的快速恢复。(4)正常运行过程中，分布式协调处理服务模块根据实时数据处理服务注册变化情况，以及各实时数据处理服务的负载情况，动态调整数据处理单元分配，从负载较重的实时数据处理服务卸载数据处理单元，并重新分配到负载较轻的实时数据处理服务，充分保证实时数据并行处理的效率。本专利技术提出的实时数据处理服务采用被动任务接收模式，实时数据处理服务作为数据处理容器，服务启动时不加载电网模型，仅向分布式协调处理服务模块注册服务，等待分布式协调处理服务模块为其分配数据处理单元。分布式协调处理服务模块接收到实时数据处理服务注册后，根据内部负载均衡策略自动将部分数据处理单元分配到新的实时数据处理服务。本专利技术的有益效果：1)本专利技术提出了以厂站为单位构建数据处理单元，采用分布式协调处理服务模块解决电力调控系统实时数据并行数据处理任务调度问题，实现所有数据处理单元、实时数据处理服务的统一管理，数据处理任务统一分配、统一协调。2)本专利技术极大地提高了实时数据并行接入能力，理论上支持厂站级数据处理能力的线性扩展。附图说明图1是本专利技术的电力调控系统分布式实时数据处理的流程图。具体实施方式下面结合附图，对本专利技术的具体实施步骤进行详细描述。如图1所示，是本专利技术的电力调控系统分布式实时数据处理的流程图，具体包括以下步骤：步骤1、分布式协调处理服务模块加载电网模型并以厂站为单位将电网模型拆分为多个数据处理单元，接收实时数据处理服务注册并为其分配数据处理单元，实时检测数据处理服务状态及负载情况，根据负载均衡策略动态调整数据处理单元分配情况，实现数据处理单元、实时数据处理服务的统一管理、统一协调，其详细操作步骤如下：S1.1、分布式协调处理服务模块启动后加载电网模型；S1.2、以厂站为单位将电网模型拆分为多个数据处理单元；S1.3、同步启动数据处理单元管理线程、服务注册管理线程，启动数据处理单元管理线程后执行步骤S1.3.1，启动服务注册管理线程后执行步骤S1.3.2；S1.3.1、数据处理单元管理线程循环检测数据处理服务状态及服务负载情况，并接收服务注册管理线程发送的服务注册通知，根据负载均衡策略调整数据处理单元分配情况，并通知相应的数据处理服务，其具体操作步骤如下：S1.3.1.1、数据处理单元管理线程循环检测数据处理服务状态及负载信息；S1.3.1.2、判断是否有数据处理服务退出请求，如果是、转步骤S1.3.1.6，如果否、转下一步；S1.3.1.3、判断是否有数据处理服务注册请求，如果是、转步骤S1.3.1.5，如果否、转下一步；S1.3.1.4、判断各数据处理单元的冗余处理副本数量是否小于小于设定值，如果是、转步骤1.3.1.7，如果否、转下一步；S1.3.1.5、根据负载均衡策略进行一次负载均衡计算，判断是否需要进行负载均衡调整，如果是、转下一步，如果否、转步骤S1.3.1.1；S1.3.1.6、数据处理单元管理线程回收相应的本文档来自技高网...

【技术保护点】
1.电力调控系统分布式实时数据处理方法，其特征在于，包括以下步骤：步骤1、分布式协调处理服务模块加载电网模型并以厂站为单位将电网模型拆分为多个数据处理单元，接收实时数据处理服务注册并为其分配数据处理单元，实时检测数据处理服务状态及负载情况，根据负载均衡策略动态调整数据处理单元分配情况，实现数据处理单元、实时数据处理服务的统一管理、统一协调；步骤2、实时数据处理服务接受分布式协调服务模块的统一调度，其接收分布式协调服务模块下发的数据处理单元，启动数据处理线程并从消息总线订阅相关厂站实时消息，并完成消息处理。

【技术特征摘要】
1.电力调控系统分布式实时数据处理方法，其特征在于，包括以下步骤：步骤1、分布式协调处理服务模块加载电网模型并以厂站为单位将电网模型拆分为多个数据处理单元，接收实时数据处理服务注册并为其分配数据处理单元，实时检测数据处理服务状态及负载情况，根据负载均衡策略动态调整数据处理单元分配情况，实现数据处理单元、实时数据处理服务的统一管理、统一协调；步骤2、实时数据处理服务接受分布式协调服务模块的统一调度，其接收分布式协调服务模块下发的数据处理单元，启动数据处理线程并从消息总线订阅相关厂站实时消息，并完成消息处理。2.根据权利要求1所述的电力调控系统分布式实时数据处理方法，其特征在于，步骤1所述的分布式协调处理服务模块实现数据处理单元、实时数据处理服务的统一管理、统一协调的详细操作步骤如下：S1.1、分布式协调处理服务模块启动后加载电网模型；S1.2、以厂站为单位将电网模型拆分为多个数据处理单元；S1.3、同步启动数据处理单元管理线程、服务注册管理线程，启动数据处理单元管理线程后执行步骤S1.3.1，启动服务注册管理线程后执行步骤S1.3.2；S1.3.1、数据处理单元管理线程循环检测数据处理服务状态及服务负载情况，并接收服务注册管理线程发送的服务注册通知，根据负载均衡策略调整数据处理单元分配情况，并通知相应的数据处理服务；S1.3.2、服务注册管理线程接收实时数据处理服务注册请求，并通知数据处理单元管理线程有数据处理服务注册；S1.4、分布式协调处理服务模块执行过程中，如果接收到外部退出命令，开始退出所有线程，待所有线程退出后分布式协调处理服务模块退出。3.根据权利要求2所述的电力调控系统分布式实时数据处理方法，其特征在于，步骤S1.3.1的具体操作步骤如下：S1.3.1.1、数据处理单元管理线程循环检测数据处理服务状态及负载信息；S1.3.1.2、判断是否有数据处理服务退出请求，如果是、转步骤S1.3.1.6，如果否、转下一步；S1.3.1.3、判断是否有数据处理服务注册请求，如果是、转步骤S1.3.1.5，如果否、转下一步；S1.3.1.4、判断各数据处理单元的冗余处理副本数量是否小于小于设定值，如果是、转步骤1.3.1.7，如果否、转下一步；S1.3.1.5、根据负载均衡策略进行一次负载均衡计算，判断是否需要进行负载均衡调整，如果是、转下一步，如果否、转步骤S1.3.1.1；S1.3.1.6、数据处理单元管理线程回收相应的数据处理单元；S1.3.1.7、数据处理单元管理线程寻找可用的数据处理服务，并分配数据处理单元；S1.3.1.8、数据处理单元管理线程下发数据处理单元，转步骤S1.3.1.1，同时消息通知循环等待接收任务的实时数据处理服...

【专利技术属性】
技术研发人员：赵国建，梁君帅，林国春，王建功，刘吉铎，徐敏，
申请(专利权)人：积成电子股份有限公司，
类型：发明
国别省市：山东,37