针对主配一体化系统的海量实时数据分布式处理方法及系统技术方案

本发明专利技术公开了一种针对主配一体化系统的海量实时数据分布式处理方法，将所有服务器上的主网模型都划分成多个分区，所有服务器上的配网模型也划分成多个分区；每个分区使用独立的消息通道，对各个消息通道发送遥测和遥信数据；服务器上的每个分区对应于一个进程，一个进程内部包含多个线程，采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理。此外，本发明专利技术还公开了一种基于主配一体化系统的海量实时数据分布式处理系统。本发明专利技术极大地提高了主配一体化系统的实时数据处理效率。

【技术实现步骤摘要】
针对主配一体化系统的海量实时数据分布式处理方法及系统
本专利技术涉及电力系统领域，特别是涉及针对主配一体化系统的海量实时数据分布式处理方法及系统。
技术介绍
目前国内电网调度自动化系统实时数据处理方法均采用单机集中式的处理方法，但随着电网规模不断扩大，特别是配电自动化的快速发展，配网实时数据吞吐量不断增长，集中式处理方法已经无法满足实时数据处理的性能要求，系统实时性无法得到保证。
技术实现思路
专利技术目的：本专利技术的目的是提供一种针对主配一体化系统的海量实时数据分布式处理方法及系统，能够满足实时数据处理的性能要求。技术方案：本专利技术所述的针对主配一体化系统的海量实时数据分布式处理方法，将所有服务器上的主网模型都划分成多个分区，所有服务器上的配网模型也划分成多个分区；每个分区使用独立的消息通道，对各个消息通道发送遥测和遥信数据；服务器上的每个分区对应于一个进程，一个进程内部包含多个线程，采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理。进一步，监视各服务器的资源使用情况，将资源利用率高于阈值的服务器上的分区的数据转移到资源利用率低于阈值的服务器上的分区进行处理。这样有利于实现负载均衡。进一步，分区内部，根据上一个时间窗口内计算得到的实时数据吞吐率还调整线程的数量：如果吞吐率高于阈值，则增加线程；否则，则减少线程。这样能够实现变频处理，能够充分利用系统资源。进一步，对于需要跨分区处理的数据，由位于中心的分区完成跨分区协同处理任务。进一步，对于线路对端不在本分区的线端量测，将量测数据通过消息总线发送至位于中心的分区进行统一判断：如果此量测不是替代量测，则位于中心的分区通过消息总线将处理后的数据发回原分区；如果此量测是替代量测，则位于中心的分区通过消息总线将替代结果发送至被替代量测所在分区进行处理。这样保证了分区数据安全可靠。进一步，所述主网模型以厂站为最小单位进行分区，配网模型以馈线为最小单位进行分区。这样方便维护主网和配网模型信息。进一步，各个分区将处理完的遥信数据写入本地实时库。这样可提高遥信数据的处理效率。进一步，对于线路对端在本分区的线端量测，在本地直接完成处理，并将处理结果写入本地实时库。这样可提高线端量测的处理效率。本专利技术所述的针对主配一体化系统的海量实时数据分布式处理系统，包括：模型分区模块：将所有服务器上的主网模型都划分成多个分区，所有服务器上的配网模型也划分成多个分区；每个分区使用独立的消息通道；数据采集模块：对各个消息通道发送遥测和遥信数据；服务器：服务器上的每个分区对应于一个进程，一个进程内部包含多个线程，采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理。进一步，还包括：分布式管理模块：监视各服务器的资源使用情况，将资源利用率高于阈值的服务器上的分区的数据转移到资源利用率低于阈值的服务器上的分区进行处理。这样有利于实现负载均衡。有益效果：本专利技术公开了针对主配一体化系统的海量实时数据分布式处理方法及系统，将数据分布到各个分区进行处理，每个分区对应一个进程，进程内部包含多个线程，采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理，极大地提高了电力调度自动化系统的实时数据处理效率。附图说明图1为本专利技术具体实施方式中方法的原理框图；图2为本专利技术具体实施方式中遥测遥信变频处理的示意图。具体实施方式下面结合具体实施方式和附图，对本专利技术的技术方案进行进一步的介绍。本具体实施方式公开了针对主配一体化系统的海量实时数据分布式处理方法，如图1所示，将所有服务器上的主网模型都以厂站为最小单位划分成多个分区，所有服务器上的配网模型都以馈线为最小单位划分成多个分区。每个分区使用独立的消息通道，对各个消息通道发送遥测和遥信数据。服务器上的每个分区对应于一个进程，一个进程内部包含多个线程，采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理。此外，还监视各服务器的资源使用情况，将资源利用率高于阈值的服务器上的分区的数据转移到资源利用率低于阈值的服务器上的分区进行处理。如图2所示，分区内部，根据上一个时间窗口内计算得到的实时数据吞吐率还调整线程的数量：如果吞吐率高于阈值，则增加线程；否则，则减少线程。这样能够实现变频处理，能够充分利用系统资源。由于以厂站或馈线为粒度进行分区，分区之间的遥信数据相互独立，各分区的遥信处理进程之间不需要进行交互就可以完成全部处理流程，因此，各个分区将处理完的遥信数据写入本地实时库即可。对于不涉及到跨分区处理的数据，例如线路对端在本分区的线端量测，在本地直接完成处理，并将处理结果写入本地实时库。对于需要跨分区处理的数据，由位于中心的分区完成跨分区协同处理任务。对于线路对端不在本分区的线端量测，将量测数据通过消息总线发送至位于中心的分区进行统一判断：如果此量测不是替代量测，则位于中心的分区通过消息总线将处理后的数据发回原分区；如果此量测是替代量测，则位于中心的分区通过消息总线将替代结果发送至被替代量测所在分区进行处理。本具体实施方式还公开了针对主配一体化系统的海量实时数据分布式处理系统，包括：模型分区模块：将所有服务器上的主网模型都划分成多个分区，所有服务器上的配网模型也划分成多个分区；每个分区使用独立的消息通道；数据采集模块：对各个消息通道发送遥测和遥信数据；服务器：服务器上的每个分区对应于一个进程，一个进程内部包含多个线程，采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理；分布式管理模块：监视各服务器的资源使用情况，将资源利用率高于阈值的服务器上的分区的数据转移到资源利用率低于阈值的服务器上的分区进行处理。这样有利于实现负载均衡。本文档来自技高网...

【技术保护点】
1.针对主配一体化系统的海量实时数据分布式处理方法，其特征在于：将所有服务器上的主网模型都划分成多个分区，所有服务器上的配网模型也划分成多个分区；每个分区使用独立的消息通道；对各个消息通道发送遥测和遥信数据；服务器上的每个分区对应于一个进程，一个进程内部包含多个线程；采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理。

【技术特征摘要】
1.针对主配一体化系统的海量实时数据分布式处理方法，其特征在于：将所有服务器上的主网模型都划分成多个分区，所有服务器上的配网模型也划分成多个分区；每个分区使用独立的消息通道；对各个消息通道发送遥测和遥信数据；服务器上的每个分区对应于一个进程，一个进程内部包含多个线程；采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理。2.根据权利要求1所述的针对主配一体化系统的海量实时数据分布式处理方法，其特征在于：监视各服务器的资源使用情况，将资源利用率高于阈值的服务器上的分区的数据转移到资源利用率低于阈值的服务器上的分区进行处理。3.根据权利要求1所述的针对主配一体化系统的海量实时数据分布式处理方法，其特征在于：所述主网模型划分成的分区内部和配网模型划分成的分区内部，均根据上一个时间窗口内计算得到的实时数据吞吐率还调整线程的数量：如果吞吐率高于阈值，则增加线程；否则，则减少线程。4.根据权利要求1所述的针对主配一体化系统的海量实时数据分布式处理方法，其特征在于：对于需要跨分区处理的数据，由位于中心的分区完成跨分区协同处理任务。5.根据权利要求4所述的针对主配一体化系统的海量实时数据分布式处理方法，其特征在于：对于线路对端不在本分区的线端量测，将量测数据通过消息总线发送至位于中心的分区，以使位于中心的分区进行统一判断：如果此量测不是替代量测，则位于中心的分区通过...

【专利技术属性】
技术研发人员：吴奕，葛文林，孙世明，苏标龙，唐元合，周济，李晨，余璟，吴海伟，陈兵，张明，苏光，张怡然，周福，陈国亮，
申请(专利权)人：国电南瑞科技股份有限公司，国家电网有限公司，国网江苏省电力有限公司，国电南瑞南京控制系统有限公司，南瑞集团有限公司，
类型：发明
国别省市：江苏,32