一种基于消息机制的调度历史数据共享系统及其共享方法技术方案

本发明专利技术公开了一种基于消息机制的调度历史数据共享系统及其共享方法，该调度历史数据共享系统包括调度自动化系统、消息队列集群和电网综合监测运维系统；调度自动化系统向消息队列集群发送特定类型的历史数据或量测模型数据；电网综合监测运维系统从消息队列集群订阅所需的历史数据或量测模型数据，并提供基于消息机制的调度历史数据共享方法，本发明专利技术基于分布式消息队列集群，按数据类型特征分解成不同的历史数据服务，实现了调度自动化系统的历史数据共享。

【技术实现步骤摘要】
一种基于消息机制的调度历史数据共享系统及其共享方法
本专利技术涉及一种调度历史数据共享系统及其共享方法，尤其涉及一种基于消息机制的调度历史数据共享系统及其共享方法，属于电网调度自动化系统数据的共享

技术介绍
电网调度自动化系统是对电网系统实时数据信息进行采集和处理，实现实时计算、分析、控制、存储等功能的自动化管理系统。远动终端RTU采集电网运行的实时信息，经通信通道传输到主站，主站根据全网信息，对电网的运行状态进行安全性分析、自动控制来进行经济调度。随着时间推移，系统积累了海量宝贵的SCADA监测数据。其他业务系统需要基于SCADA基础数据进行业务分析时，一般都是采用WebService服务、数据库直连、ETL抽取、文件交换等方式完成数据交换，没有形成统一的数据发布服务解决方案，这些方式存在扩展性差、交互效率不高、安全性缺失等缺点。
技术实现思路
专利技术目的：本专利技术的第一目的为提供一种扩展性好、交互效率高、安全的基于消息机制的调度历史数据共享系统，本专利技术的第二目的为提供利用该调度历史数据共享系统的基于消息机制的调度历史数据共享方法。技术方案：本专利技术的基于消息机制的调度历史数据共享系统，包括调度自动化系统、消息队列集群和电网综合监测运维系统；调度自动化系统向消息队列集群发送特定类型的历史数据或量测模型数据；电网综合监测运维系统从消息队列集群订阅所需的历史数据或量测模型数据。进一步地，调度自动化系统包括非存量历史数据服务、存量历史数据服务、量测模型数据服务、时序数据库和关系数据库；电网综合监测运维系统包括设备在线监测系统、电量电能管理系统、运维自动化系统和电网仿真培训系统，非存量历史数据服务监测到量测实时值发生变化时，获取当前系统时间并存储到时序数据库，同时发送变化的量测实时值到消息队列集群；存量历史数据服务在从消息队列集群收到电网综合监测运维系统的数据请求时，根据请求数据类型和时段，在时序数据库中查到结果后，发送查询结果到消息队列集群；量测模型数据服务从关系数据库中查询量测模型数据后，发送查询结果到消息队列集群。优选的，非存量历史数据服务包括模拟量历史数据服务单元、状态量历史数据服务单元和累计量历史数据服务单元；存量历史数据服务提供模拟量、状态量、累计量在时序数据库中已经采集存储的历史数据的查询；量测模型数据服务提供模拟量、状态量、累计量在关系数据库中已存在全部记录的信息查询，采用定期或触发方式发送。进一步地，模拟量历史数据服务单元负责发送模拟量变化数据到消息队列集群；状态量历史数据服务单元负责发送状态量变化数据到消息队列集群；累计量历史数据服务单元负责发送累计量变化数据到消息队列集群。优选的，模拟量、状态量、累计量的原始值分别来自于Scada应用Scadamdl库Analog、Status和Accumulator；存量数据来自于时序数据库中已存在的AnalogTsdb、StatusTsdb和AccumulatorTsdb；量测模型数据来自于关系数据库中的HISMODEL_DICTIONARY、HISMODEL_OBJECT_IDKEY；模拟量、状态量、累计量、存量及量测模型数据作为5种不同类别特征的消息，对应5个Topic，分别为AnalogMes、StatusMes、AccumulatorMes、StockMes和MeasModelMes。本专利技术的基于消息机制的调度历史数据共享方法，利用基于消息机制的调度历史数据共享系统，包括以下步骤：(1)监测实时数据的变化或者接受存量数据的请求消息；(2)监测到实时变化数据后存储到时序数据库，并且进行消息组装后发送到消息队列集群；(3)接受到存量数据请求消息后查询时序数据库，并且进行消息组装后发送到消息队列集群；(4)定期扫描关系数据库中量测模型数据对象表，当到达设定周期或者检测到模型发生变化时组装查询结果后发送到消息队列集群。进一步地，时序数据库为PCS-9000时间序列数据库管理系统；消息队列集群为Kafka集群，由Kafka实例组成。有益效果：与现有技术相比，本专利技术具有如下显著优点：对调度自动化系统中的各类历史数据，提供了基于标准消息订阅的实时发布服务；相对于传统的历史数据共享方式，本专利技术基于异步通信实现服务双方解耦，保证了高扩展性和灵活性，提供数据冗余的同时大幅提升峰值处理能力。附图说明图1为本专利技术的基于消息机制的调度历史数据共享系统及其共享方法示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例，对本专利技术进行进一步详细说明。如图1所示，本专利技术提供了一种基于消息机制的调度历史数据共享系统，包括调度自动化系统、消息队列集群、电网综合监测运维系统；调度自动化系统作为消息生产者，负责向消息队列集群发送特定类型的历史数据或量测模型数据；电网综合监测运维系统作为消息消费者，负责从消息队列集群订阅所需的历史数据或量测模型数据。调度自动化系统包括非存量历史数据服务、存量历史数据服务、量测模型数据服务、时序数据库、关系数据库；电网综合监测运维系统包括设备在线监测系统、电量电能管理系统、运维自动化系统、电网仿真培训系统。非存量历史数据服务监测到量测实时值发生变化，获取系统当前时间，存储到时序数据库，同时发送变化的数据到消息队列集群；实时值发生变化的标准对于不同的量测数据类型是不同的，如果是浮点数，当值变化超过设定的阈值认为发生变化，如果是整型，当本次值与上次值不一样认为发生变化，如果是BitContainer类型，当BitContainer中任意一位状态发生变化认为BitContainer的值发生变化。存量历史数据服务在从消息队列集群收到电网综合监测运维系统的数据请求时，根据请求数据类型和时段，在时序数据库中查到结果后，发送查询结果到消息队列集群；数据请求的内容包括数据类型值组合，为模拟量、状态量、累计量或者任意组合，值的个数范围为1～3，不同类型值之间用符号&连接；每种数据类型对应有数据类型值、开始时间、结束时间、量测列表四个信息，其中量测列表为空则表示获取所有量测的数据；查询结果的内容组织成消息分为消息头、消息体，其中消息头包括消息总长度、记录总数目、发送时标、发送节点字节序，消息体有1～3个消息体子头和消息体子内容的集合。消息体子头包括子数据类型、子记录总长度、子记录总数目，消息体子内容为对应数据类型查询记录结果的集合，包括编码、时间、值的循环组合，格式为编码1，时间1，值1到编码t，时间t，值t；量测模型数据服务从关系数据库中查询量测模型数据后，发送查询结果到消息队列集群，查询结果的消息体内容为量测编码、量测类型、量测名称、量测路径、量测所属大类、量测是否有效等内容的集合。非存量历史数据服务包括模拟量历史数据服务单元、状态量历史数据服务单元、累计量历史数据服务单元；存量历史数据服务提供模拟量、状态量、累计量在时序数据库中已经采集存储的历史数据的查询；量测模型数据服务提供本文档来自技高网...

【技术保护点】
1.一种基于消息机制的调度历史数据共享系统，其特征在于：包括调度自动化系统、消息队列集群和电网综合监测运维系统；调度自动化系统向消息队列集群发送特定类型的历史数据或量测模型数据；电网综合监测运维系统从消息队列集群订阅所需的历史数据或量测模型数据。/n

【技术特征摘要】
1.一种基于消息机制的调度历史数据共享系统，其特征在于：包括调度自动化系统、消息队列集群和电网综合监测运维系统；调度自动化系统向消息队列集群发送特定类型的历史数据或量测模型数据；电网综合监测运维系统从消息队列集群订阅所需的历史数据或量测模型数据。


2.根据权利要求1所述基于消息机制的调度历史数据共享系统，其特征在于：所述调度自动化系统包括非存量历史数据服务、存量历史数据服务、量测模型数据服务、时序数据库和关系数据库；所述电网综合监测运维系统包括设备在线监测系统、电量电能管理系统、运维自动化系统和电网仿真培训系统。


3.根据权利要求2所述基于消息机制的调度历史数据共享系统，其特征在于：所述非存量历史数据服务监测到量测实时值发生变化时，获取当前系统时间并存储到时序数据库，同时发送变化的量测实时值到消息队列集群；所述存量历史数据服务在从消息队列集群收到电网综合监测运维系统的数据请求时，根据请求数据类型和时段，在时序数据库中查到结果后，发送查询结果到消息队列集群；所述量测模型数据服务从关系数据库中查询量测模型数据后，发送查询结果到消息队列集群。


4.根据权利要求2所述基于消息机制的调度历史数据共享系统，其特征在于：所述非存量历史数据服务包括模拟量历史数据服务单元、状态量历史数据服务单元和累计量历史数据服务单元；所述存量历史数据服务提供模拟量、状态量、累计量在时序数据库中已经采集存储的历史数据的查询；所述量测模型数据服务提供模拟量、状态量、累计量在关系数据库中已存在全部记录的信息查询，采用定期或触发方式发送。


5.根据权利要求4所述基于消息机制的调度历史数据共享系统，其特征在于：所述模拟量历史数据服务单元负责发送模拟量变化数据到消...

【专利技术属性】
技术研发人员：常夏勤，孙超，顾全，陆鑫，徐丹，艾文凯，刘云久，
申请(专利权)人：南京南瑞继保电气有限公司，南京南瑞继保工程技术有限公司，
类型：发明
国别省市：江苏;32