一种多专业、大容量实时数据采集方法技术

本发明专利技术公开一种多专业、大容量实时数据采集方法，将大型SCADA系统的数据采集子系统功能部署在N台IO服务器上，N为大于1的自然数，采用1主(N-1)热备冗余模式，组成数据采集服务器集群，综合考虑各个数据采集任务的约束条件和服务器状态，动态调整任务在各服务器上运行的优先级，将其分配到优先级最高的服务器上并行运行；通讯协议采用软插件形式实例化成“车间流水线”上的“工人”，各条“流水线”采用多线程和多进程相结合方式并行，提高数据的吞吐能力和通讯可靠性。此方法可提高通讯的冗余度和可靠性，并通过多个流水线并行模式，大大提高数据交互的吞吐能力。

【技术实现步骤摘要】

本专利技术应用于大型工业高耗能企业能源管控系统，也可以应用于企业信息管理系统，为一种跨专业、大容量实时数据采集方法。
技术介绍
能源管控系统，即Energy Management System (简称EMS),是企业信息化系统的一个重要组成部分，它的主要功能是实现能源系统分散的数据采集和控制、集中的管理调度和能源供需平衡，以及实现所需能源预测，为在生产全过程中实现较好的节能、降耗和环保的目标创造条件，即对生产能源数据进行采集、加工、分析、处理，以实现对能源设备、能源实绩、能源计划、能源平衡、能源预测等全方位的监控和管理功能，达到企业节能增效的目的。十二五规划中，在“制造业发展重点方向”上，着重提出“重点推广能源管控系统技术和高温高压干熄焦、余热综合利用、烧结烟气脱硫等节能减排技术”，希望通过能源管控系统的实施，推进企业系统性综合节能减排技术，充分利用二次能源，减少污染物的排放，提高企业经济效益，实现企业精细化管理。能源管控系统涉及的子系统比较多，包括电力远动机、DCS系统、PLC系统等，由于各个子系统分布在全厂各处，且数据采集点比较多，因此能源中心需要与各个子系统建立数据通信。目前普遍的通讯方法有三种形式(1)由能源中心的IO服务器同时与子系统建立通讯链路，这种方法需要IO服务器上具有子系统的数据驱动；(2)不少DCS系统提供了OPC接口，通过OPC服务器对下集中采集子系统数据，并转发给能源中心IO服务器；(3)在子站位置部署采集网关设备，对下采集子系统数据，对上统一转发给能源中心IO服务器，这种方式与第(2)种方式的区别是采用了硬件网关设备，对上转发不一定采用OPC方式，支持常用的通信协议，如DNP、Modbus等。为达到高冗余度和高可靠性，在IO服务器侧，需要处理多个IO服务器对下的通讯方式。现有的资料显示，虽然现在有考虑到冗余性的数据通信方法，但是还是存在一定的缺陷，原因如下 第一、IO服务器虽然采用冗余配置，但是在单个IO服务器上运行的任务并没有根据集群中各服务器负载状况合理调度，没有实现负载均衡，从而导致在数据量大的时候，服务器负载比较重； 第二、对于一个子系统的通讯，为保证可靠性，往往在所有IO服务器都建立通讯链路，这样一方面消耗了服务器端的资源，另外一方面也增加了子系统通讯的负担。而没有根据IO服务器的状态统一调度，由一个IO服务器与子系统通信，如果发生故障，通信自动切换到另外一台服务器上，实现通道按口值班； 第三、通讯协议插件更新不方便，需要停止所有在运行通道，无法实现在线更新，这对于能源管控系统影响很大。基于以上分析，目前需要一种效果较好的数据采集方法，本案由此产生。本专利技术涉及的名词定义如下 节点 与IO服务器同一概念，指集群中的一员。通道表示一条数据通讯链路。包括网络链路层、应用层数据交互和处理。
技术实现思路
本专利技术的目的，在于提供，其可提高通讯的冗余度和可靠性，并通过多个流水线并行模式，大大提高数据交互的吞吐能力。为了达成上述目的，本专利技术的解决方案是 ，将大型SCADA系统的数据采集子系统功能部署在N台IO服务器上，N为大于I的自然数，采用I主(N-I)热备冗余模式，组成数据采集服务器集群，综合考虑各个数据采集任务的约束条件和服务器状态，动态调整任务在各服务器上运行的优先级，将其分配到优先级最高的服务器上并行运行；通讯协议采用软插件形式实例化成“车间流水线”上的“工人”，各条“流水线”采用多线程和多进程相结合方式并行，提高数据的吞吐能力和通讯可靠性。 上述数据采集服务器集群的工作方式是数据采集应用在集群中各IO服务器上同时部署，一台IO服务器值班，其余的IO服务器备用；10服务器之间通过网络心跳报文来实时监测彼此的状态，网络心跳报文正常采用UPD方式发送，在出现异常时，采用TCP方式发送；每台IO服务器上都有一个系统信息库，实时保存集群中个节点的状态和参数；一台IO服务器故障时，在其上面运行的所有任务都会被自动分配到其它服务器上。根据以下调度策略分配IO服务器的数据采集任务；根据数据采集任务在IO服务器上的初始优先级，结合该任务在该IO服务器上中断的次数和时间，以及当前的运行状态，自动调节任务在该IO服务器上的优先级，并根据优先级决定任务部署在哪个IO服务器。 上述数据采集服务器集群中的每一路数据通讯均定义其所属进程编号，进程启动后，自动创建单独的线程来实现数据通讯；相同进程编号的数据通讯任务在同一个进程中、不同的线程独立运行。上述数据采集服务器集群中的每一路数据通讯的协议都是采用软插件方式，即每一个通讯协议都以动态库插件形式存在，在数据通讯任务启动时，自动将软插件实例化，从而开始处理各种数据。上述数据采集服务器集群中的数据通讯采用“车间流水线”模式，“流水线”上的“工人”为具有各种协议处理能力的功能插件，当通讯开始时，每个插件实例化，形成流水线上的“工人”；“工人”处理报文有先后顺序，依照工序处理报文。采用上述方案后，本专利技术具有以下有益效果 (1)本专利技术提供了一种可靠的、跨专业、大容量实时数据采集方法，通过本专利技术，解决能源管控系统实施过程中的多专业大容量数据采集可靠性和冗余度低且数据吞吐量不大问题； (2)本专利技术采用灵活分布式采集模式、多进程和多线程方法相结合的方式，在线软插件技术，均衡负载的通讯调度策略，达到不同系统、不同专业数据同时并行工作，采集通道互为冗余备用，高性能、高吞吐量采集数据的目标； (3)本专利技术解决了能源管控系统日益增多的数据采集而导致服务器负载过高的缺陷，为工业企业能源管控系统对不同专业数据采集提供了一种可靠的、高性能手段。附图说明图I是本专利技术中IO服务器集群的网络配置 图2是本专利技术中节点调度的流程 图3是本专利技术中通道调度的流程 图4是本专利技术中通讯软件的原理图。具体实施例方式以下将结合附图，对本专利技术的技术方案进行详细说明。本专利技术提供，包括如下步骤 (I)将至少2台IO服务器组成通信集群，假设共有N台IO服务器，采用I主(N-I)热备冗余模式组成数据采集服务器集群，专门负责对下通信，也即一台IO服务器值班，其余的IO服务器备用，各子系统通信任务由IO服务器集群统一调度，合理分配资源，达到冗余度高的目的，同时还可减少子系统端的负担，防止子系统故障。典型的网络配置图可配合图I所示，以三台IO服务器为例，三台IO服务器组成数据采集服务器集群，整个IO服务器集群共享采集数据，在每台服务器上分别部署系统管理应用和数据采集应用，系统管理应用负责进行集群管理和应用状态管理。包括集群中IO服务器配置、网络状态监视、负载状况监视、硬盘空余容量监视、CPU监视、以及数据采集应用状态监视和管理。数据采集应用主要来实现数据采集功能。数据采集应用在集群中采用I值班2备用的模式，即I台IO服务器值班，所有采集数据都汇集到该服务器上，并由该服务器再同步到其他服务器上。备用服务器接受值班服务器的数据同步，并在值班服务器出现故障时，由系统管理应用调度，自动切换到值班状态。(2)根据节点调度策略控制各节点的任务状态； 配合图2所示，各节点之间通过网络心跳报文来实时监测彼此的状态，网络心跳报文正常采用UPD方式发送，在出现异常时，采用TCP方式发送；每个节本文档来自技高网...

【技术保护点】
一种多专业、大容量实时数据采集方法，其特征在于：将大型SCADA系统的数据采集子系统功能部署在N台IO服务器上，N为大于1的自然数，采用1主(N？1)热备冗余模式，组成数据采集服务器集群，综合考虑各个数据采集任务的约束条件和服务器状态，动态调整任务在各服务器上运行的优先级，将其分配到优先级最高的服务器上并行运行；通讯协议采用软插件形式实例化成“车间流水线”上的“工人”，各条“流水线”采用多线程和多进程相结合方式并行，提高数据的吞吐能力和通讯可靠性。

【技术特征摘要】
1.一种多专业、大容量实时数据采集方法，其特征在于将大型SCADA系统的数据采集子系统功能部署在N台IO服务器上，N为大于I的自然数，采用I主(N-I)热备冗余模式，组成数据采集服务器集群，综合考虑各个数据采集任务的约束条件和服务器状态，动态调整任务在各服务器上运行的优先级，将其分配到优先级最高的服务器上并行运行；通讯协议采用软插件形式实例化成“车间流水线”上的“工人”，各条“流水线”采用多线程和多进程相结合方式并行，提高数据的吞吐能力和通讯可靠性。2.如权利要求I所述的一种多专业、大容量实时数据采集方法，其特征在于所述数据采集服务器集群的工作方式是数据采集应用在集群中各IO服务器上同时部署，一台IO服务器值班，其余的IO服务器备用；10服务器之间通过网络心跳报文来实时监测彼此的状态，网络心跳报文正常采用UPD方式发送，在出现异常时，采用TCP方式发送；每台IO服务器上都有一个系统信息库，实时保存集群中个节点的状态和参数；一台IO服务器故障时，在其上面运行的所有任务都会被自动分配到其它服务器上。3.如权利要求2所述的一种多专业、大容量实时数据采集方法，其特征在于根据以下...

【专利技术属性】
技术研发人员：姜彬，李华，施志良，湛峰，杨骥，顾全，李九虎，
申请(专利权)人：南京南瑞继保电气有限公司，南京南瑞继保工程技术有限公司，
类型：发明
国别省市：