一种流程工业生产系统数据采集方法技术方案

本发明专利技术公开了一种流程工业生产系统数据采集方法，属于流程工业系统信息化及自动化领域。本发明专利技术包含数据抽取和推送驱动的准备，接口适配器服务、数据抽取驱动、数据推送驱动以及接口适配器客户端的部署，创建数据传输的通道，建立对应关系表和启动数据传输通道5个步骤。本发明专利技术解决了流程工业行业典型生产环境下，大量生产系统数据的实时采集问题。

【技术实现步骤摘要】

本专利技术属于流程工业信息化及自动化领域，主要涉及流程工业生产系统数据采集的方法。
技术介绍
随着流程工业信息化、自动化水平的不断提高，支撑流程工业各项业务运行的生产系统也日益增多。以电力行业为例，涵盖发电、输电、变电、配电、用电和调度各环节的生产系统多达上百种。为了提高生产各环节运转效率，各系统间有着强烈的数据访问需求。一个通常的做法就是建立数据中心，将各类生产系统实时/历史数据汇集至数据中心，由数据中心提供统一对外的访问接口，使各个系统能够灵活访问到所需的数据。建设数据中心一个核心环节就是数据汇聚，即将各类生产系统实时/历史数据采集至数据中心这一过程，而通常各类生产系统的数据源类型不一，既包含了各类主流实时数据库和关系数据库，又有诸如IEC104、OPC、Modbus等通用工业通信规约。因此，如何将覆盖多种类型的数据源端的实时/历史数据高效和稳定的采集至数据中心是建立数据中心关键的问题。现有的数据中心数据采集方式较为单一。针对关系数据库，一种是数据库厂商自带的数据采集工具，如Oracle的warehousebuilder、DataIntegrator等，另外一种是第三方工具提供商，如Kettle等。而对于实时数据库，仅有的方法就是通过实时数据库厂商自带的数据采集工具，如PI的ICU，海迅的HS2HS、PI2HS等；对于工业通信规约，则只能针对每种类型的规约开发相应的客户端程序，通过与规约服务端的通信来获取数据。无论是使用厂商提供的工具还是自主开发客户端程序，均只能从单一数据源获取数据，即使使用第三方工具能够获取多种类型的关系数据库数据，对于实时数据库和工业通信规约也无能为力。目前现有的关于数据采集和迁移方面的专利技术专利主要有CN101154146“数据迁移方法及信息处理系统”，CN102135963A“数据迁移的方法和系统”和CN102970328A“电力行业典型生产系统在线数据迁移方法技术”。但这些专利技术专利主要用于解决现有的数据迁移方法效率低等技术问题，并未考虑在流程工业生产环境下多种类型数据源的情况，通用性有待进一步加强。同时，由于数据源端的种类多样和数量庞大，数据采集通道的运行状况也需要进行自主监控，能够实时的反应出数据采集和传输过程中的异常状况。
技术实现思路
本专利技术目的是：针对现有技术中的不足，解决解决流程工业系统生产环境下，数据协议类型繁多并且数量众多的生产系统的数据采集问题，提供一种流程工业生产系统数据采集方法，从而能够在确保现有生产系统在线运行的前提下，高效、安全、稳定的数据采集。具体地说，本专利技术是采用以下技术方案实现的，包括以下步骤：1)准备各生产系统的源端数据抽取驱动和目标端的数据推送驱动，所述数据抽取驱动用于针对生产系统不同的数据源进行统一的数据获取、并将获取到的数据以约定的标准格式传输给接口适配器服务，所述数据推送驱动用于接收接口适配器服务发送过来的数据、并将其写入目标端；2)部署接口适配器服务、数据抽取驱动、数据推送驱动以及接口适配器客户端，所述接口适配器服务负责将从抽取驱动接收的数据有序分发至数据推送驱动以及所有采集通道和数据的管理，所述接口适配器客户端用于操作和显示所有数据采集通道和数据传输对应关系以及采集实时状况；3)创建数据传输的通道，该通道的信息包含了数据源端和目的端的地址、端口和数据存储类型，根据这些信息抽取和推送驱动能够分别从源端获取数据和将数据写入目标端；4)在传输通道内建立源端到目的端的测点对应关系表，并通过接口适配器客户端导入至接口适配器服务中，所述对应关系表记录了源端和目标端数据库各自测点的基本属性结构，通过该对应关系，接口适配器服务能够准确无误的分配抽取和推送驱动将源端的数据采集、传输并存储至目标端；5)启动数据传输通道，数据传输通道启动后，抽取驱动连接源端进行数据获取，并按照约定的标准格式发送给接口适配器服务；接口适配器服务将接收到的数据转转发给抽取驱动，抽取驱动连接目标端，并根据测点对应关系将数据发送给相应目标端进行测点存储，接口适配器服务实时跟踪通道的状态信息，协调抽取和推送驱动工作。上述技术方案的进一步特征在于，所述接口适配器服务的配置参数包括IP地址、端口号以及工作目录，其中IP地址和端口号用于与接口适配器客户端、抽取和推送驱动的连接交互，工作目录用于存储包括通道和数据对应关系在内的元数据信息。上述技术方案的进一步特征在于，抽取驱动和推送驱动的启动参与均由接口适配器服务自主分配并启动。本专利技术的有益效果如下：本专利技术适用于流程工业尤其是电力、石化等行业数据中心的数据采集，多生产系统间的数据融合场景，数据从采集、清洗、传输、存储各环节分离，并由接口适配器服务全程跟踪，故障定位更加容易。本专利技术进行统一的数据采集，能够支持关系数据库、实时数据库、各类工业通信协议的数据采集。本专利技术解决了流程工业行业典型生产环境下，大量生产系统数据的实时采集问题，能够确保在现有系统稳定运行的基础上进行数据采集，接口适配器服务针对数据传输的各环节进行监控，大大地减少了系统运维人员的工作强度和提高了问题排查解决的效率。附图说明图1是多系统数据采集部署框架结构图。具体实施方式下面结合实施例并参照附图对本专利技术作进一步详细描述。本专利技术主要涉及四个部分：第一部分是数据抽取驱动，该部分的功能是统一数据通讯标准和接口，针对生产系统不同的数据源进行统一的数据获取，并将获取到的数据以标准的通信规约传输给接口适配器服务；第二部分是接口适配器服务，该部分是本专利技术的核心，负责将从抽取驱动接收的数据有序分发至数据推送驱动，同时还负责所有采集通道和数据的管理，包括采集通道的增删改查及运行状况监视、数据从源端到目的端的正确高效传输保证和监视等，在数据采集通道和传输对应关系的自动配置、数据抽取和推送驱动的运行管理、实时/历史数据传输优先级的自动管理和异常处理等方面具有较强的自主管理能力；第三部分是数据推送驱动，该部分的功能是接收接口适配器服务发送过来的数据，并将其写入目标端；第四部分是接口适配器客户端，用于图形操作所有数据采集通道和数据传输对应关系，同时显示所有数据采集通道和数据采集实时状况。本专利技术的方法步骤如下：步骤A：准备各生产系统使用的源端(业务系统)数据抽取驱动和目标端(数据中心)使用的数据推送驱动。主流关系库、实时数据库和工业通信规约均有现成的数据本文档来自技高网...

【技术保护点】
一种流程工业生产系统数据采集方法，其特征在于，包括以下步骤：1）准备各生产系统的源端数据抽取驱动和目标端的数据推送驱动，所述数据抽取驱动用于针对生产系统不同的数据源进行统一的数据获取、并将获取到的数据以约定的标准格式传输给接口适配器服务，所述数据推送驱动用于接收接口适配器服务发送过来的数据、并将其写入目标端；2）部署接口适配器服务、数据抽取驱动、数据推送驱动以及接口适配器客户端，所述接口适配器服务负责将从抽取驱动接收的数据有序分发至数据推送驱动以及所有采集通道和数据的管理，所述接口适配器客户端用于操作和显示所有数据采集通道和数据传输对应关系以及采集实时状况； 3）创建数据传输的通道，该通道的信息包含了数据源端和目的端的地址、端口和数据存储类型，根据这些信息抽取和推送驱动能够分别从源端获取数据和将数据写入目标端；4）在传输通道内建立源端到目的端的测点对应关系表，并通过接口适配器客户端导入至接口适配器服务中，所述对应关系表记录了源端和目标端数据库各自测点的基本属性结构，通过该对应关系，接口适配器服务能够准确无误的分配抽取和推送驱动将源端的数据采集、传输并存储至目标端；5）启动数据传输通道，数据传输通道启动后，抽取驱动连接源端进行数据获取，并按照约定的标准格式发送给接口适配器服务；接口适配器服务将接收到的数据转转发给抽取驱动，抽取驱动连接目标端，并根据测点对应关系将数据发送给相应目标端进行测点存储，接口适配器服务实时跟踪通道的状态信息，协调抽取和推送驱动工作。...

【技术特征摘要】
1.一种流程工业生产系统数据采集方法，其特征在于，包括以下步骤：
1）准备各生产系统的源端数据抽取驱动和目标端的数据推送驱动，所述数据抽取驱动用于针对生产系统不同的数据源进行统一的数据获取、并将获取到的数据以约定的标准格式传输给接口适配器服务，所述数据推送驱动用于接收接口适配器服务发送过来的数据、并将其写入目标端；
2）部署接口适配器服务、数据抽取驱动、数据推送驱动以及接口适配器客户端，所述接口适配器服务负责将从抽取驱动接收的数据有序分发至数据推送驱动以及所有采集通道和数据的管理，所述接口适配器客户端用于操作和显示所有数据采集通道和数据传输对应关系以及采集实时状况；
3）创建数据传输的通道，该通道的信息包含了数据源端和目的端的地址、端口和数据存储类型，根据这些信息抽取和推送驱动能够分别从源端获取数据和将数据写入目标端；
4）在传输通道内建立源端到目的端的测点对应关系表，并通过接口适配器客户端导入至接口适配器服务中，所述对应关系表记...

【专利技术属性】
技术研发人员：王想，陈昌凤，陈亚，杨一冰，
申请(专利权)人：江苏瑞中数据股份有限公司，
类型：发明
国别省市：江苏;32