一种钢铁企业数据中心异构数据的处理系统技术方案

一种钢铁企业数据中心异构数据的处理系统，属于钢铁企业数据采集技术领域。包含系统内核模块、数据采集模块以及外围设备及系统三部分。内核模块与数据采集模块均部署在服务器，外围设备及系统通过以太网连接至数据采集模块所部署的服务器，数据采集模块所部署的服务器通过以太网连接至内核模块所部署的服务器。内核模块定义了数据转换规约，根据规约将源数据对象转化为目标数据对象，定义了数据采集转发机制，根据采集转发机制周期或非周期地将采集源数据并转发给数据目标。优点在于，打破了数据交换之间的壁垒，解决了工业企业尤其是特钢企业数据中心异构数据源之间无法进行数据集成、数据共享的问题；能够降低数据交换的时延，提高数据交换实时性、稳定性和可靠性。

A heterogeneous data processing system in data center of iron and steel enterprises

【技术实现步骤摘要】
一种钢铁企业数据中心异构数据的处理系统
本专利技术属于钢铁企业数据采集
，特别是一种钢铁企业数据中心异构数据的处理系统，钢铁企业不同数据源的生产数据的采集系统，适合多系统、多协议、多数据源的异构数据的采集、转换、转发。
技术介绍
异构数据广义上是指数据结构、存取方式、形式不一样的多种数据。对于钢铁企业，其生产自动化设备来自不同的设备提供厂家，各个设备之间通信协议、数据规约存在着很大的差异；产品的物流系统中存储着大量原材料的领料、交接，在产品的生产、中转以及成品的存储、出库等物流数据；检化验系统中存储着原材料的元素组成成分等化验数据；钢铁企业的生产指挥中心通过指挥系统为各分厂下达生产计划，各分厂又为各工段下达具体的作业计划，这些计划大多数是以Excel等文档形式存储；以及企业中各个员工的信息等等，这些共同构成了钢铁企业的数据中心。而这些数据的存储方式可能是文档、视频或者图片，或者存储在MySQL、Oracle等异构数据源中。在钢铁企业中存在着以下三种数据交换的场景，从仪器仪表、传感器等设备中采集的实时数据，从实时数据库、SCADA软件等系统中抽取历史数据，以及EMS、ERP等业务系统中业务数据的交换。多种异构数据源之间由于通讯协议、数据规约的不同，在数据交换上存在着壁垒，严重阻碍了企业数据的集成和共享，制约了钢铁企业信息化的发展。因此，对于钢铁企业而言，如何打破这个信息壁垒，保证数据交换的实时性、稳定性和可靠性显得尤为重要。建立钢铁企业的数据中心，集成各异构数据源的异构数据，实现钢铁企业产品的生产、管理、销售等各个环节的异构数据的共享，对实现钢铁企业智能化转型升级，降低生产能耗，实现绿色发展，起着决定性的作用。
技术实现思路
本专利技术的目的在于提供一种钢铁企业数据中心异构数据的处理系统，能够进行对钢铁企业数据中心异构数据采集、转换、转发，包含多种通讯协议驱动。可以解决信息集成中由于各信息化软件系统、控制系统及数据采集设备通讯协议不一致，造成系统通讯连接和数据交换成本加大的困难，可广泛应用于异构系统互连及信息集成项目中。本专利技术主要包含系统内核模块、数据采集模块以及外围设备及系统三部分。内核模块与数据采集模块均部署在服务器，外围设备及系统通过以太网连接至数据采集模块所部署的服务器，数据采集模块所部署的服务器通过以太网连接至内核模块所部署的服务器。内核模块定义了数据转换规约，根据规约将源数据对象转化为目标数据对象，定义了数据采集转发机制，根据采集转发机制周期或非周期地将采集源数据并转发给数据目标。数据采集模块包含了常用的协议驱动，例如OPC、ModBus、Insql、WebService等。外围设备及系统为数据的发生者和数据消费者。本专利技术采集到外围的自动化设备或生产系统产生的源数据，经过数据采集模块内部集成的驱动进行协议解析后，通过内核模块将采集到的源数据对象转换成外围的数据消费者所需要的目标数据对象，然后转发给外围数据消费者。本专利技术的内部服务分别实现了将数据处理和交换功能分为三类：TableEngine，RealEngine，HistoryEngine。TableEngine为关系表数据采集引擎，实现了ITable->ITable的接口，这部分主要是借助SQL解析实现表格数据的读取和采集。在TableEngine中包括了两类线程，一类线程是日常线程，执行最新数据的处理和交换，另外一类线程是数据修补线程，接收客户端的采集指令，可以修补指定时间段指定数据的采集任务。该引擎的驱动为ITable，作为表格数据的访问接口，对应配置表XTable。该驱动主要包括TagServiceDriver和DBWriterDriver。TagServiceDriver和DBWriterDriver都是从关系数据库采集表格的数据并将其转发到标签系统，标签系统对数据的处理也是按照表格结构存储。其中TagServiceDriver主要支持少量数据的读写，DBWriterDriver用于大批量数据的采集。RealEngine为标签实时数据采集引擎，实现了从其他系统(数据库、OPC等)采集实时标签数据(ID,Clock,Val)到标签系统。在其中包含了多个实时采集线程，每个线程自己创建并初始化、打开驱动到数据源的连接，将数据写入对应的数据目标。在退出的时候需要关闭驱动并释放资源。该引擎的驱动为ITagReal，作为实时数据的访问接口，对应配置表XTag。HistoryEngine为标签历史数据采集引擎，实现采集历史标签数据到标签系统的功能。在驱动部分实现了根据扫描周期、时间段采集数据的功能。在历史数据采集中包含两个线程，一个是采集最新数据的线程，在线程中扫描周期是指定的，每个采集标签点都由一个时间戳，每次扫描执行时间戳向后指定天数(默认为30天)的数据；还有一个历史数据修补线程，执行历史数据的补充采集。该引擎的驱动为ITagHistory，作为历史数据的访问接口，对应配置表XTag。本专利技术的接口配置信息存放在配置表XGroup、配置表XSet、配置表XLink、配置表XDriver、配置表XTable、配置表XTag数据表中。配置表XGroup定义了数据集的分组，用于对本系统的数据集进行分组。配置表XSet定义了数据集合,用于描述一个数据集合,例如一个数据库，包含若干XTable或XTag。该数据集合可能为数据来源,也可能为数据采集目标。字段CONNSTR定义了某个采集连接，例如数据库连接或驱动地址。字段DRIVER定义了采集所需的驱动类型。配置表XLink用于描述两个数据集之间的一对一的采集链路。字段XSET定义了目标数据集；字段MAPXSET定义了映射数据集，也即数据源；字段EARTBEAT定义了最小扫描周期，默认1秒；字段PASSIVE定义了采集模式。默认为主动模式，本系统主动建立通讯链路并执行扫描操作。如果为被动模式，则在远程的客户机上可能驻留有通讯程序独立执行采集任务并将数据发送给本系统。配置表XDriver定义了各种数据的采集的驱动信息，配置表中存放的是驱动所在的二进制文件名称。配置表XTable定义了表格数据采集映射，用来从关系数据表中采集数据。配置表中的XSET字段记录了关系数据表属于哪个数据集合。另外还有LASTCLOCK、SCANRATE、SCANOFFSET等字段，分别记录了上次采集时间(对于源表是上次采集时间，对于目标表是上次写入时间)、扫描频率、扫描偏移等信息。字段ISOUTPUT用于区分是否为源表。配置表XTag定义了实时数据和历史数据的采集标签映射。字段XLINK记录了该数据标签采集所用的采集链路；字段MAPTAG记录了映射标签名或者采集配置字符串；此外还有SCANRATE、SCALE、LASTCLOCK等字段分别记录了采集频率、采集变比和上次采集时间等信息。MAPINTER字段定义了采集映射周期，用于历史数据的采集。本专利技术的优点：1、本专利技术打破了数据交换之间的壁垒，解决了工业企业尤其是特钢企业数据中心异构数据源之本文档来自技高网...

【技术保护点】
1.一种钢铁企业数据中心异构数据的处理系统，其特征在于，包含系统内核模块、数据采集模块以及外围设备及系统三部分；内核模块与数据采集模块均部署在服务器，外围设备及系统通过以太网连接至数据采集模块所部署的服务器，数据采集模块所部署的服务器通过以太网连接至内核模块所部署的服务器；内核模块定义了数据转换规约，根据规约将源数据对象转化为目标数据对象，定义了数据采集转发机制，根据采集转发机制周期或非周期地将采集源数据并转发给数据目标；数据采集模块包含了常用的协议驱动，例如OPC、ModBus、Insql、WebService；外围设备及系统为数据的发生者和数据消费者；采集到外围的自动化设备或生产系统产生的源数据，经过数据采集模块内部集成的驱动进行协议解析后，通过内核模块将采集到的源数据对象转换成外围的数据消费者所需要的目标数据对象，然后转发给外围数据消费者；/n内部服务分别实现了将数据处理和交换功能分为三类：Table Engine，Real Engine，History Engine。/n

【技术特征摘要】
1.一种钢铁企业数据中心异构数据的处理系统，其特征在于，包含系统内核模块、数据采集模块以及外围设备及系统三部分；内核模块与数据采集模块均部署在服务器，外围设备及系统通过以太网连接至数据采集模块所部署的服务器，数据采集模块所部署的服务器通过以太网连接至内核模块所部署的服务器；内核模块定义了数据转换规约，根据规约将源数据对象转化为目标数据对象，定义了数据采集转发机制，根据采集转发机制周期或非周期地将采集源数据并转发给数据目标；数据采集模块包含了常用的协议驱动，例如OPC、ModBus、Insql、WebService；外围设备及系统为数据的发生者和数据消费者；采集到外围的自动化设备或生产系统产生的源数据，经过数据采集模块内部集成的驱动进行协议解析后，通过内核模块将采集到的源数据对象转换成外围的数据消费者所需要的目标数据对象，然后转发给外围数据消费者；
内部服务分别实现了将数据处理和交换功能分为三类：TableEngine，RealEngine，HistoryEngine。


2.根据权利要求1所述的处理系统，其特征在于，TableEngine为关系表数据采集引擎，实现了ITable->ITable的接口，这部分主要是借助SQL解析实现表格数据的读取和采集；在TableEngine中包括了两类线程，一类线程是日常线程，执行最新数据的处理和交换，另外一类线程是数据修补线程，接收客户端的采集指令，能修补指定时间段指定数据的采集任务；该引擎的驱动为ITable，作为表格数据的访问接口，对应配置表XTable；该驱动包括TagServiceDriver和DBWriterDriver；TagServiceDriver和DBWriterDriver都是从关系数据库采集表格的数据并将其转发到标签系统，标签系统对数据的处理也是按照表格结构存储；其中TagServiceDriver支持少量数据的读写，DBWriterDriver用于大批量数据的采集；
RealEngine为标签实时数据采集引擎，实现了从其他系统：数据库、OPC采集实时标签数据ID,Clock,Val到标签系统；在其中包含了多个实时采集线程，每个线程自己创建并初始化、打开驱动到数据源的连接，将数据写入对应的数据目标；在退出的时候需要关闭驱动并释放资源，该引擎的驱动为ITagReal，作为实时数据的访问接口，对应配置表XTag。
H...

【专利技术属性】
技术研发人员：李勇，张效华，盛刚，张丕迪，孙彦广，张云贵，
申请(专利权)人：冶金自动化研究设计院，
类型：发明
国别省市：北京;11