基于时序数据和关系数据的钢铁企业数据中心应用系统技术方案

一种基于时序数据和关系数据的钢铁企业数据中心应用系统，属于钢铁企业数据中心应用领域。包括3台服务器，一台安装WindowsSever2016操作系统的应用服务器，配有1T硬盘；一台安装WindowsSever2016操作系统的关系数据库服务器，配有4T硬盘；一台安装WindowsSever2016操作系统时序数据库文件系统服务器，配有1T硬盘。还包括数据采集模块，数据处理模块，数据计算模块，数据配置模块，数据缓存模块，数据存储模块，数据订阅模块和事件处理模块。优点在于，方便用户对生产进度进行调度、把控，对能源进行充分利用，提高企业生产效率。

Data center application system of iron and steel enterprise based on time series data and relation data

【技术实现步骤摘要】
基于时序数据和关系数据的钢铁企业数据中心应用系统
本专利技术涉及钢铁企业数据中心应用领域，特别涉及一种基于时序数据和关系数据的钢铁企业数据中心应用系统。
技术介绍
在钢铁企业中，每天产生大量的数据。其中时序数据和关系数据是主要的数据类型。时序数据即时间序列数据，是随着时间的推移而产生的带有时间标签的数据。这些数据的特点是：采集频率快，几十毫秒采集一次；严重依赖采集时间；测点多，信息量大，每天需要大量的存储空间。关系数据既传统的业务数据，包括用户数据、工艺数据、质量数据、设备数据等。由于在钢铁企业中数据类型的不同，因此需要不同的存储策略来进行存储。目前，对于时序数据的存储和处理方法主要有文件系统、关系型数据库软件和实时数据库软件。由于时序数据的特点，传统的数据库软件和文件系统等无法满足对时序数据的压缩、读取和写入速度的满足，因此需要有一种专门针对时序数据的数据库。关系数据的存储策略相对时序数据来说相对成熟，目前主流的关系数据有Oracle、MySQL、SqlServer、DB2等。目前，单一的存储策略已无法满足钢铁企业的存储需求，因此需要一种对不同数据类型共同存储的钢铁企业数据中心应用系统。
技术实现思路
本专利技术的目的在于提供基于时序数据和关系数据的钢铁企业数据中心应用系统，解决各种类型数据的处理、计算、存储、读取、写入等问题。本专利技术的系统包括3台服务器，构成了系统的硬件平台，其中一台安装WindowsSever2016操作系统的应用服务器，配有1T硬盘；一台安装WindowsSever2016操作系统的关系数据库服务器，配有4T硬盘；一台安装WindowsSever2016操作系统时序数据库文件系统服务器，配有1T硬盘。应用服务器和关系数据库服务器通过TCP/IP协议连接，和时序数据库文件系统服务器也是通过TCP/IP协议连接。本专利技术的系统还包括数据采集模块，数据处理模块，数据计算模块，数据配置模块，数据缓存模块，数据存储模块，数据订阅模块和事件处理模块，其中数据采集模块，数据处理模块，数据计算模块，数据配置模块，数据订阅模块和事件处理模块安装在应用服务器，数据存存储模块安装在两个数据库服务器。各模块之间通过预留接口进行连接。每一个模块是一个服务。本专利技术中的数据采集模块，将生产过程中的仪表数据点，PLC数据点和业务数据通过数据采集工具采集到服务器中，每一个信号(时间信号，事件信号)作为一条标签，随后进行数据处理。本专利技术中的数据处理模块，将采集的数据点根据波动特点进行错误过滤，提高数据的质量。已采数据经过滤后进行数据计算。其中滤波规则过滤器算法和规则有：Absoult：值在范围[R-L,R+U]内的标签将被过滤。R为参考值，初始值为零，如果当前值通过过滤器，则用当前值作为下次标签过滤时的参考值；ABSBETWEEN，如果相邻两次值的变化小于零，如果变化值/经历时间>(R-L)/3600，则值被过滤；如果相邻两次值的变化大于零，如果变化值/经历时间>(R+U)/3600，则值被过滤；CutOff：处理所有类型的标签，直接过滤掉null值，非数值的标签值直接通过；如果是数值，将当前值与过滤条件的上下限比较，若在范围内，则直接通过过滤器，如果当前值小于最小值则以最小值代替该数值，如果当前值大于最大值则以最大值代替该数值，然后通过。Between：值在范围[L，U]以外的标签将被过滤，L为下限，U为上限。ABSBETWEEN：如果相邻两次值的变化小于零，如果变化值/经历时间>(R-L)/3600，则值被过滤；如果相邻两次值的变化大于零，如果变化值/经历时间>(R+U)/3600，则值被过滤；Edge：值在范围[R-L,R+U]内的标签将被过滤，与Absoulte功能类似，R为参考值，不同的是无论当前值是否过滤，当前值都将作为下次标签过滤的参考值。Equal：若标签当前值与上次值相等，那么将被过滤。BetweenEqual：首先判断当前值是否在定义的界限范围[L,U]内，不在范围内的将被过滤；如果在界限范围内，那么再判断当前值和最近值pvLast是否相等，相等的将被过滤。ObjectEqual：标签当前值与上次值相等，那么将被过滤。Relative：如果参考值R小于0，那么值在范围(R*(1+L),R*(1.0-U))内的标签将被过滤；如果参考值R大于0，那么值在范围(R*(1-L),R*(1.0+U))内的标签将被过滤；若当前值没有被过滤，则用当前值作为下次标签过滤的参考值。本专利技术中的数据计算模块，满足了数据多时间尺度变换(秒，日，天，月，)，及优化数据的存储方式(逢变则存)，采用了统一的数据计算模式。目前系统提供的计算模式如下：Event：逢变则存，存储标签的原始值，适用于无周期的、生产时间、生产信号的数据存储。Minus：按照周期存储一个累计量两个周期之间的差值。Current：当前值。按照周期存储，存储本周期的第一条数据。积分值：存储一个周期的积分值。简单差值：按周期存储，存储一个量两个周期之间的差值。累计：按照周期进行统计，统计一个实物量一个周期的总量。平均值：计算一个瞬时量在一个周期的平均值。算术平均值：将标签的数据进行简单加和，再除以本周期数据的计数。表底量：按周期存储。存储一个表底量一个周期的开始值。最大值：按周期存储。存储一个标签一个周期的最大值。最小值：按周期存储。存储一个标签一个周期的最小值。本专利技术中的数据配置模块，为本系统提供了一站式配置服务，这些配置会立即作用于数据采集、数据处理等模块。主要分为两类：一类是用于标签计算的配置，包括空值设定、过滤设置、触发设置、计算公式、定时器等；一类是用于标签存储信息的配置，包括标签存储配置和压缩配置。本专利技术中的数据存储模块，数据存储架构采用(ID,Clock,Val)的存储结构，ID为系统为每个存储点(标签)分配的唯一数字编号，Clock为时间戳，Val为数据的当前时刻的取值。当系统读取一个时间维度的数据时，对读取压力相对较大，作积分处理时效率慢，用户体验差。因此，每个标签可以配置多个存储点,满足业务的需求，每个存储点包含下面这些配置信息:ID标签的唯一ID，Interval标签的存储周期，Action标签的计算类型。根据标签时间尺度的不同分划分为两种存储策略。系统中的毫秒级和秒级的标签为时序数据。时序数据通过数据写入模块，数据压缩模块存入时序数据库，通过数据读取模块进行读取。系统中的小时级，日级和月级数据直接存入关系数据库，通过二维表结构进行查看和读取。本专利技术中的数据缓存模块，是提供对临近数据的高效读取，当数据库中的数据长时间没有变更的时候，数据缓存能减少业务系统对数据库产生的增、删、查、改产生的庞大压力。数据不过期或不更改的前提下，下一次的请求都从缓存中直接获取数据，这样做极大的缓解了数据库的压力。本专利技术中的数据本文档来自技高网...

【技术保护点】
1.一种基于时序数据和关系数据的钢铁企业数据中心应用系统，其特征在于，包括3台服务器，构成了系统的硬件平台，其中一台安装WindowsSever2016操作系统的应用服务器，配有1T硬盘；一台安装WindowsSever2016操作系统的关系数据库服务器，配有4T硬盘；一台安装WindowsSever2016操作系统时序数据库文件系统服务器，配有1T硬盘；应用服务器和关系数据库服务器通过TCP/IP协议连接，和时序数据库文件系统服务器也是通过TCP/IP协议连接。/n该系统还包括数据采集模块，数据处理模块，数据计算模块，数据配置模块，数据缓存模块，数据存储模块，数据订阅模块和事件处理模块，其中数据采集模块，数据处理模块，数据计算模块，数据配置模块，数据订阅模块和事件处理模块安装在应用服务器，数据存存储模块安装在两个数据库服务器；各模块之间通过预留接口进行连接。/n

【技术特征摘要】
1.一种基于时序数据和关系数据的钢铁企业数据中心应用系统，其特征在于，包括3台服务器，构成了系统的硬件平台，其中一台安装WindowsSever2016操作系统的应用服务器，配有1T硬盘；一台安装WindowsSever2016操作系统的关系数据库服务器，配有4T硬盘；一台安装WindowsSever2016操作系统时序数据库文件系统服务器，配有1T硬盘；应用服务器和关系数据库服务器通过TCP/IP协议连接，和时序数据库文件系统服务器也是通过TCP/IP协议连接。
该系统还包括数据采集模块，数据处理模块，数据计算模块，数据配置模块，数据缓存模块，数据存储模块，数据订阅模块和事件处理模块，其中数据采集模块，数据处理模块，数据计算模块，数据配置模块，数据订阅模块和事件处理模块安装在应用服务器，数据存存储模块安装在两个数据库服务器；各模块之间通过预留接口进行连接。


2.根据权利要求1所述的系统，其特征在于，数据采集模块，将生产过程中的仪表数据点，PLC数据点和业务数据通过数据采集工具采集到服务器中，每一个信号：时间信号，事件信号，作为一条标签，随后进行数据处理；
数据处理模块，将采集的数据点根据波动特点进行错误过滤，已采数据经过滤后进行数据计算，其中，滤波规则过滤器算法和规则有：
Absoult：值在范围[R-L,R+U]内的标签将被过滤，R为参考值，初始值为零，当当前值通过过滤器，则用当前值作为下次标签过滤时的参考值；ABSBETWEEN，当相邻两次值的变化小于零，当变化值/经历时间>(R-L)/3600，则值被过滤；当相邻两次值的变化大于零，当变化值/经历时间>(R+U)/3600，则值被过滤；
CutOff：处理所有类型的标签，直接过滤掉null值，非数值的标签值直接通过；当是数值，将当前值与过滤条件的上下限比较，若在范围内，则直接通过过滤器，当当前值小于最小值则以最小值代替该数值，当当前值大于最大值则以最大值代替该数值，然后通过；
Between：值在范围[L，U]以外的标签将被过滤，L为下限，U为上限；
ABSBETWEEN：当相邻两次值的变化小于零，当变化值/经历时间>(R-L)/3600，则值被过滤；当相邻两次值的变化大于零，当变化值/经历时间>(R+U)/3600，则值被过滤；
Edge：值在范围[R-L,R+U]内的标签将被过滤，与Absoulte功能类似，R为参考值，不同的是无论当前值是否过滤，当前值都将作为下次标签过滤的参考值；
Equal：若标签当前值与上次值相等，那么将被过滤；
BetweenEqual：首先判断当前值是否在定义的界限范围[L,U]内，不在范围内的将被过滤；当在界限范围内，那么再判断当前值和最近值pvLast是否相等，相等的将被过滤；
ObjectEqual：标签当前值与上次值相等，那么将被过滤；
Relative：当参考值R小于0，那么值在范围(R*(1+L),R*(1.0-U))内的标签将被过滤；当参考值R大于0，那么值在范围(R*(1-L),R*(1.0+U))内的标签将被过滤；若当前值没有被过滤，则用当前值作为下次标签过滤的参考值。


3.根据...

【专利技术属性】
技术研发人员：李勇，张丕迪，盛刚，张效华，孙彦广，张云贵，
申请(专利权)人：冶金自动化研究设计院，
类型：发明
国别省市：北京;11