一种工业网络数据管理系统技术方案

本发明专利技术实施例涉及工业网络数据治理领域，公开了一种工业网络数据管理系统。本发明专利技术中，该系统包括：依次相连的数据采集模块、数据转换模块、数据存储模块以及数据分析模块，数据采集模块还与数据存储模块相连；数据采集模块基于TCP/IP协议的以太网模式采集第一类数据和第二类数据，并将第一类数据传输至数据存储模块中、将第二类数据上传到数据转换模块中；数据转换模块接收数据、并转换为结构化数据；其中，第一类数据包括：各传感器和SCADA主机产生的实时数据，第二类数据包括：网络安全设备的流量数据以及第三方监控设备中应用程序的日志数据和系统日志数据。本发明专利技术提供的系统，能够对数据源进行全生命周期的汇总采集，以有利于后续决策。

【技术实现步骤摘要】
一种工业网络数据管理系统
本专利技术实施例涉及工业网络数据治理领域，特别涉及一种工业网络数据管理系统。
技术介绍
随着工业实现自动化的步伐不断迈进和深入，又一轮新兴的工业革命已经大规模的展开。工业互联网产业联盟(AII)在2016年发布的《工业互联网体系架构(1.0)》中将工业互联网的建设重点概括为“网络”、“数据”、“安全”三大领域，而“数据”是推动工业互联网智能化的基础和核心动力。在工业生产中若能科学合理的利用大数据技术就能有效促进企业信息化发展，提升企业生产运行效率、助力企业升级转型并形成全新的智能制造模式。工业大数据技术的应用，核心的目标是全方位采集各个环节的数据，并将这些数据汇聚起来进行深度分析，利用数据分析结果反过来指导各个环节的控制与管理决策，并通过效果监测的反馈闭环，实现决策控制持续优化。因此，有必要提供一种系统来进行工业网络数据的管理。
技术实现思路
本专利技术实施方式的目的在于提供一种工业网络数据管理系统，能够对工业现场中相互关联、分布式异构的数据源进行全生命周期的汇总采集，从而有利于后续利用该数据做出更优的决策。为解决上述技术问题，本专利技术的实施方式提供了一种工业网络数据管理系统，包括：依次相连的数据采集模块、数据转换模块、数据存储模块以及数据分析模块，所述数据采集模块还与所述数据存储模块相连；所述数据采集模块基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，并将第一类数据经由消息中间件传输至数据存储模块中、将第二类数据上传到数据转换模块中；所述数据转换模块接收所述数据采集模块传输的所述第二类数据，并将接收的第二类数据转换为结构化数据；所述数据存储模块接收并存储所述数据采集模块传输的第一类数据、以及所述数据转换模块传输的结构化后的第二类数据；所述数据分析模块对输入的数据进行分析和显示；其中，所述第一类数据包括：工业现场中的各传感器和SCADA主机产生的实时数据，所述第二类数据包括：工业环境中网络安全设备的流量数据以及第三方监控设备中应用程序的日志数据和系统日志数据。本专利技术实施方式相对于现有技术而言，通过所述数据采集模块基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，其中，所述第一类数据包括：工业现场中的各传感器和SCADA主机产生的实时数据，所述第二类数据包括：工业环境中网络安全设备的流量数据以及第三方监控设备中应用程序的日志数据和系统日志数据，从而实现了对工业现场中相互关联、分布式异构的数据源进行全生命周期的汇总采集；通过所述数据采集模块与数据存储模块、所述数据存储模块相连，所述数据采集模块基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，并将第一类数据经由消息中间件传输至数据存储模块中进行存储、将第二类数据上传到数据转换模块中进行转换，所述数据转换模块接收所述数据采集模块传输的所述第二类数据，并将接收的第二类数据转换为结构化数据，从而实现了数据的统一化处理，便于数据分析模块对输入的数据进行分析和显示，从而有利于后续利用该数据做出更优的决策。另外，所述消息中间件为kafka，或者，所述消息中间件为kafka结合远程字典服务。另外，所述数据采集模块包括第一采集模组和第二采集模组，所述第一采集模组与所述数据存储模块相连，所述第二采集模组与所述数据转换模块相连；所述第一采集模组利用OPC-UA协议把第一类数据上传至SCADA主机中，通过抓包方式获取SCADA主机游经工业网关的数据、并通过消息队列协议传输至消息中间件中，然后上传至数据存储模块；所述第二采集模组以ELKstack中的Beats系列工具为探针采集器，采集第二类数据，并将采集到的第二类数据通过端口监听方式上传到所述数据转换模块中。由于ELK栈的Beats全家桶以高性能、低内存占用率著称，部署在网络安全设备、工业防火墙中作为日志探针不影响主体业务的运作且能高效率的采集日志，真正达到了高性能、高可用、可扩展的生产目的。另外，所述探针采集器包括Filebeat、Metricbeat和Packetbeat；所述Filebeat用于采集系统日志和应用日志；所述Metricbeat用于采集系统CPU使用率、内存、磁盘IO中至少一者的统计数据；所述Packetbeat用于采集网络设备的实时流量数据以及服务级别协议性能数据中至少一者。另外，所述数据转换模块采用ELKstack的Logstash数据处理框架，所述数据转换模块包括：与所述数据采集模块相连的数据接收模组、与数据接收模组相连的所述数据转换模组、以及与所述数据转换模组相连的数据输出模组；所述数据接收模组用于使用LogstashD的input插件集合、接收数据采集模块采集到的数据中的第二类数据；所述数据转换模组用于将第二类数据转换为结构化数据；所述数据输出模组用于使用logstash的output插件、对数据转换模组完成处理的结构化数据输出到指定存储目标中。另外，所述数据转化模组包括：与所述数据接收模组相连的数据清洗组件、与所述数据清洗组件相连的数据解析组件、以及与所述数据解析组件相连的数据转换组件；所述数据清洗组件用于使用logstash的grok插件并配合正则表达式、滤除所述第二类数据中的不完整的数据、错误的数据以及重复的数据；所述数据解析组件用于使用logstash的filter插件、定义字段名称以将第二类数据中滤除后剩余的数据赋值到字段上；所述数据转换组件用于将解析后的数据以结构化的形式输出。另外，所述数据存储模块包括：分别与所述数据转换模块相连的实时数据库、关系型数据库以及NoSQL数据库；所述实时数据库用于存储报警日志、审计数据；所述关系型数据库用于存储系统配置；所述NoSQL数据库用于存储传感器数据。另外，所述数据分析模块包括：可视化模块；所述可视化模块用于使用ELKstack的Kibana框架、实时观测生产环境中各个设备的运行情况、和/或调用数据库接口生成生产数据表报。另外，所述数据分析模块还包括：数据挖掘模块；所述数据挖掘模块用于利用机器学习结合数据库中的历时数据、拟合计算来推断和预测目标数据的结果值、以确认新数据的流量是否异常。另外，所述数据分析模块还包括：统计分析模块；所述统计分析模块用于使用生产过程相关的设备物理参数、工作状态数据、性能数据以及传感器数据中至少两者结合分析，评估工业系统生产设备的运行状态。附图说明图1是本专利技术第一实施方式提供的工业网络数据管理系统的结构示意图；图2是本专利技术第一实施方式提供的工业网络数据管理系统的整体架构示意图；图3是本专利技术第一实施方式提供的数据采集模块的结构示意图；图4是本专利技术第一实施方式提供的数数据转换模块的结构示意图；图5是本专利技术第一实施方式提供的数据存储模块的结构示意图；图6是本专利技术第一实施方式提供的数据分析模块的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本文档来自技高网...

【技术保护点】
1.一种工业网络数据管理系统，其特征在于，包括：依次相连的数据采集模块、数据转换模块、数据存储模块以及数据分析模块，所述数据采集模块还与所述数据存储模块相连；/n所述数据采集模块基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，并将第一类数据经由消息中间件传输至数据存储模块中、将第二类数据上传到数据转换模块中；/n所述数据转换模块接收所述数据采集模块传输的所述第二类数据，并将接收的第二类数据转换为结构化数据；/n所述数据存储模块接收并存储所述数据采集模块传输的第一类数据、以及所述数据转换模块传输的结构化后的第二类数据；/n所述数据分析模块对输入的数据进行分析和显示；/n其中，所述第一类数据包括：工业现场中的各传感器和SCADA主机产生的实时数据，所述第二类数据包括：工业环境中网络安全设备的流量数据以及第三方监控设备中应用程序的日志数据和系统日志数据。/n

【技术特征摘要】
1.一种工业网络数据管理系统，其特征在于，包括：依次相连的数据采集模块、数据转换模块、数据存储模块以及数据分析模块，所述数据采集模块还与所述数据存储模块相连；
所述数据采集模块基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，并将第一类数据经由消息中间件传输至数据存储模块中、将第二类数据上传到数据转换模块中；
所述数据转换模块接收所述数据采集模块传输的所述第二类数据，并将接收的第二类数据转换为结构化数据；
所述数据存储模块接收并存储所述数据采集模块传输的第一类数据、以及所述数据转换模块传输的结构化后的第二类数据；
所述数据分析模块对输入的数据进行分析和显示；
其中，所述第一类数据包括：工业现场中的各传感器和SCADA主机产生的实时数据，所述第二类数据包括：工业环境中网络安全设备的流量数据以及第三方监控设备中应用程序的日志数据和系统日志数据。


2.根据权利要求1所述的工业网络数据管理系统，其特征在于，所述消息中间件为kafka，或者，所述消息中间件为kafka结合远程字典服务。


3.根据权利要求1或2所述的工业网络数据管理系统，其特征在于，所述数据采集模块包括第一采集模组和第二采集模组，所述第一采集模组与所述数据存储模块相连，所述第二采集模组与所述数据转换模块相连；
所述第一采集模组利用OPC-UA协议把第一类数据上传至SCADA主机中，通过抓包方式获取SCADA主机游经工业网关的数据、并通过消息队列协议传输至消息中间件中，然后上传至数据存储模块；
所述第二采集模组以ELKstack中的Beats系列工具为探针采集器，采集第二类数据，并将采集到的第二类数据通过端口监听方式上传到所述数据转换模块中。


4.根据权利要求3所述的工业网络数据管理系统，其特征在于，所述探针采集器包括Filebeat、Metricbeat和Packetbeat；
所述Filebeat用于采集系统日志和应用日志；
所述Metricbeat用于采集系统CPU使用率、内存、磁盘IO中至少一者的统计数据；
所述Packetbeat用于采集网络设备的实时流量数据以及服务级别协议性能数据中至少一者。


5.根据权利要求1所述的工业网络数据管理系统，其特征在于，所述数据转换模块采用ELKstack的Logstash数据处理框架...

【专利技术属性】
技术研发人员：郑忠斌，赵智青，王朝栋，彭新，张雪帆，宋迟，刘江柳，
申请(专利权)人：工业互联网创新中心上海有限公司，
类型：发明
国别省市：上海;31