一种基于工艺流程并网络流量的实时数据采集方法技术

一种基于工艺流程并网络流量的实时数据采集方法，涉及一种实时数据采集方法，该方法包括在工业控制网络交换机进行实时流量镜像采集，获取工业旁路流量；将采集流量引入Suricata流量分析引擎框架，Suricata对流经流量进行数据采集操作；基于Suricata流量分析引擎，针对不同工控协议进行协议解析；随后对Suricata协议解析日志通过Logstash进行日志数据收集，并将收集数据转入ElasticSearch数据库；基于工艺流程，将工艺控制变量与协议解析所得参数进行匹配，并进行可视化界面展示。本发明专利技术可以更加高效的获取工控系统实时数据，并可对实时数据进行安全分析，提高了工控系统安全性、可靠性。可靠性。可靠性。

A real-time data acquisition method based on process flow and network traffic

【技术实现步骤摘要】
一种基于工艺流程并网络流量的实时数据采集方法


[0001]本专利技术涉及一种实时数据采集方法，特别是涉及一种基于工艺流程并网络流量的实时数据采集方法。

技术介绍

[0002]随着网络技术的快速发展，信息化与传统工业产生了不可避免的融合，工业互联网已经深入改造了传统工业模式，智能化、无人化将会成为未来工厂的发展趋势。
[0003]工业控制系统作为工业互联网的核心组成部分，已经应用于各个工控行业，如电力系统、石油化工、轨道交通等，通过对工控系统中工业大数据的采集与分析，不仅可以远程查看实时数据，还可以为企业生产提供相应的安全生产指导，进而提升企业效率。
[0004]当前，工业数据采集大多是简单的将原始数据发送至服务器进行存储，存储形式单一，不能与工艺流程具体变量建立关联，当面对复杂工艺的大批量数据时，数据的采集、传输、存储还会大大增加服务器负载，严重时还会导致服务器瘫痪。

技术实现思路

[0005]本专利技术的目的在于提供一种基于工艺流程并网络流量的实时数据采集方法，本专利技术在工业控制系统获取工业镜像流量，通过对实时流量进行协议解析，将解析数据存储至旁路数据库并与工艺流程控制变量建立关联，根据工艺流程对解析数据展开进一步分析，使数据采集过程中分散、单一、不便于分析等问题得到了改善，可以更加高效的获取工控系统实时数据，并可对实时数据进行安全分析，提高了工控系统安全性、可靠性。
[0006]本专利技术的目的是通过以下技术方案实现的：一种基于工艺流程并网络流量的实时数据采集方法，所述方法包括以下过程：在工业控制网络交换机进行网络流量镜像采集，进行旁路部署获取工业旁路流量；将采集流量引入Suricata流量分析引擎框架，Suricata对流经流量进行数据采集操作；基于Suricata流量分析引擎，针对不同工艺采用的不同工控协议进行协议解析；对Suricata协议解析日志通过Logstash进行日志数据收集，并将收集数据转存至ElasticSearch数据库；基于工艺流程，将工艺控制变量与协议解析所得参数进行匹配，并进行可视化界面展示；通过对工业控制网络核心交换机进行流量镜像处理，对通过核心交换机的全流量进行采集；通过Suricata框架对流量进行数据采集，流量通过Suricata解析框架进行协议识别，Suricata可具备识别HTTP, SSL, SMTP, FTP, SSH, DNS协议，识别Modbus，S7工控协议。
[0007]所述的一种基于工艺流程并网络流量的实时数据采集方法，所述针对不同工控采用的不同工控协议与其对应的Suricata解析框架也不同，需根据工艺信息进一步配置。
[0008]所述的一种基于工艺流程并网络流量的实时数据采集方法，所述Suricata对流经
流量进行数据采集操作，采集流量通过Suricata解析框架进行协议解析，解析流经数据包的时间戳、源端口、源IP、目的端口、目的IP、传输协议信息。
[0009]所述的一种基于工艺流程并网络流量的实时数据采集方法，所述协议解析包括对工控协议的语句级解析，通过对工控环境数据包提取，并结合工艺流程，分析工艺参数对应的数据包及具体数据所在片段，并通过修改Suricata框架，将具体参数名及对应参数以日志形式输出。
[0010]所述的一种基于工艺流程并网络流量的实时数据采集方法，所述日志数据收集过程包括通过Logstash将Suricata输出日志进行缓存，以及格式转换，然后存入ElasticSearch数据库。
[0011]所述的一种基于工艺流程并网络流量的实时数据采集方法，所述存入ElasticSearch数据库，包括存入数据库的协议解析参数与工艺流程控制变量相对应，通过查看工艺变量名称便可查看其关联协议解析变量。
[0012]所述的一种基于工艺流程并网络流量的实时数据采集方法，所述工艺变量信息包含：变量名称、数据类型、格式、地址信息、数值。
[0013]所述的一种基于工艺流程并网络流量的实时数据采集方法，所述存入ElasticSearch数据库中存储的工业变量信息及其关联的协议解析参数通过web前端界面进行分组处理并实时展示。
附图说明
[0014]图1为本专利技术流程示意图；图2为本专利技术实施例协议解析变量与工艺流程控制变量对应表图片；图3为本专利技术实施例数据采集系统实时协议解析参数展示前端界面图片。
具体实施方式
[0015]下面结合附图所示实施例对本专利技术进行详细说明。
[0016]本专利技术包括在工业控制网络交换机进行网络流量镜像采集，进行旁路部署采集，将采集流量引入Suricata流量分析引擎框架，Suricata对流经流量进行数据采集操作；基于Suricata流量分析引擎，针对不同工艺采用的不同工控协议进行协议解析；对Suricata协议解析日志通过Logstash进行日志数据收集，并将收集数据转存至ElastiSearch数据库；基于工艺流程，将工艺控制变量与协议解析所得参数进行匹配，并进行可视化界面展示。
[0017]通过对工业控制网络核心交换机进行流量镜像，对通过核心交换机的全流量进行采集。
[0018]采集流量通过Suricata解析框架进行协议识别，Suricata可具备识别HTTP, SSL, SMTP, FTP, SSH, DNS等协议，也可识别Modbus，S7等工控协议。
[0019]根据不同工控设备采用的不同工控协议，与其对应的Suricata解析框架也不同，需根据工艺信息进一步配置。
[0020]不同工艺设备采用通讯协议不同，其适配组态软件也不相同。例如：西门子PLC设备，通常与Wincc组态进行搭配，选用通讯协议为S7协议；罗克韦尔PLC设备，通常与RSview
组态进行搭配，选用通讯协议为DF1协议。还有一部分设备厂商没有设计对应的组态原件，需要其他第三方设备来完成设备部署，相应的也会选择与之适配的通讯协议。
[0021]采集流量通过Suricata解析框架进行协议解析，可以解析流经数据包的时间戳、源端口、源IP、目的端口、目的IP、传输协议等信息。
[0022]协议解析包括，对工控协议的语句级解析：通过对工控环境数据包提取，并结合工艺流程，分析工艺参数对应的数据包及具体数据所在片段，并通过修改Suricata框架，将具体参数名及对应参数以日志形式输出。
[0023]日志采集过程包括，通过Logstash将Suricata输出日志进行缓存，以及格式转换，然后存入ElasticSearch数据库。
[0024]存入数据库的协议解析参数与工艺流程控制变量相对应，通过查看工艺变量名称便可查看其关联协议解析变量。工艺变量信息包含：变量名称、数据类型、格式、地址信息、数值等。
[0025]将数据库中存储的工业变量信息及其关联的协议解析参数通过web前端界面进行分组处理并实时展示。
[0026]本专利技术实施例的第二方面，包括电子设备，至少包括存储器、处理器以及存储在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于工艺流程并网络流量的实时数据采集方法，其特征在于，所述方法包括以下过程：在工业控制网络交换机进行网络流量镜像采集，进行旁路部署获取工业旁路流量；将采集流量引入Suricata流量分析引擎框架，Suricata对流经流量进行数据采集操作；基于Suricata流量分析引擎，针对不同工艺采用的不同工控协议进行协议解析；对Suricata协议解析日志通过Logstash进行日志数据收集，并将收集数据转存至ElasticSearch数据库；基于工艺流程，将工艺控制变量与协议解析所得参数进行匹配，并进行可视化界面展示；通过对工业控制网络核心交换机进行流量镜像处理，对通过核心交换机的全流量进行采集；通过Suricata框架对流量进行数据采集，流量通过Suricata解析框架进行协议识别，Suricata可具备识别HTTP, SSL, SMTP, FTP, SSH, DNS协议，识别Modbus，S7工控协议。2.根据权利要求1所述的一种基于工艺流程并网络流量的实时数据采集方法，其特征在于，所述针对不同工控采用的不同工控协议与其对应的Suricata解析框架也不同，需根据工艺信息进一步配置。3.根据权利要求1所述的一种基于工艺流程并网络流量的实时数据采集方法，其特征在于，所述Suricata对流经流量进行数据采集操作，采集流量通过Suricata解析框架进行...

【专利技术属性】
技术研发人员：何戡，陈金喆，宗学军，杨忠君，连莲，齐济，
申请(专利权)人：沈阳化工大学，
类型：发明
国别省市：