基于Kafka系统的工控网络大数据存储方法及设备技术方案

本发明专利技术提供了一种基于Kafka系统的工控网络大数据存储方法及设备。所述方法包括：步骤一：构建工控网络数据采集层；步骤二：构建工控网络数据缓存层；步骤三：构建工控网络数据转发层；步骤四：构建工控网络数据存储、检索与展示层。本发明专利技术选用Kafka缓存消息，满足吞吐量巨大的工控网络数据每秒几十万条消息的订阅转发，避免数据丢失现象，具有高吞吐量、持久性与分布式存储特性，能够契合大规模工控网络实时流式数据的准确快速安全转发与存储。流式数据的准确快速安全转发与存储。流式数据的准确快速安全转发与存储。

【技术实现步骤摘要】
基于Kafka系统的工控网络大数据存储方法及设备


[0001]本专利技术实施例涉及信息
，尤其涉及一种基于Kafka系统的工控网络大数据存储方法及设备。

技术介绍

[0002]早期的工业控制网络总是与外部网络相隔离，通过运行专有的闭源软件和协议获得“隐蔽安全”，以此保护其免受各种网络攻击。但随着两化深度融合以及网络通信技术在工业控制网络中的大规模应用，传统与外网隔离的工业控制网络已然无法满足生产需求，而伴随工业控制网络逐步的开放，各种网络攻击纷至沓来。由于工业控制网络与传统信息网络具有很大的差异性，使得现有网络安全措施在对工业控制网络安全的维护上无法起到同效果。在现有的工控网络安全产品中，虽然已采用一些智能信息处理技术，但是现有安全产品的部署通常分散、管理过于独立，缺乏一套完整的整体框架，容易形成信息孤岛，使得各种安全信息难以得到有效共享和综合采用，此外由于缺乏多源多维数据高效采集技术，造成安全威胁样本数量不足质量不高。因此，开发一种基于Kafka系统的工控网络大数据存储方法及设备，可以有效克服上述相关技术中的缺陷，就成为业界亟待解决的技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Kafka系统的工控网络大数据存储方法，其特征在于，包括：步骤一：构建工控网络数据采集层；步骤二：构建工控网络数据缓存层；步骤三：构建工控网络数据转发层；步骤四：构建工控网络数据存储、检索与展示层。2.根据权利要求1所述的基于Kafka系统的工控网络大数据存储方法，其特征在于，所述步骤一具体包括：数据采集采用旁路方式，将数据采集系统与网络并联进行数据采集，采用工控网络中协议的广播机制, 运用Wireshark网络流量数据抓包工具，在不影响工控系统正常运行的前提下，采集工控网络的会话日志、网络应用日志和原始通信数据，并完成相应的过滤、清洗、拼接和还原，基于大数据存储架构实现原始会话数据落盘，完成网络原始流量的高性能全量采集。3.根据权利要求2所述的基于Kafka系统的工控网络大数据存储方法，其特征在于，所述步骤二具体包括：系统在数据采集层和转发层之间添加数据缓存层，采用Kafka 分布式订阅消息系统，将采集层采集自不同数据源的多维异构数据写入Kafka时，需进行数据融合，多源数据包含各种不确定性信息，在融合时借助DS证据理论来提高数据融合的信性，DS 证据理论定义空间为辨识框架，对于问题域中任何命题A，都应包含于幂集中，定义映射m：为辨识框架上的基本概率赋值函数，若证据不是完全冲突的, 就用 DS 合成法则计算出证据联合作用下的信度函数。然后采用Dempster合成规则完成多源数据的有机融合。4.根据权利要求3所述的基于Kafka系统的工控网络大数据存储方法，其特征在于，所述定义映射m：为辨识框架上的基本概率赋值函数，包括：DS证据理论提供Dempster合成规则，设统一辨识框架上的两个独立证据体，其相应的mass函数为和，焦元为,,
…
,和,,
…
,，则组合后的映射m定义为：其中，为冲突项,反映证据冲突程度。5.根据权利要求4所述的基于Kafka系统的工控网络大数据存储方法，其特征在于，所述步骤三具体包括：工控网络数据转发层关注数据压缩，此层具有扩展性，在Kafka消费者消费数据时，针对不同的需求，添加不同的算法对数据进行分析与处理，转发层将相关数据发送到持久性存储介质中，数据转发层通过编写Kafka消费者程序，消费到对应topic的工业控制网络流量数据后...

【专利技术属性】
技术研发人员：石小川，马超，张典，
申请(专利权)人：武汉大学，
类型：发明
国别省市：