一种基于两次缓存的高频工业时序数据存储系统技术方案

本发明专利技术提供了一种基于两次缓存的高频工业时序数据存储系统，通过采用双缓存策略，隔离数据采集及存储，结构简单，模块清晰；保证了数据处理过程不堵塞，不影响其它关联模块，提高系统整体稳定性，保证数据存储的可靠性和及时性，实现了在海量

【技术实现步骤摘要】
一种基于两次缓存的高频工业时序数据存储系统


[0001]本专利技术属于工业大数据平台
，具体涉及一种基于两次缓存的高频工业时序数据存储系统
。

技术介绍

[0002]工业时序数据是指在工业生产过程中产生的大量时间序列数据
。
这些数据主要包括设备运行状态数据
、
传感器采集数据
、
生产过程数据等
。
随着工业自动化程度的提高，工业时序数据的采集
、
存储和分析变得越来越重要
。
通常来说，在采集频率不高，采集数据量不大的场景，可以直接采集并存储
。
[0003]随着工业生产的不断发展，工业时序数据的产生速度和规模呈指数级增长，对数据存储和处理提出了更高的要求
。
然而，现有的工业时序数据存储方案存在着一些缺点
。
例如，它们往往无法满足高吞吐量
、
低延迟和高可扩展性的要求，这限制了工业时序数据的应用范围
。
[0004]现有用于工业物联网的时序数据存储方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于两次缓存的高频工业时序数据存储系统，其特征在于：包括从底层到顶层的采集层
、
消息层
、
缓存层
、
数据处理层和存储层；采集层为支持多种数据采集驱动的平台，用于从工业生产现场的设备和传感器采集实时数据并支持通过
MQTT
异步推送到消息层，向应用程序提供单一来源的工业自动化数据；消息层采用分布式集群架构，包括
MQTT broker
，支持的协议包括
mqtt
协议和
mqtts
协议，用于接收采集层的消息并发送给数据处理层；消息层还包括
Web Socket broker
，支持的协议包括
ws
协议和
wss
协议，用于接收数据处理层的消息并发送给外部系统的
HMI
画面使用；缓存层包括第一缓存模块和第二缓存模块，用于为数据处理层提供两次缓存；第一缓存模块为
topic
和
payload
缓存，用于防止数据处理层消费消息层数据不及时造成堵塞；第二缓存模块为业务数据缓存，用于防止数据处理层保存数据不及时造成堵塞；存储层包括时序数据库
。2.
根据权利要求1所述的一种基于两次缓存的高频工业时序数据存储系统，其特征在于：采集层采用的工业通信协议包括
Modbus、OPC
‑
UA
或
PLC
专用协议；工业生产现场的设备和传感器为包括
PLC、RTU、
相关仪表或第三方系统的外部系统；采集层向消息层推送的数据采用
JSON
格式编码
。3.
根据权利要求1所述的一种基于两次缓存的高频工业时序数据存储系统，其特征在于：消息层采用开源的
EMQX
，是弹性伸缩的云原生分布式物联网
MQTT/WS
消息服务器，用于连接若干物联网设备
、
实时移动与处理消息和事件流数据
、
构建关键业务的物联网平台与应用
。4.
根据权利要求1所述的一种基于两次缓存的高频工业时序数据存储系统，其特征在于：缓存采用内存缓存
、Redis
缓存或
Memcached
缓存；缓存采用先进先出
FIFO
清理策略，根据数据进入缓存的时间清理数据；当缓存空间不足时，自动删除最早进入缓存的数据
。5.
根据权利要求1所述的一种基于...

【专利技术属性】
技术研发人员：王志军，
申请(专利权)人：中冶南方工程技术有限公司，
类型：发明
国别省市：