分布式环境下管理工业实时数据存储的系统技术方案

一种分布式环境下管理工业实时数据存储的系统，属于工业自动化领域。包括标签元数据管理模块、Zookeeper通讯模块、主模块、数据存储服务模块、用户接口服务模块。实时数据系统包括一组应用模块来处理实时数据的存储分配和客户端访问，这些模块可以通过计算机网络和Zookeeper集群进行通讯，通过Zookeeper统一管理标签数据命名空间的访问，提供精准高效的实时数据访问服务。实现了外部用户通过接口服务访问实时数据的流程。

【技术实现步骤摘要】

【技术保护点】
一种分布式环境下管理工业实时数据存储的系统，其特征在于，包括标签元数据管理模块、Zookeeper通讯模块、主模块、数据存储服务模块、用户接口模块；所有的模块独立或者组合安装部署到通用的工业计算机网络中的多台计算机终端节点上，构成一个分布式的系统处理工业实时数据的存储和访问；业务标签元数据管理模块通过主模块和其他模块相连，主模块通过Zookeeper通讯模块和外部Zookeeper集群相连，将变化的标签映射信息写入标签命名空间管理模块；同时，主模块同时和多个存储服务节点相连，能处理多个存储节点的上下线管理操作、处理存储资源分配；各模块的功能如下：标签元数据管理模块用于向整个实时数据系统提供最基础的元数据信息，元数据信息指的是标签数据采集频率、存储位置、存储周期等信息；Zookeeper通讯模块负责和Zookeeper集群中的多个计算机通讯，执行选举服务器、保存配置、资源监测与协调功能；主模块，主要负责对整个实时数据系统的存储节点进行管理，它和数据存储模块连接，执行资源信息收集、存储分配等功能，统一协调所有实时数据在多个数据存储单元的存储，并且和Zookeeper通讯模块连接，通过它建立标签和存储服务节点的映射关系的命名空间，而命名空间信息提供给用户接口访问模块使用；数据存储服务模块能够接受主模块的管理，并且能够被接口模块访问；多个数据接口服务模块，能够从数据存储模块上获取到数据，而且在外部可以为外部用户提供访问实时数据的接口；用户接口模块能访问到所有存储模块，还能访问标签命名空间管理模块得到访问标签的存储位置和对应的数据存储模块的映射关系；这样，接口模块读取用户接口描述并且根据映射关系信息来建立执行计划，和数据存储模块建立多个连接来获取实时的数据，汇总后发送给用户端，而标签数据的存储位置的映射关系，也就是标签的命名空间对于用户端来说是不可见的；主模块属于总体控制模块，功能是帮助所有存储模块进行资源分配，建立起标签存储命名空间；Zookeeper通讯模块通过Zookeeper通讯协议选举主模块，通知各个数据节点的存活状态，同步各种数据和配置信息；Zookeeper以文件系统的组织配置数据，通过Zookeeper通讯模块和Zookeeper协调建立一个专门的文件节点专门来存储标签系统的命名空间信息；Zookeeper中单个节点的建立和访问按照数据存储模块来组织标签的存储关系，每个节点对应一个数据存储模块，将所有标签和存储位置的映射关系首先组织成一个列表，然后调用压缩函数写入Zookeeper中的存储节点中，具体的压缩算法由用户指定。...

【技术特征摘要】

【专利技术属性】
技术研发人员：李勇，徐化岩，余志刚，梁青艳，
申请(专利权)人：冶金自动化研究设计院，
类型：发明
国别省市：北京;11