一种海量数据点实时数据的分布式管理方法及系统技术方案

本发明专利技术公开了一种海量数据点实时数据的分布式管理方法及系统，该方法以数据点所在的被采集设备为基础，通过对被采集设备进行分布式管理从而达到对海量数据点的分布式管理；通过分片集成数据采集、实时数据内存管理池和数据服务，对外提供高效的海量数据点实时数据服务。本发明专利技术有效的将海量物联网信息接入到智能平台，对数据点进行统一配置和管理，提供便捷接口和协议，支持数据的跨平台访问，能够以模块化、批量化的方式进行快速的部署；能够在各种应用现场适应不同型号的设备，实现物联网信息的高速接入和便捷管理。

A Distributed Management Method and System for Real-time Data of Massive Data Points

The invention discloses a distributed management method and system for real-time data of massive data points, which is based on the acquisition equipment where the data points are located, and achieves the distributed management of massive data points through the distributed management of the acquisition equipment, and provides an efficient mass of data to the outside world through piecewise integration of data acquisition, real-time data memory management pool and data services. Base real-time data service. The invention effectively connects a large amount of Internet of Things information to an intelligent platform, uniformly configures and manages data points, provides convenient interfaces and protocols, supports cross-platform access of data, enables rapid deployment in a modular and batch way, and can adapt to different types of equipment in various application fields, realizes high-speed access and convenient management of Internet of Things information.

【技术实现步骤摘要】
一种海量数据点实时数据的分布式管理方法及系统
本专利技术涉及物联网
，涉及一种海量数据点实时数据的分布式管理方法及系统，具体涉及一种基于内存数据库的海量数据点实时数据的分布式管理方法及系统。
技术介绍
在工业控制、物联网等行业中，已广泛应用了各种传感器和智能设备，这些传感器和智能设备需要和PLC或计算机等设备连接，并将自身测量值或设定值和计算机通信，这些值在计算机系统中定义为数据点。在广地域的大规模应用中，各种传感器和智能设备类型繁多，数据点类型和数量也很多，数量可达千万至上亿点，如何有效的管理、便捷的访问、高效实时的传输数据是目前迫切需要解决的问题。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种实现物联网信息的高速接入、便捷管理、易扩展的海量数据点实时数据的分布式管理方法及系统。本专利技术的方法所采用的技术方案是：一种海量数据点实时数据的分布式管理方法，其特征在于，包括以下步骤：步骤1：构建至少一个配置数据库节点，每个配置数据库节点中建立有若干关系表；所述关系表用于存储设备节点信息、数据点信息、数据节点信息以及设备节点、数据点、数据节点之间的映射关系，用于存储查询数据点集合ID和数据点的映射关系；步骤2：标记所有数据点所属的设备节点，各设备节点之间通过一个字符串设备节点ID进行唯一识别；在一个所述设备节点内，使用一个32位的数值标记数据点地址，该数值即为数据点地址；步骤3：标记各个数据点，各数据点之间通过设备节点ID和数据点地址的组合进行唯一识别；步骤4：建立至少一个数据节点，每个数据节点中包含一组分布集群中的设备节点以及设备节点的所有数据点；为各数据节点分配主机地址和访问端口，其中，每个主机地址对应至少一个数据节点，访问端口与所述数据节点一一对应；步骤5：标记各个数据节点，各数据节点之间通过一个字符串数据节点ID进行唯一识别；步骤6：标记数据节点、设备节点、数据点之间的映射关系以及查询数据点集合；步骤7：所述数据节点向所述配置数据库节点发送查询所管理的设备节点及设备节点所有数据点的请求信息；创建访问配置数据库节点的数据库查询组件，所述数据库查询组件用于从配置数据库节点中查询相关的配置信息；步骤8：所述配置数据库节点根据所述请求信息，检索关系表后，反馈相应设备节点及数据点信息；步骤9：根据所述配置数据库节点查询到的设备节点信息和数据点信息，数据节点建立实时数据管理池对查询到的数据点进行实时数据管理，并通过查询到的设备节点信息，连接对应设备节点，与这些设备节点进行相应数据点的信息传输；实时数据管理池对所属的数据节点的所有数据点根据分片数据点上下限进行自动分片管理，包括新分片的创建、小分片的合并，通过分片式管理数据点的实时数据更新和访问；步骤10：向所述配置数据库节点发送查询数据点的请求信息；创建包括访问配置数据库节点的数据库查询组件和访问实时数据点统一接口的实时数据访问组件，所述数据库查询组件先从所述配置信息节点获取查询的数据点以及数据点所在数据节点的主机地址和访问端口号后，所述实时数据访问组件连接查询到的数据节点进行数据点信息的读写；步骤11：所述配置数据库节点根据所述请求信息，检索关系表后，反馈相应数据点以及数据点所在的数据节点的主机地址和访问端口；步骤12：根据所述配置数据库节点查询到的数据节点的主机地址和访问端口，连接对应数据节点，完成相应数据点的信息传输。本专利技术的系统所采用的技术方案是：一种海量数据点实时数据的分布式管理系统，其特征在于：包括至少一个数据平台服务器、配置数据服务器、配置管理工具以及客户端；所述数据平台服务器，用于构建至少一个数据节点，每个数据节点中包含一组分布集群中的设备节点以及设备节点所有的数据点；所述数据平台服务器还用于分片式管理数据点，其中每个分片管理数据节点内的若干数据点，能根据实际情况进行分片的新增和合并；用于为各数据节点分配主机地址和访问端口，其中，每个所述主机地址对应至少一个数据节点，所述访问端口与所述数据节点一一对应；还用于与设备节点之间的数据交互，其中，数据节点能自动加载所管理的设备节点驱动与设备节点进行数据交互；所述配置数据服务器，用于构建一个配置数据库节点，所述的配置数据库节点中有若干个关系表，所述关系表用于存储设备节点信息、数据点信息、数据节点信息以及设备节点、数据点、数据节点之间的映射关系和查询数据点集合信息；所述配置管理工具，用于标记各个数据节点和设备节点，其中各个数据节点之间和各个设备节点之间通过字符串ID进行唯一识别；用于标记各个数据点，其中，各数据点之间通过设备节点ID和数据点地址的组合进行唯一识别；还用于向所述配置数据库节点写入关系表信息，这些信息包括设备节点信息、数据点信息、数据节点信息以及设备节点、数据点、数据节点之间的映射关系信息；还用于向所述配置数据节点写入查询数据点集合信息；所述客户端，用于向所述配置数据库节点发送查询数据点的请求信息，所述请求信息中包括查询数据点集ID；还用于根据配置数据库节点查询到的数据点信息以及数据节点的主机地址和访问端口，连接对应数据节点，完成相应数据点的信息传输。本专利技术有效的将海量物联网信息接入到智能平台，对数据点进行统一配置和管理，提供便捷接口和协议，支持数据的跨平台访问，能够以模块化、批量化的方式进行快速的部署；能够在各种应用现场适应不同型号的设备，实现物联网信息的高速接入和便捷管理。附图说明图1为本专利技术实施例的方法流程示意图；图2为本专利技术实施例中数据节点-设备节点-数据点地址架构图；图3为本专利技术实施例的方法中数据访问流程图；图4为本专利技术实施例的系统结构示意图。具体实施方式为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。如图1所示，本专利技术提供了一种基于内存数据库的海量数据点实时数据的分布式管理方法，包括以下步骤：步骤1：构建至少一个配置数据库节点db，每个配置数据库节点db中建立有若干关系表table，关系表table用于存储设备节点dev信息、数据点信息、数据节点DataPlatform信息以及设备节点dev、数据点、数据节点DataPlatform之间的映射关系；还用于存储查询数据点集合ID和数据点的映射关系，查询数据点集合ID通过用算法生成的一个32字节字符串来唯一标识。步骤2：标记所有数据点所属的设备节点dev，各设备节点之间通过用算法生成的一个32字节字符串设备ID进行唯一识别，一个实际存在的设备可以标记出至少一个设备节点。本实施例在一个设备节点dev内，使用一个32位的数值标记数据点地址，该数值即为数据点地址。每个数据点都属于一个指定的设备节点dev。步骤3：标记各个数据点，各数据点之间通过设备节点ID和数据点地址的组合进行唯一识别。步骤4：建立至少一个数据节点DataPlatform，每个数据节点DataPlatform中包含一组分布集群中的设备节点dev，为各数据节点DataPlatform分配主机地址和访问端口，其中，每个主机地址对应至少一个数据节点DataPlatform，访问端口与数据节点DataPlatform一一对应。如图2、3所示，数据节点D本文档来自技高网...

【技术保护点】
1.一种海量数据点实时数据的分布式管理方法，其特征在于，包括以下步骤：步骤1：构建至少一个配置数据库节点，每个配置数据库节点中建立有若干关系表；所述关系表用于存储设备节点信息、数据点信息、数据节点信息以及设备节点、数据点、数据节点之间的映射关系，用于存储查询数据点集合ID和数据点的映射关系；步骤2：标记所有数据点所属的设备节点，各设备节点之间通过一个字符串设备节点ID进行唯一识别；步骤3：标记各个数据点，各数据点之间通过设备节点ID和数据点地址的组合进行唯一识别；步骤4：建立至少一个数据节点，每个数据节点中包含一组分布集群中的设备节点以及设备节点的所有数据点；为各数据节点分配主机地址和访问端口，其中，每个主机地址对应至少一个数据节点，访问端口与所述数据节点一一对应；步骤5：标记各个数据节点，各数据节点之间通过一个字符串数据节点ID进行唯一识别；步骤6：标记数据节点、设备节点、数据点之间的映射关系以及查询数据点集合；步骤7：所述数据节点向所述配置数据库节点发送查询所管理的设备节点及设备节点所有数据点的请求信息；步骤8：所述配置数据库节点根据所述请求信息，检索关系表后，反馈相应设备节点及数据点信息；步骤9：根据所述配置数据库节点查询到的设备节点信息和数据点信息，数据节点建立实时数据管理池对查询到的数据点进行实时数据管理，并通过查询到的设备节点信息，连接对应设备节点，与这些设备节点进行相应数据点的信息传输；步骤10：向所述配置数据库节点发送查询数据点的请求信息；步骤11：所述配置数据库节点根据所述请求信息，检索关系表后，反馈相应数据点以及数据点所在的数据节点的主机地址和访问端口；步骤12：根据所述配置数据库节点查询到的数据节点的主机地址和访问端口，连接对应数据节点，完成相应数据点的信息传输。...

【技术特征摘要】
1.一种海量数据点实时数据的分布式管理方法，其特征在于，包括以下步骤：步骤1：构建至少一个配置数据库节点，每个配置数据库节点中建立有若干关系表；所述关系表用于存储设备节点信息、数据点信息、数据节点信息以及设备节点、数据点、数据节点之间的映射关系，用于存储查询数据点集合ID和数据点的映射关系；步骤2：标记所有数据点所属的设备节点，各设备节点之间通过一个字符串设备节点ID进行唯一识别；步骤3：标记各个数据点，各数据点之间通过设备节点ID和数据点地址的组合进行唯一识别；步骤4：建立至少一个数据节点，每个数据节点中包含一组分布集群中的设备节点以及设备节点的所有数据点；为各数据节点分配主机地址和访问端口，其中，每个主机地址对应至少一个数据节点，访问端口与所述数据节点一一对应；步骤5：标记各个数据节点，各数据节点之间通过一个字符串数据节点ID进行唯一识别；步骤6：标记数据节点、设备节点、数据点之间的映射关系以及查询数据点集合；步骤7：所述数据节点向所述配置数据库节点发送查询所管理的设备节点及设备节点所有数据点的请求信息；步骤8：所述配置数据库节点根据所述请求信息，检索关系表后，反馈相应设备节点及数据点信息；步骤9：根据所述配置数据库节点查询到的设备节点信息和数据点信息，数据节点建立实时数据管理池对查询到的数据点进行实时数据管理，并通过查询到的设备节点信息，连接对应设备节点，与这些设备节点进行相应数据点的信息传输；步骤10：向所述配置数据库节点发送查询数据点的请求信息；步骤11：所述配置数据库节点根据所述请求信息，检索关系表后，反馈相应数据点以及数据点所在的数据节点的主机地址和访问端口；步骤12：根据所述配置数据库节点查询到的数据节点的主机地址和访问端口，连接对应数据节点，完成相应数据点的信息传输。2.根据权利要求1所述的海量数据点实时数据的分布式管理方法，其特征在于：步骤2中，在一个所述设备节点内，使用一个32位的数值标记数据点地址，该数值即为数据点地址。3.根据权利要求1所述的海量数据点实时数据的分布式管理方法，其特征在于：步骤7中，创建访问配置数据库节点的数据库查询组件，所述数据库查询组件用于从配置数据库节点中查询相关的配置信息。4.根据权利要求1所述的海量数据点实时数据的分布式管理...

【专利技术属性】
技术研发人员：叶传虎，王傲能，王胜勇，卢家斌，
申请(专利权)人：中冶南方武汉自动化有限公司，
类型：发明
国别省市：湖北,42