分布式实时数据库管理系统技术方案

本实用新型专利技术提供了一种分布式实时数据库管理系统，包括：一个或多个数据库服务器；分布式节点管理服务器，用于提供分布式实时数据采集录入接口和分布式实时数据库通用访问接口；多个用于采集数据的数据采集装置，分布在不同地点，与所述分布式节点管理服务器相连，通过所述分布式实时数据采集录入接口将采集到的数据发送给所述数据库服务器；一个或多个客户端，与所述分布式节点管理服务器相连，用于通过所述分布式实时数据库通用访问接口检索或修改所述数据库服务器中的数据。本实用新型专利技术所提供的分布式实时数据库管理系统对于分布广泛、数据量大的数据能够采用分布式数据库的形式实现实时有效的数据管理。（*该技术在2021年保护过期，可自由使用*）

【技术实现步骤摘要】

本技术涉及控制领域，尤其涉及一种分布式实时数据库管理系统。
技术介绍
数据库管理系统(DBMS)是一个由外模式、概念模式和内模式组成的多级系统结构。实时数据库管理系统(RTDBMS)是事务和数据都具有定时限制或显式定时限制的数据库系统。“实时”意在用户可显式地施加所要求的时间限制，并能通过系统的时间识别与处理机制来处理并保证或尽可能地保证满足与各种活动相关联的时间限制。但是，在电力、石油、交通等重点行业广域分布的大型复杂应用系统中，由于数据分布广泛，实时性不够，现在的实时数据库管理系统已经无法满足这些行业的需求。
技术实现思路
本技术要解决的技术问题是如何在数据量大、分布广泛的情况下，高效存储和管理数据。为了解决上述问题，本技术提供了一种分布式实时数据库管理系统，包括一个或多个数据库服务器；分布式节点管理服务器，用于提供分布式实时数据采集录入接口和分布式实时数据库通用访问接口；多个用于采集数据的数据采集装置，分布在不同地点，与所述分布式节点管理服务器相连，通过所述分布式实时数据采集录入接口将采集到的数据发送给所述数据库服务器；一个或多个客户端，与所述分布式节点管理服务器相连，用于通过所述分布式实时数据库通用访问接口检索或修改所述数据库服务器中的数据。进一步地，所述数据库服务器包括实时数据库服务器和历史数据库服务器。进一步地，所述实时数据库服务器包括多核处理器、内存；通信接口，与所述分布式节点管理服务器相连，用于接收所述数据采集装置发送的数据，以及所述客户端的检索操作；调度单元，用于将所述客户端的检索操作进行任务分解，并动态分配到所述多核处理器的多个处理核中；存储管理器，用于将从所述数据采集装置接收到的数据组织后存储在所述内存中；所述多核处理器用于对所述内存中的索引结构进行维护，自动识别缓存块的实际大小，并以此为依据动态调整索引节点大小，将相关性高的数据组织在同一索引节点或者相邻索引节点中；将从所述内存中查询到的数据通过所述通信接口返回给所述分布式节点管理服务器。4进一步地，所述历史数据库服务器包括应用程序接口单元、处理单元、存储单元；所述应用程序接口单元与所述分布式节点管理服务器相连，用于接收所述数据采集装置发送的数据，向所述处理单元提交数据存储和所述客户端的检索任务，以及配置管理指令；所述处理单元用于根据存储任务将所述数据采集装置发送的数据存储到所述存储单元中的数据库里，根据检索任务查询数据并通过所述应用程序接口单元返回给所述分布式节点管理服务器，以及进行并发控制。进一步地，所述存储单元包括高速查询缓存和数据缓存。进一步地，所述数据采集装置包括用于采集数据的采集单元；用于对所采集的数据进行统一编码转换与预处理后发送给所述数据库服务器、以及进行采集状态监测的分布式实时数据采集接口；用于进行传感器自动发现管理、无线射频识别标签信息采集管理、以及将传感器变动信息发送到所述数据库服务器的处理单元；用于连接所述处理单元和所述采集单元、及所述分布式实时数据采集接口和所述采集单元的分布式实时数据集成总线。进一步地，所述采集单元包括以下一种或多种各类传感器、无线射频识别设备、分布式控制系统设备和智能移动设备。本技术所提供的分布式实时数据库管理系统也可称为分布式数据监测系统， 对于分布广泛、数据量大的数据能够采用分布式数据库的形式实现实时有效的数据管理。附图说明图1是实施例一的分布式实时数据库管理系统的示意框图；图2是实施例一中实时数据库服务器的示意框图；图3是实施例一中历史数据库服务器的示意框图；图4是实施例一中数据采集装置的示意框图。具体实施方式下面将结合附图及实施例对本技术的技术方案进行更详细的说明。需要说明的是，如果不冲突，本技术实施例及实施例中的各个特征可以相互结合，均在本技术的保护范围之内。实施例一、一种分布式实时数据库管理系统，如图1所示，包括—个或多个数据库服务器；分布式节点管理服务器，用于提供分布式实时数据采集录入接口和分布式实时数据库通用访问接口 ；所述分布式实时数据采集录入接口支持分布式海量数据的实时录入； 所述分布式实时数据库通用访问接口，支持分布式实时数据的查询分析；多个用于采集数据的数据采集装置，分布在不同地点，与所述分布式节点管理服务器相连，通过所述分布式实时数据采集录入接口将采集到的数据发送给所述数据库服务器；一个或多个客户端，与所述分布式节点管理服务器相连，用于通过所述分布式实时数据库通用访问接口检索或修改所述数据库服务器中的数据。所述数据采集装置对分布式环境中的数据进行采集，可以包括以下一种或多种 各类传感器、RFID (无线射频识别)设备、DCS (分布式控制系统)设备和智能移动设备等； 所述数据采集装置以实时消息队列为基础，管理规范整个通讯环境，保障数据的实时可靠传输，并支持订阅发布模式的信息访问与共享。所述数据库服务器主要负责将数据采集装置采集到的数据进行存储与处理，然后提供给客户端应用。所述客户端主要通过访问所述数据库服务器的数据来动态的显示系统的状态，并可以动态的修改所述数据库服务器保存的数据。物理世界在不断地变化，数据采集装置所获得的物理世界信息通常是连续变化的，为了准确的物理世界的状态变化，需要每隔一个较短的时间就记录这些状态信息。由于历史数据非常庞大，而且需要永久保存，因此在目前的硬件环境下无法实现主内存的历史数据存储管理，历史数据存储和查询的时间难以精确估算。如果实时数据服务与历史数据服务部署在同一台服务器上，实时数据服务的实时性将受到较大影响。本实施例中，为了不影响实时数据服务的性能，可以在分布式实时数据处理环境下，将历史数据服务器部署在另外一台服务器。那么，在所述分布式数据库管理系统中，所述数据库服务器可以但不限于包括实时数据库服务器和历史数据库服务器。这两类服务器，一类是实时数据管理节点，负责实时数据存储和查询；另外一类是历史数据管理节点， 负责历史数据存储和查询。任何一个数据采集装置所获得的数据的实时数据都可以存储在分布式环境中的任何一个实时数据管理节点，其历史数据也可以存储在分布式环境中任何一个历史数据管理节点。本实施例中，所述实时数据库服务器主要对点表进行管理，以主内存方式组织管理数据，提供实时的数据存储和查询服务。所述历史数据库服务器主要对历史数据进行存储管理，支持历史数据压缩，并提供快速的历史数据查询分析服务。本实施例中，所述实时数据库服务器如图2所示，可以包括多核处理器、内存；通信接口，与所述分布式节点管理服务器相连，用于接收所述数据采集装置发送的数据，以及所述客户端的检索操作；调度单元，用于将所述客户端的检索操作进行任务分解，并动态分配到所述多核处理器的多个处理核中，这样可实现索引操作的并行化，充分发挥多个处理核的并行优势， 提高检索性能；存储管理器，用于将从所述数据采集装置接收到的数据组织后存储在所述内存中；所述多核处理器用于对对所述内存中的索引结构进行维护，自动识别缓存块的实际大小，并以此为依据动态调整索引节点大小，将相关性高的数据组织在同一索引节点或者相邻索引节点中，从而可增加缓存命中率，减少访问内存的次数，同时在优化过程中能够避免增加过多的空间开销和维护开销；还用于将从所述内存中查询到的数据本文档来自技高网...

【技术保护点】
１．一种分布式实时数据库管理系统，其特征在于，包括：一个或多个数据库服务器；分布式节点管理服务器，用于提供分布式实时数据采集录入接口和分布式实时数据库通用访问接口；多个用于采集数据的数据采集装置，分布在不同地点，与所述分布式节点管理服务器相连，通过所述分布式实时数据采集录入接口将采集到的数据发送给所述数据库服务器；一个或多个客户端，与所述分布式节点管理服务器相连，用于通过所述分布式实时数据库通用访问接口检索或修改所述数据库服务器中的数据。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘仁辉，
申请(专利权)人：北京六所和瑞科技发展有限公司，
类型：实用新型
国别省市：11