一种基于共享存储的实时数据库系统技术方案

本发明专利技术提供了一种数据库系统，该系统包括：对外统一接口模块，以Restful API接口的形式对外提供实时数据的访问接口，对外统一接口模块还用于接口访问的负载均衡；数据库主服务模块，用于服务请求的转发；实时数据存储模块，用于分布式存储时序数据的实时和历史数据，并提供统一的Ceph Client访问接口；消息中间件模块，用于订阅、发布消息，该消息用于触发内存加载、启动计算服务、缓存实时数据；计算服务模块，用于时序数据库的计算测点；转存服务模块，用于实时数据库的实时数据到历史数据库的转存。

【技术实现步骤摘要】
一种基于共享存储的实时数据库系统
本专利技术涉及数据库
，尤其涉及一种基于共享存储的实时数据库系统。
技术介绍
在传统应用领域，传统数据库以其严格的数学基础、简单清晰的概念、易于操作的优势获得了巨大的成功。但在电力、化工、能源等流程工业生产领域（最主要的特点是生产连续进行、不发生中断）会产生大量的时序数据，随着生产设备的数字化和智能化以及物联网技术的发展，实际生产中采集的实时数据呈现出爆发式的增长趋势。传统数据库难以满足数据的实时限制和高流量需求。存在的问题主要表现为：传统的数据库系统旨在处理永久、稳定的数据，强调维护数据的完整性、一致性，其目标是高系统吞吐量和付出低代价，而不考虑数据及其处理的定时限制。与此相对，时序数据管理系统针对的是结构关系简单、变化幅度稳定数据，可以很好的应对高实时性、大数据容最和访问量大的挑战。时序数据库的出现，以其超大规模数据处理能力和高比例压缩能力，实现海量数据的高效压缩存储、查询检索和统计分析，为应用系统进行数据挖掘、分析计算提供数据基础，提升了企业在实时监控、数据处理与存储、生产信息的集成与共享等方面的信息化程度。目前电力企业时序数据存储主要是基于集中部署方式。一些市面上主流的时序数据库存在使用和学习成本过高，维护困难，系统依赖控件过多，扩展性不足，安装部署卸载过程复杂等问题。还有些时序数据库的客户端的并发数不足，支持的点位量有限，在数据容量变大时，会出现读、写性能的显著下降。
技术实现思路
本专利技术的目的在于提供一种基于共享存储的实时数据库系统，以解决现有主流的时序数据库存在使用和学习成本过高，维护困难，系统依赖控件过多，扩展性不足，以及并发数不足，支持的点位量有限，在数据容量变大时，会出现读、写性能的显著下降的问题。为实现上述目的，本专利技术采用如下技术方案：一种数据库系统，所述系统包括：对外统一接口模块，所述对外统一接口模块以RestfulAPI接口的形式对外提供实时数据的访问接口；所述对外统一接口模块还用于接口访问的负载均衡；数据库主服务模块，所述数据库主服务模块用于服务请求的转发；实时数据存储模块，所述实时数据存储模块用于分布式存储时序数据的实时和历史数据，所述实时数据存储模块提供统一的CephClient访问接口；消息中间件模块，所述消息中间件模块用于订阅、发布消息，该消息用于触发内存加载、启动计算服务和缓存实时数据；计算服务模块，所述计算服务模块用于时序数据库的计算测点；转存服务模块，所述转存服务模块用于实时数据库的实时数据到历史数据库的转存。优选地，所述接口访问的负载均衡基于Nginx和keepalive实现。优选地，实时数据存储于内存数据库Redis，历史数据存储于文档数据库MongoDB，所述内存数据库Redis和文档数据库MongoDB部署于Ceph集群上。优选地，所述消息中间件模块基于kafka消息中间件。优选地，所述数据库系统还包括，测点管理模块，用于记录普通实时测点的基本信息，以及记录计算测点的基本信息。具体地，普通实时测点的基本信息包含测点名、测点号、测点描述、死区、是否存储历史；计算测点的基本信息包含测点名、测点号、测点描述、计算测点依赖的普通测点、计算公式。具体地，普通实时测点和计算测点的基本信息存储于部署于Ceph集群的MongoDB数据库中，所述基本信息的添加、修改和删除操作通过对外统一接口模块发送给数据主服务接口，通过消息中间件模块同步不同设备上修改之后的测点信息，CephClient通过监听对应的测点信息主题来修改MongoDB数据库中存储的测点信息表，测点信息表在时序存储系统服务启动时被加载到消息中间件模块缓存队列当中。优选地，所述计算测点的方式包含轮询方式和触发方式。具体地，所述轮询方式包括，按照计算测点的计算周期进行周期性计算，通过读取实时测点值的实时数据，依据预定计算模型算出测点计算结果，并将测点计算结果通过统一访问接口再写回对应计算测点值。具体地，所述触发方式包括，计算测点依据依赖测点的实时值变化情况触发计算服务，计算相关计算测点的实时值，所述触发基于通过消息中间件模块订阅数据测点依赖的实时测点信息，将计算结果通过统一访问接口写回对应计算测点值。与现有技术相比，本专利技术提供的一种数据库系统，结合负载均衡、分布式文件系统、高吞吐量消息中间件，建立实时数据存储架构，数据库并发访问量高，可扩展性好，可靠性高，学习使用维护成本低，数据访问接口丰富灵活，支持几乎所有语言访问数据库，支持和大数据生态圈对接，能有效应对传统实时库在海量数据时读写效率变慢的问题，支持历史数据秒级响应，能够满足大数据量情况下的实时、历史数据应用要求。附图说明图1为本专利技术实施例提供的一种数据库系统的结构图；图2为本专利技术实施例提供的一种数据库系统的数据传递示意图。具体实施方式下面结合具体实施例对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。一般而言，时序数据库主要应用于对数据库能力和实时处理技术两者均有较高要求的领域，如电力、石化、冶金等工业控制系统与信息管理系统中。目前国内外已经存在许多成熟的时序数据库。按照所使用的内核不同，可处理时序数据的实时数据库可分成采用专用内核的数据库与采用关系数据库内核的实时数据库以及基于大数据平台开源组件实现的实时数据库这三类。采用专用内核的典型代表为AspenTech公司的InfoPlus21及OSI公司的PI，采用专用内核的实时库有着响应速度快、可靠性高、容量大的优势，但其存在采购成本高，跨平台方面有所不足（例如：PI主要运行在Windows平台之上），对于大数据平台的接入性差等问题。采用关系数据库内核的典型代表为Wonderware公司的FabtorySuit2000。采用大数据平台开源组件实现的实时数据库代表有openTSDB，openTSDB其底层采用的是HBase集群存储，根据时序的特征对数据进行压缩，节省存储空间，同时支持对时序数据常用的查询、数据聚合和过滤等操作进行封装，可扩展性好。但是存在依赖组件多，安装复杂，部署以及运维成本高的问题。并且，随着物联网技术逐步渗透工业,不断增长的传感器、飙升的数据量以及更高的大数据分析需求对原有的传统时序数据库技术提出了进一步的挑战，传统时序数据库遇到如下技术问题：1）扩展性遇到瓶颈。传统的技术架构虽然能保证单机具备极高的性能，也可以通过增加机器使性能线性扩展，但是不能像分布式系统那样实现动态灵活的扩容和缩容，需要提前进行规划。当业务升级需要系统扩容时，老框架的扩展性就很难满足要求了。2）无法和大数据生态对接。现有的大数据产业中对于海量数据的存储分析已经存在成熟的解决方案，要实现和大数据平台的对接，不得不对现有实时数据库进行升级改造。3）还存在价格高昂的问题，市面上的实时数据库产品中，性能比较优越的其成本比较高。...

【技术保护点】
1.一种数据库系统，所述系统包括：/n对外统一接口模块，所述对外统一接口模块以Restful API接口的形式对外提供实时数据的访问接口；所述对外统一接口模块还用于接口访问的负载均衡；/n数据库主服务模块，所述数据库主服务模块用于服务请求的转发；/n实时数据存储模块，所述实时数据存储模块用于分布式存储时序数据的实时和历史数据，所述实时数据存储模块提供统一的Ceph Client访问接口；/n消息中间件模块，所述消息中间件模块用于订阅、发布消息，该消息用于触发内存加载、启动计算服务和缓存实时数据；/n计算服务模块，所述计算服务模块用于时序数据库的计算测点；/n转存服务模块，所述转存服务模块用于实时数据库的实时数据到历史数据库的转存。/n

【技术特征摘要】
1.一种数据库系统，所述系统包括：
对外统一接口模块，所述对外统一接口模块以RestfulAPI接口的形式对外提供实时数据的访问接口；所述对外统一接口模块还用于接口访问的负载均衡；
数据库主服务模块，所述数据库主服务模块用于服务请求的转发；
实时数据存储模块，所述实时数据存储模块用于分布式存储时序数据的实时和历史数据，所述实时数据存储模块提供统一的CephClient访问接口；
消息中间件模块，所述消息中间件模块用于订阅、发布消息，该消息用于触发内存加载、启动计算服务和缓存实时数据；
计算服务模块，所述计算服务模块用于时序数据库的计算测点；
转存服务模块，所述转存服务模块用于实时数据库的实时数据到历史数据库的转存。


2.根据权利要求1所述的系统，其中，所述接口访问的负载均衡基于Nginx和keepalive实现。


3.根据权利要求1所述的系统，其中，实时数据存储于内存数据库Redis，历史数据存储于文档数据库MongoDB，所述内存数据库Redis和文档数据库MongoDB部署于Ceph集群上。


4.根据权利要求1所述的系统，其中，所述消息中间件模块基于kafka消息中间件。


5.根据权利要求1所述的系统，还包括，
测点管理模块，用于记录普通实时测点的基本信息，以及记录计算测点的基本信息。
...

【专利技术属性】
技术研发人员：黄刘松，宋坤，张飞，杨利利，周明琴，王永文，刘广，王照阳，朱峰，朱辰泽，刘川，刘思君，
申请(专利权)人：南京华盾电力信息安全测评有限公司，
类型：发明
国别省市：江苏;32