分布式实时数据库的存储系统技术方案

本发明专利技术提供了一种分布式实时数据库的存储系统，包括：分布式数据网关模块：用于数据的接收与查询代理；分布式消息队列模块：用于通过分布式消息队列实现数据的发布与订阅；分布式实时流计算服务模块：用于基于storm实时流计算框架，实现消息订阅服务、内存快照存储服务以及持久化存储服务；分布式缓存服务模块：用于通过分布式缓存存储数据快照；分布式存储服务模块：通过Nosql数据库HBase进行分布式存储服务，通过分布式搜索引擎Solr实现数据的检索。本发明专利技术有效地提升企业的智能化和信息化水平，并利用大数据技术挖掘潜在的数据价值，为企业的转型发展提供坚实的数据基础。

【技术实现步骤摘要】
分布式实时数据库的存储系统
本专利技术涉及分布式实时数据库，具体地，涉及分布式实时数据库的存储系统的架构。本专利技术能够广泛应用于工业大数据存储。
技术介绍
伴随着工业4.0的持续推进，工业设备的智能化以及企业的信息化改造将快速推进，由此也带来了数据的爆发式增长，对传统的实时数据库在点数规模、数据分布、可靠性、扩展性等多个方面提出了巨大挑战。对比研究目前国际领先的实时数据库产品PI、PHD，发现这些产品在面对工业大数据时都具有如下的局限性：(1)数据存储服务未能实现分布式架构，当单机服务异常时将导致服务不可用，无法提供检索和存储功能；(2)数据存储无副本机制，数据的安全性需要用户自己备份，无法保证在磁盘损坏时所有的数据拥有可靠的备份；(3)缺乏灵活的动态扩展能力，当存储性能或者存储容量达到瓶颈时难以做到动态的水平扩展；(4)数据检索能力有限，仅仅支持按照时间戳的检索条件，对于按值范围或者模糊检索不支持；(5)计算能力有限，仅仅能够根据其提供的有限的计算方法进行计算，无法有效地利大数据分布式计算技术实现对海量数据的计算分析经检索，发现如下相关检索结果。相关检索结果1：申请号：CN201本文档来自技高网...

【技术保护点】
一种分布式实时数据库的存储系统，其特征在于，包括：分布式数据网关模块：用于数据的接收与查询代理；分布式消息队列模块：用于通过分布式消息队列实现数据的发布与订阅；分布式实时流计算服务模块：用于基于storm实时流计算框架，实现消息订阅服务、内存快照存储服务以及持久化存储服务；分布式缓存服务模块：用于通过分布式缓存存储数据快照；分布式存储服务模块：通过Nosql数据库HBase进行分布式存储服务，通过分布式搜索引擎Solr实现数据的检索。

【技术特征摘要】
1.一种分布式实时数据库的存储系统，其特征在于，包括：分布式数据网关模块：用于数据的接收与查询代理；分布式消息队列模块：用于通过分布式消息队列实现数据的发布与订阅；分布式实时流计算服务模块：用于基于storm实时流计算框架，实现消息订阅服务、内存快照存储服务以及持久化存储服务；分布式缓存服务模块：用于通过分布式缓存存储数据快照；分布式存储服务模块：通过Nosql数据库HBase进行分布式存储服务，通过分布式搜索引擎Solr实现数据的检索。2.根据权利要求1所述的分布式实时数据库的存储系统，其特征在于，在数据存储过程中：分布式数据网关模块在分布式消息队列模块中创建数据存储话题和数据变化订阅话题，通过数据存储话题实现数据的上传，通过数据变化订阅话题接收数据变化，从而在数据变化时通知分布式实时数据库的客户端；第三方客户端调用分布式实时数据库的客户端传输数据；分布式数据网关模块的负载均衡服务器接收到数据，将数据发送到负荷较小的数据网关，数据网关将数据发送到分布式消息队列中的数据存储话题；分布式实时流计算服务模块从数据存储话题中接收到订阅消息，传送给消息订阅服务；消息订阅服务在数据发生变化以及该数据被分布式实时数据库订阅时，将该数据通过数据变化订阅话题发布出去，并将数据路由到内存快照存储服务；内存快照存储服务将数据发送到分布式缓存服务模块进行快照的存储，并将数据路由到持久化存储服务；持久化存储将数据发送到分布式存储服务模块进行数据的...

【专利技术属性】
技术研发人员：鲍远松，黄明，万英杰，沈春锋，史宁，纪娣芳，
申请(专利权)人：上海宝信软件股份有限公司，
类型：发明
国别省市：上海,31