基于MongoDB分布式集群架构的日志系统及分片方法技术方案

本发明专利技术涉及一种基于MongoDB分布式集群架构的日志系统及分片方法，其中该系统包括路由实例单元、配置服务器和分片服务器，其中路由实例单元用于接收来自外部服务器的集群数据，并基于配置服务器的配置信息发送该集群数据的分片命令，最后分片服务器根据所述的分片命令和所述集群数据所归属的日志表类别进行存储和分析。采用了该发明专利技术中的基于MongoDB分布式集群架构的日志系统及分片方法，通过创建所需的日志表，支持超大规模的日志数据存储；同时，本发明专利技术充分利用MongoDB无线动态增列特点，使得用户可以自定义日志表中的列名，且MongoDB集群具备数据自动备份与恢复功能，从而保证了数据的安全性，具有更广泛的应用范围。

【技术实现步骤摘要】
基于MongoDB分布式集群架构的日志系统及分片方法
本专利技术涉及数据库
，尤其涉及分布式
，具体是指一种基于MongoDB分布式集群架构的日志系统及分片方法。
技术介绍
目前，日志系统一般都是采用文件或者单一数据库存储数据。采用文件形式存储日志内容的，一般都是按天进行切割，在数据量不大的前提下，单机还是可以存储这些日志内容，但是一台单机在存储容量、并发性上毫无疑问都是有很大限制的。而日志数据的特点之一就是随时间持续增长，并且由于很多分析过程往往需要历史数据。短时间内的增长也许可以通过分库、分表或者数据压缩等来解决，不过很显然没有从根本上解决问题。想要彻底解决数据大规模增长带来的问题，使用分布式数据库存储是一个好选择。
技术实现思路
本专利技术的目的是克服了上述现有技术的缺点，提供了一种能够实现在线扩容的基于MongoDB分布式集群架构的日志系统及分片方法。为了实现上述目的，本专利技术的基于MongoDB分布式集群架构的日志系统及分片方法如下：该基于MongoDB分布式集群架构的日志系统，其主要特点是，所述的系统包括：路由实例单元，用于接收来自外部服务器的集群数据，并根据该本文档来自技高网...

【技术保护点】
1.一种基于MongoDB分布式集群架构的日志系统，其特征在于，所述的系统包括：路由实例单元，用于接收来自外部服务器的集群数据，并根据该集群数据对应发送分片命令；配置服务器，与所述的路由实例单元相连接，用于提供所述分片命令所需的元数据信息；分片服务器，与所述的路由实例单元相连接，根据所述的分片命令和所述集群数据所归属的日志表类别进行存储和分析。

【技术特征摘要】
1.一种基于MongoDB分布式集群架构的日志系统，其特征在于，所述的系统包括：路由实例单元，用于接收来自外部服务器的集群数据，并根据该集群数据对应发送分片命令；配置服务器，与所述的路由实例单元相连接，用于提供所述分片命令所需的元数据信息；分片服务器，与所述的路由实例单元相连接，根据所述的分片命令和所述集群数据所归属的日志表类别进行存储和分析。2.根据权利要求1所述的基于MongoDB分布式集群架构的日志系统，其特征在于，所述的系统还包括：日志表创建单元，与所述的分片服务器相连接，用于创建日志表。3.根据权利要求2所述的基于MongoDB分布式集群架构的日志系统，其特征在于，所述的日志表创建单元包括：第一创建子单元，与所述的分片服务器相连接，用于在系统初始化时创建第一日志表集；第二创建子单元，与所述的分片服务器相连接，用于根据需求自定义第二日志表集的创建。4.一种基于权利要求1所述的基于MongoDB分布式集群架构的日志系统实现基于MongoDB分布式集群架构的分片方法，其特征在于，所述的方法包括以下步骤：(1)所述的路由实例单元接收来自外部服务器的集群数据；(2)所述的路由实例单元根据所述配置服务器提供的元数据信息，发送所述集群数据的分片命令；(3)所述的分片服务器根据所述的分片命令以及所述...

【专利技术属性】
技术研发人员：殷伟斌，钱平，徐冬生，金海，徐街明，张永，范明，周富强，卞寅飞，罗志远，杨波，殷军，宋小会，狄军峰，赵德基，
申请(专利权)人：国网浙江省电力有限公司嘉兴供电公司，国家电网有限公司，许继集团有限公司，上海许继电气有限公司，
类型：发明
国别省市：浙江,33