一种分布式日志的存储方法及系统技术方案

本发明专利技术公开了一种分布式日志的存储方法及系统，分布式日志的存储系统通过预设规则拉取各个客户端中的日志中的预设关键字段及其字段信息，以得到分布式日志；之后获取到日志的查询请求时，若所需查询的字段存在于预设关键字段中，就可以从分布式日志中直接进行查询，否则，就需要拉取客户端的全量日志，并重新聚合分布式日志。以此方式，能够在海量存储数据的时候，减少分布式日志存储系统中无用日志的存储，因此存储系统只存储最关键的数据信息，而具体完整日志仍然由各个客户端实例自身保存，有效减少存储系统存储日志的压力。

【技术实现步骤摘要】

本专利技术涉及日志存储的，特别涉及一种分布式日志的存储方法及系统。

技术介绍

1、现在的互联网系统中，为了满足高并发、高吞吐的性能要求，大部分的互联网系统服务端都会采用微服务架构的方式，该架构方式下，将会产生众多的微服务系统，即各个服务组件、功能组件或者各个组件之间可能存在互相依赖的场景。

2、而每一个微服务的实例都会产生日志，成千上万的应用实例可以产生海量的日志数据，为了实现日志的快速查询功能，目前通用的方式就是使用elk之类的分布式日志组件，其主要的功能就是从各个实例中获取全量的日志信息，之后，统一存储在elk的存储组件中，并提供快速查询的功能。虽然elk实现了分布式日志的统一存储与快速查询功能，但是，如果日志数量达到一定级别之后，会给统一存储系统带来巨大的压力。

3、面对海量数据存储，无论是服务器资源、磁盘、网络io或者内存等的需求量都会急剧增多，最终导致成本增加。日志的存储只是为了查询以及跟踪问题使用的，绝大多数的日志基本都是无用的，因此对于日志存储会占用大量的存储资源。

技术实现思路...

【技术保护点】

1.一种分布式日志的存储方法，其特征在于，包括步骤：

2.根据权利要求1所述的一种分布式日志的存储方法，其特征在于，所述按照预设规则拉取各个客户端中的日志以得到分布式日志，包括：

3.根据权利要求1所述的一种分布式日志的存储方法，其特征在于，拉取所述日志查询请求对应客户端的全量日志，包括：

4.根据权利要求3所述的一种分布式日志的存储方法，其特征在于，所述根据查找到的日志的时间信息待查时间范围，包括：

5.根据权利要求1所述的一种分布式日志的存储方法，其特征在于，还包括：

6.一种分布式日志的存储系统，包括存储器、处理器以及存储...

【技术特征摘要】

1.一种分布式日志的存储方法，其特征在于，包括步骤：

2.根据权利要求1所述的一种分布式日志的存储方法，其特征在于，所述按照预设规则拉取各个客户端中的日志以得到分布式日志，包括：

3.根据权利要求1所述的一种分布式日志的存储方法，其特征在于，拉取所述日志查询请求对应客户端的全量日志，包括：

4.根据权利要求3所述的一种分布式日志的存储方法，其特征在于，所述根据查找到的日志的时间信息待查时间范围，包括：

5.根据权利要求1所述的一种分布式日志的存储方法，其特征在于，还包括：

6.一种分布式日志的存储系统，包括存储器、处理器...

【专利技术属性】
技术研发人员：刘德建，张少敏，郭孟祺，郑坦，郑锦斌，陈宏，
申请(专利权)人：福建天泉教育科技有限公司，
类型：发明
国别省市：