日志信息的处理方法技术

本公开实施例提供一种日志信息的处理方法

【技术实现步骤摘要】
日志信息的处理方法、装置、设备及存储介质


[0001]本公开实施例涉及互联网
，尤其涉及一种日志信息的处理方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]随着互联网技术的发展，越来越多的用户通过互联网平台观看视频
、
购买物品等
。
这就需要对用户的日志信息进行存储
。
例如，可以对用户的某一订单的信息进行记录，得到日志信息
。
对该日志信息进行存储，这样用户可以通过查询日志信息，获知该订单的实时状态
。
[0003]现有技术中，通过
ElasticSearch
数据库对用户的日志信息进行存储
。
其中，
ElasticSearch
数据库以数据列表的形式存储日志信息，当接收到日志信息时，先确定该日志信息在数据列表中的编号，然后，将该日志信息存储到该编号对应的列表位置
。
[0004]然而，专利技术人发现现有技术至少存在如下技术问题：
ElasticSearch
数据库的写入速度不稳定，且受日志信息数量的影响较大；这样，当日志信息的数量较多时，
ElasticSearch
数据库的写入速度较慢，进而导致日志信息的存储效率较低
。

技术实现思路

[0005]本公开实施例提供一种日志信息的处理方法
、
装置
、
设备及存储介质，可以提高日志信息的存储效率
。
[0006]第一方面，本公开实施例提供一种日志信息的处理方法，应用于分布式日志存储系统，其中所述分布式日志存储系统包括日志写入集群和多个日志存储集群；所述方法包括：
[0007]响应于日志写入集群包括的多个写入节点中任一写入节点接收到日志信息，通过所述写入节点获取所述日志信息中的存储分区标识；
[0008]通过所述写入节点确定与所述存储分区标识对应的集群配置信息，其中所述集群配置信息包括日志存储集群标识；
[0009]通过所述写入节点从多个日志存储集群中确定与所述日志存储集群标识相匹配的目标日志存储集群，并将所述日志信息写入到所述目标日志存储集群内
。
[0010]第二方面，本公开实施例提供一种日志信息的处理装置，应用于分布式日志存储系统，其中所述分布式日志存储系统包括日志写入集群和多个日志存储集群；所述装置包括：
[0011]获取模块，用于响应于日志写入集群包括的多个写入节点中任一写入节点接收到日志信息，通过所述写入节点获取所述日志信息中的存储分区标识；
[0012]确定模块，用于通过所述写入节点确定与所述存储分区标识对应的集群配置信息，其中所述集群配置信息包括日志存储集群标识；
[0013]写入模块，用于通过所述写入节点从多个日志存储集群中确定与所述日志存储集
群标识相匹配的目标日志存储集群，并将所述日志信息写入到所述目标日志存储集群内
。
[0014]第三方面，本公开实施例提供一种电子设备，包括：
[0015]处理器，以及与所述处理器通信连接的存储器；
[0016]所述存储器存储计算机执行指令；
[0017]所述处理器执行所述存储器存储的计算机执行指令，以实现如上第一方面所述的日志信息的处理方法
。
[0018]第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面所述的日志信息的处理方法
。
[0019]第五方面，本公开实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面所述的日志信息的处理方法
。
[0020]本实施例提供的日志信息的处理方法
、
装置
、
设备及存储介质，应用于分布式日志存储系统，其中分布式日志存储系统包括日志写入集群和多个日志存储集群；该方法包括：响应于日志写入集群包括的多个写入节点中任一写入节点接收到日志信息，通过写入节点获取日志信息中的存储分区标识；通过写入节点确定与存储分区标识对应的集群配置信息，其中集群配置信息包括日志存储集群标识；通过写入节点从多个日志存储集群中确定与日志存储集群标识相匹配的目标日志存储集群，并将日志信息写入到目标日志存储集群内
。
由于日志写入集群与日志存储集群是相对独立的集群，这样日志写入集群可以只处理日志信息写入，而不存储日志信息，因此提高了日志信息写入的效率；并且，由于日志存储集群只用于存储日志信息，而不用处理日志信息，从而可以降低日志存储集群的配置要求，进而降低了日志存储集群的成本
。
附图说明
[0021]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图
。
[0022]图1为本公开实施例提供的一种日志信息的处理方法的应用场景示意图；
[0023]图2为本公开实施例提供的一种日志信息的处理方法的流程图；
[0024]图3为本公开实施例提供的一种多个日志存储集群的布局示意图；
[0025]图4为本公开实施例提供的另一种日志信息的处理方法的流程图；
[0026]图5为本公开实施例提供的一种日志信息的处理装置的结构框图；
[0027]图6为本公开实施例提供的一种电子设备的硬件结构示意图
。
具体实施方式
[0028]为使本公开实施例的目的
、
技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例
。
基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围
。
[0029]需要说明的是，本申请所涉及的用户信息
(
包括但不限于用户设备信息
、
用户个人信息等
)
和数据
(
包括但不限于用于分析的数据
、
存储的数据
、
展示的数据等
)
，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集
、
使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝
。
[0030]随着互联网技术的发展，越来越多的用户通过互联网平台观看视频
、
购买物品等
。
这就需要对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种日志信息的处理方法，其特征在于，应用于分布式日志存储系统，其中所述分布式日志存储系统包括日志写入集群和多个日志存储集群；所述方法包括：响应于日志写入集群包括的多个写入节点中任一写入节点接收到日志信息，通过所述写入节点获取所述日志信息中的存储分区标识；通过所述写入节点确定与所述存储分区标识对应的集群配置信息，其中所述集群配置信息包括日志存储集群标识；通过所述写入节点从多个日志存储集群中确定与所述日志存储集群标识相匹配的目标日志存储集群，并将所述日志信息写入到所述目标日志存储集群内
。2.
根据权利要求1所述的方法，其特征在于，所述写入节点内存储有存储分区标识与集群配置信息之间的对应关系；相应地，所述通过所述写入节点确定与所述存储分区标识对应的集群配置信息，包括：通过所述写入节点，从存储分区标识与集群配置信息之间的对应关系中，确定与所述存储分区标识对应的集群配置信息
。3.
根据权利要求1或2任一项所述的方法，其特征在于，所述分布式日志存储系统还包括日志查询集群，所述方法还包括：响应于日志查询集群接收到查询日志请求，所述查询日志请求包括筛选条件信息；通过所述日志查询集群，从已存储的静态有序表
SST
文件中，查询与所述筛选条件信息对应的索引信息，其中所述
SST
文件中包括多个索引信息；通过所述日志查询集群，从所述多个日志存储集群中获取与所述索引信息对应的日志信息
。4.
根据权利要求3所述的方法，其特征在于，所述筛选条件信息包括搜索关键字和
/
或数据有效期限；相应地，所述通过所述日志查询集群，从已存储的静态有序表
SST
文件中，查询与所述筛选条件信息对应的索引信息，包括：所述通过所述日志查询集群，从已存储的静态有序表
SST
文件中，查询与所述搜索关键字对应的索引信息，和
/
或，所述通过所述日志查询集群，从已存储的静态有序表
SST
文件中，查询与所述数据有效期限对应的索引信息
。5.
根据权利要求3所述的方法，其特征在于，所述分布式日志存储系统还包括压缩集群，所述集群配置信息还包括预设的关键字；所述通过所述日志查询集群，从已存储的静态有序表
S...

【专利技术属性】
技术研发人员：蔡舒，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：