【技术实现步骤摘要】
日志数据处理方法、装置、电子设备及存储介质
[0001]本申请涉及数据处理
，尤其涉及一种日志数据处理方法、装置、电子设备及存储介质。
技术介绍
[0002]日志查看和调用链查看是业务开发和问题定位常用的工具，日志查看一般通过本地日志打印，但本地日志经常被打爆，无法保留太长时间；而日志查看和调用链查看需要同时登陆多个模块，导致日志查看和调用链查看的效率低，并且现有技术中在一个搜索业务模块调用另一个搜索业务模块的情况下，选择仅由该另一个搜索业务模块上报该调用关系，导致后续调用链的信息不够完整和准确。
技术实现思路
[0003]有鉴于上述存在的技术问题，本申请提出了日志数据处理方法、装置、电子设备及存储介质。
[0004]根据本申请的一方面，提供了一种日志数据处理方法，所述方法包括：获取多个搜索业务模块对历史时段内处理的搜索请求生成的多条日志数据；所述日志数据包括搜索请求标识信息，所述搜索请求标识信息包括搜索请求标识，用于唯一标识一次搜索请求；所述搜索业务模块包括所述搜索请求中作为主调的搜索业务模块...
【技术保护点】
【技术特征摘要】 【专利技术属性】
1.一种日志数据处理方法，其特征在于，所述方法包括：获取多个搜索业务模块对历史时段内处理的搜索请求生成的多条日志数据；所述日志数据包括搜索请求标识信息，所述搜索请求标识信息包括搜索请求标识，用于唯一标识一次搜索请求；所述搜索业务模块包括所述搜索请求中作为主调的搜索业务模块以及作为被调的搜索业务模块；基于所述搜索请求标识，对所述多条日志数据进行聚合处理，得到与各搜索请求标识对应的聚合日志数据；响应于日志查询请求，从所述日志查询请求中提取查询标识，所述查询标识与所述搜索请求标识对应；根据所述查询标识从所述聚合日志数据中查询到匹配的目标聚合日志数据；所述目标聚合日志数据对应的搜索请求标识与所述查询标识匹配。2.根据权利要求1所述的日志数据处理方法，其特征在于，所述方法还包括：对所述聚合日志数据进行进一步聚合处理，得到满足预设聚合阈值的聚合日志块，并为所述聚合日志块配置聚合索引；从所述聚合日志数据中提取搜索账号标识；构建所述搜索请求标识、所述搜索账号标识与所述聚合索引的对应关系，得到日志索引信息；将所述聚合索引与所述聚合日志块进行关联存储，并存储所述日志索引信息。3.根据权利要求2所述的日志数据处理方法，其特征在于，所述日志数据处理方法应用于日志数据处理系统，所述日志数据处理系统包括对象存储模块和分布式模块；所述将所述聚合索引与所述聚合日志块进行关联存储，并存储所述日志索引信息，包括：将所述聚合索引与所述聚合日志块关联存储至所述对象存储模块中；将所述日志索引信息存储至所述分布式模块中。4.根据权利要求3所述的日志数据处理方法，其特征在于，所述查询标识为待查询的搜索请求标识或待查询的搜索账号标识；所述根据所述查询标识从所述聚合日志数据中查询到匹配的目标聚合日志数据，包括：基于所述查询标识从所述日志索引信息中查询到匹配的目标聚合索引；利用所述目标聚合索引查询匹配的目标聚合日志块；从所述目标聚合日志块中提取出与所述查询标识匹配的所述目标聚合日志数据。5.根据权利要求4所述的日志数据处理方法，其特征在于，所述日志数据处理系统还包括本地索引模块，所述本地索引模块用于存储全量索引信息；所述方法还包括：基于所述本地索引模块读取所述分布式模块日志索引信息，进行所述全量索引信息的增量更新；所述基于所述查询标识从所述日志索引信息中查询到匹配的目标聚合索引，包括：在所述本地索引模块中，基于所述查询标识从所述全量索引信息中查询到匹配的所述目标聚合索引。6.根据权利要求1
‑
5任一项所述的日志数据处理方法，其特征在于，所述日志数据还包括各搜索请求中所述多个搜索业务模块之间的远程过程调用标识、用于指示串行调用或并行调用的调用类型标识、以及调用重试标识；所述基于所述搜索请求标识，对所述多条日志
技术研发人员：王威，饶春平，陈楷彬，卢雯雯，冷晶晶，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。