日志处理方法、电子设备及计算机存储介质技术

本发明专利技术公开了一种日志处理方法、电子设备及计算机存储介质。所述方法包括：依次将多条日志写入缓存文件中；提取所述多条日志中包含的相同数据，并根据所述相同数据生成所述缓存文件的接口请求头信息；分别从所述多条日志中删除相应的相同数据。本方案在缓存日志时，通过将日志中包含的相同数据包含在接口请求头信息中，减少了日志中的重复数据，可以大大减少重复数据带来的开销，从而提高日志吞吐量。从而提高日志吞吐量。从而提高日志吞吐量。

【技术实现步骤摘要】
日志处理方法、电子设备及计算机存储介质


[0001]本专利技术涉及应用程序
，具体涉及一种日志处理方法、电子设备及计算机存储介质。

技术介绍

[0002]在线日志诊断系统在助力研发人员更高效地诊断线上问题的同时，大家越来越明显地感受到落地这么一套成熟可靠的诊断系统对于解决线上问题的必要性。
[0003]但是，在使用过程中，随着更多的场景陆续接入，逐渐暴露出一些性能问题，主要表现在日志吞吐量受限，不能更好地支撑未来更多的接入需求。

技术实现思路

[0004]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的日志处理方法、电子设备及计算机存储介质。
[0005]根据本专利技术的一个方面，提供了一种笔记处理方法，包括：
[0006]依次将多条日志写入缓存文件中；
[0007]提取所述多条日志中包含的相同数据，并根据所述相同数据生成所述缓存文件的接口请求头信息；
[0008]分别从所述多条日志中删除相应的相同数据。
[0009]根据本专利技术的另一个方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志处理方法，包括：依次将多条日志写入缓存文件中；提取所述多条日志中包含的相同数据，并根据所述相同数据生成所述缓存文件的接口请求头信息；分别从所述多条日志中删除相应的相同数据。2.根据权利要求1所述的方法，其中，将日志写入缓存文件中，包括：对第一日志进行格式化处理，得到第二日志；根据字段映射关系将所述第二日志中的预设字段替换为预设字符，得到第三日志；其中，所述预设字段的字节长度大于所述预设字符的字节长度；将所述第三日志写入缓存文件。3.根据权利要求1所述的方法，其中，将日志写入缓存文件，包括：当mmap内存可用时，通过所述mmap内存将日志写入缓存文件；或，当mmap内存不可用时，通过内存将日志写入缓存文件。4.根据权利要求1
‑
3任一项所述的方法，其中，在所述依次将多条日志写入缓存文件中之前，所述方法还包括：确定日志的字节长度；当所述日志的字节长度超过预设长度时，对所述日志进行分片，将所述分片作为一条日志。5.根据权利要求1
‑
3任一项所述的方法，其中，所述方法还包括：对所述缓存文件进行压缩。6.根据权利要求1
‑
3任一项所述的方法，其中，所述方法还包括：当检测到调用文件上传指令或flush指令时，触发执行将日志写入缓存文件的操作。7.一种日志处理...

【专利技术属性】
技术研发人员：郭红宾，
申请(专利权)人：掌阅科技股份有限公司，
类型：发明
国别省市：