日志处理方法技术

本公开提供了一种日志处理方法

【技术实现步骤摘要】
日志处理方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，具体而言，涉及一种日志处理方法
、
装置
、
电子设备和存储介质
。

技术介绍

[0002]日志是指在应用程序或系统中记录事件
、
活动或状态的记录
。
它是开发人员和系统管理员常用的工具，用于故障排查
、
监控以及性能分析，通过日志记录和分析策略，可以加快故障排查以及进行性能优化
。
[0003]相关技术中，通常采用
ProtoBuffer(PB)
传输协议对日志进行编码，并将编码后的日志存储到服务端，然而，此种方式在传输过程中，服务端需要对编码后的日志的全部内容进行解码，以获取存储地址，并将编码后的日志存储至相应的存储地址，由于日志的数据量较大，导致获取存储地址的过程所占用开销较大
。

技术实现思路

[0004]本公开实施例至少提供一种日志处理方法
、
装置
、
电子设备及存储介质，可以降低服务端获取目标日志的存储地址的过程所占用开销
。
[0005]本公开实施例提供了一种日志处理方法，包括：
[0006]接收客户端发送的目标日志；所述目标日志为所述客户端基于预设的日志传输协议对预设字段类型的原始日志进行编码后得到；所述目标日志的日志结构包括头部区域以及内容区域，所述头部区域包括路由字段区，所述路由字段区用于存储日志的存储属性信息，所述内容区域用于存储日志内容；
[0007]基于所述预设的日志传输协议，对所述路由字段区进行解码，以获取所述目标日志的存储属性信息，并基于所述目标日志的存储属性信息确定所述目标日志的存储地址，将所述目标日志存储到所述存储地址内
。
[0008]本公开实施例中，由于编码得到目标日志的日志结构中包括路由字段区和内容区域，其中，路由字段区用于存储日志的存放位置，内容区域用于存储日志内容，这样，服务端在接收到目标日志后，即可对路由字段区进行解码，从而确定目标日志对应的存储地址，与相关技术中通过
PB
传输协议进行传输的方法相比，服务端无需对日志全部进行解码来获取目标日志的存储地址，如此，有利于降低获取存储地址的过程中所占用的开销
。
此外，由于路由字段区所占用的空间较小，还可以提升获取存储地址的效率
。
[0009]在一种可能的实施方式中，所述基于所述目标日志的存储属性信息确定所述目标日志的存储地址，包括：
[0010]基于所述目标日志的存储属性信息，从预先构建的存储属性信息与存储地址的对应关系中，查找与所述目标日志的存储属性信息对应的目标存储地址，并将所述目标存储地址确定为所述目标日志的存储地址，其中，所述目标日志为所述客户端运行的目标微服务被调用所产生的日志，所述存储属性信息包括微服务的名称
、
微服务对应的主机名称以
及微服务对应的主机网络地址中的至少一个
。
[0011]本公开实施例中，所述存储属性信息可以上述目标微服务的名称
、
目标微服务对应的主机名称或者目标微服务对应的主机网络地址中的至少一种，通过基于预设的存储属性信息与存储地址的对应关系，确定目标日志的存储地址，如此，可以提升确定目标日志的存储地址的准确度
。
[0012]在一种可能的实施方式中，所述头部区域还包括索引字段区，所述索引字段区包括多个索引字段；所述目标日志包括多条子日志，每条子日志对应至少一个索引字段，所述方法还包括：
[0013]针对每条子日志，确定所述子日志的日志属性信息，并将所述子日志的日志属性信息，存储到对应的索引字段中；所述日志属性信息用于查询对应的子日志
。
[0014]本公开实施例中，由于每条子日志具有相应的日志属性信息，通过将每条子日志的日志属性信息存储到对应的索引字段中，这样，在查询时，即可对索引字段区中的索引字段进行遍历，而无需对日志内容进行查询，如此，可以减小查询范围，从而可以提升查询效率
。
[0015]在一种可能的实施方式中，所述基于所述目标日志的存储属性信息确定所述目标日志的存储地址，将所述目标日志存储到所述存储地址内之后，所述方法还包括：
[0016]接收客户端发送的日志查询请求，所述日志查询请求携带待查询的日志信息；
[0017]基于所述待查询的日志信息，查找与所述待查询的日志信息对应的目标日志内容，并将所述目标日志内容发送至所述客户端
。
[0018]本公开实施例中，服务端在接收到客户端的日志查询请求后，即可基于日志查询请求，查找与所述待查询的日志信息对应的目标日志内容，并将目标日志内容返回至客户端，从而实现日志内容的查询，并且用户可以通过客户端直观地查看目标日志内容
。
[0019]在一种可能的实施方式中，所述待查询的日志信息包括待查询的日志属性信息或者待查询的日志内容信息；所述头部区域还包括索引字段区，所述索引字段区包括多个索引字段，所述索引字段用于存储日志属性信息；所述基于所述待查询的日志信息，查询与所述待查询的日志信息对应的目标日志内容，包括：
[0020]基于待查询的日志属性信息，从所述索引字段区中查找与所述待查询的日志属性信息匹配的目标日志属性信息，并基于所述目标日志属性信息，从所述存储地址内查找与所述目标日志属性信息关联的目标日志内容；或者，
[0021]基于所述待查询的日志内容信息，从所述存储地址内查找与所述待查询的日志内容信息匹配的目标日志内容
。
[0022]本公开实施例中，服务端可以通过上述两种方式实现目标日志内容的查找，如此，可以提升日志内容查找方式的多样性，提升用户的日志查找体验
。
此外，通过将待查询的日志属性信息与索引字段区中存储的目标日志属性信息进行匹配，从而实现索引查找，如此，可以提升查找效率，基于待查询的日志内容信息查找目标日志内容，可以提升日志内容查找的准确度
。
[0023]在一种可能的实施方式中，所述目标日志包括多条子日志；所述基于所述待查询的日志内容信息，从所述存储地址内查找与所述待查询的日志内容信息匹配的目标日志内容，包括：
[0024]对所述目标日志进行解码，得到与每条子日志对应的原始子日志，每个原始子日志包括多个日志内容；
[0025]针对每条原始子日志的每个日志内容，确定所述每个日志内容在内存中的指针；
[0026]基于各个指针对应的日志内容，确定与所述待查询的日志内容信息匹配的目标指针，从所述目标指针所述指示的存储地址中查找所述目标日志内容
。
[0027]本公开实施例中，由于目标日志的解码过程是在内存中完成的，因此，在解码得到每个原始子日志的日志内容后，会将日志内容存储在内存中，同时生成日志内容在内存中的指针，从而基于指针查找对应的目标日志内容，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种日志处理方法，其特征在于，包括：接收客户端发送的目标日志；所述目标日志为所述客户端基于预设的日志传输协议对预设字段类型的原始日志进行编码后得到；所述目标日志的日志结构包括头部区域以及内容区域，所述头部区域包括路由字段区，所述路由字段区用于存储日志的存储属性信息，所述内容区域用于存储日志内容；基于所述预设的日志传输协议，对所述路由字段区进行解码，以获取所述目标日志的存储属性信息，并基于所述目标日志的存储属性信息确定所述目标日志的存储地址，将所述目标日志存储到所述存储地址内
。2.
根据权利要求1所述的方法，其特征在于，所述基于所述目标日志的存储属性信息确定所述目标日志的存储地址，包括：基于所述目标日志的存储属性信息，从预先构建的存储属性信息与存储地址的对应关系中，查找与所述目标日志的存储属性信息对应的目标存储地址，并将所述目标存储地址确定为所述目标日志的存储地址，其中，所述目标日志为所述客户端运行的目标微服务被调用所产生的日志，所述存储属性信息包括微服务的名称
、
微服务对应的主机名称以及微服务对应的主机网络地址中的至少一个
。3.
根据权利要求1所述的方法，其特征在于，所述头部区域还包括索引字段区，所述索引字段区包括多个索引字段；所述目标日志包括多条子日志，每条子日志对应至少一个索引字段，所述方法还包括：针对每条子日志，确定所述子日志的日志属性信息，并将所述子日志的日志属性信息，存储到对应的索引字段中；所述日志属性信息用于查询对应的子日志
。4.
根据权利要求1‑3任一所述的方法，其特征在于，所述基于所述目标日志的存储属性信息确定所述目标日志的存储地址，将所述目标日志存储到所述存储地址内之后，所述方法还包括：接收客户端发送的日志查询请求，所述日志查询请求携带待查询的日志信息；基于所述待查询的日志信息，查找与所述待查询的日志信息对应的目标日志内容，并将所述目标日志内容发送至所述客户端
。5.
根据权利要求4所述的方法，其特征在于，所述待查询的日志信息包括待查询的日志属性信息或者待查询的日志内容信息；所述头部区域还包括索引字段区，所述索引字段区包括多个索引字段，所述索引字段用于存储日志属性信息；所述基于所述待查询的日志信息，查找与所述待查询的日志信息对应的目标日志内容，包括：基于所述待查询的日志属性信息，从所述索引字段区中查找与所述待查询的日志属性信息匹配的目标日志属性信息，并基于所述目标日志属性信息，从所述存储地址内查找与所述目标日志属性信息关联的目标日志内容；或者，基于所述待查询的日志内容信息，从所述存储地址内查找与所述待查询的日志内容信息匹配的目标日志内容
。6.
根据权利要求5所述的方法，其特征在于，所述目标日志包括多条子日志；所述基于所述待查询的日志内容信息，从所述存储地址内查找与所述待查询的日志内容信息匹配的目标日志内容，包括：对所述目标日志进行解码，得到与每条子日志对应的原始子日志，每个原始子日志包
括多个日志内容；针对每条原始子日志的每个日志内容，确定所述每个日志内容在内存中的指针；基于各个指针对应的日志内容，确定与所述待查询的日志内容信息匹配的目标指针，从所述目标指针所述指示的存储地址中查找所述目标日志内容
。7.
根据权利要求1‑6任一所述的方法，其特征在于，所述目标日志的日志结构还包括协议头，所述协议头用于存储协议信息，所述协议信息包括所述日志传输协议的版本号
、
日志压缩算法类型
、
日志长度以及协议校验信息中的至少一项，其中，所述日志传输协议的版本号用于表征...

【专利技术属性】
技术研发人员：蔡舒，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：