一种日志处理方法、读取方法、装置、设备及存储介质制造方法及图纸

技术编号:41148811 阅读:21 留言:0更新日期:2024-04-30 18:15
本说明书提供一种日志处理方法、读取方法、装置、设备及存储介质,所述方法包括:获取待处理日志集合,所述待处理日志集合中包含多条日志,所述多条日志包含相同的目标字段;对所述多条日志在所述目标字段中的取值进行去重,将得到的取值写入所述目标字段在日志结构体中对应的第一数组中;在所述日志结构体中增加所述目标字段对应的第二数组,根据每条日志在所述目标字段上的取值确定其在所述第一数组中对应的索引编号,并按各条日志之间的排列顺序依次向所述第二数组中写入相应的索引编号。

【技术实现步骤摘要】

本说明书涉及日志处理,尤其涉及一种日志处理方法、读取方法、装置、设备及存储介质


技术介绍

1、随着互联网的发展,日志的重要性在各个领域中越发凸显。例如,在云计算领域中,日志用于对各种云服务的监控和审计,便于展示系统和网络的运行状况,并用来诊断和定位问题故障。在大数据领域中,日志是海量数据中的一种,对海量数据的分析和挖掘,可以发现潜在的问题和有价值的数据,为管理决策提供参考。在网络安全领域中,各种安全产品或工具可以产生安全日志,供分析平台来综合分析,以此来发现和预警网络攻击事件,并可以进行溯源。

2、然而随着这些领域的发展,日志的数据量也呈指数级增长,日志数据体积急速提升,在占用存储的同时,日志传输时的性能损耗问题也日益凸显。


技术实现思路

1、为克服相关技术中存在的问题,本说明书提供了一种日志处理方法、读取方法、装置、设备及存储介质。

2、根据本说明书实施例的第一方面,提供一种日志处理方法,所述方法包括:

3、获取待处理日志集合,所述待处理日志集合中包含多条日志,所述多条本文档来自技高网...

【技术保护点】

1.一种日志处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据每条日志在所述目标字段上的取值确定其在所述第一数组中对应的索引编号,包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.一种日志读取方法,其特征在于,包括:

7.一种日志处理装置,其特征在于,包括:

8.一种日志读取装置,其特征在于,包括:

9.一种电子设备,其特征...

【技术特征摘要】

1.一种日志处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据每条日志在所述目标字段上的取值确定其在所述第一数组中对应的索引编号,包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在...

【专利技术属性】
技术研发人员:李小龙邹初建王涛
申请(专利权)人:杭州迪普科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1