一种日志处理方法、装置及电子设备制造方法及图纸

本发明专利技术实施例提供了一种日志处理方法、装置及电子设备，该方法包括：获取待处理的日志数据，日志数据中至少包括预定字段信息对应的字段值，以及获取与日志数据相匹配的配置信息，然后，基于配置信息和日志数据中的字段值，确定日志数据中缺失的字段信息，并基于配置信息为日志数据补充缺失的字段信息，得到补充后的日志数据。这样，通过基于配置信息为日志数据补充缺失的字段信息，从而满足了数据分析的个性化需求。

A log processing method, device and electronic equipment

【技术实现步骤摘要】
一种日志处理方法、装置及电子设备
本专利技术涉及数据处理
，尤其涉及一种日志处理方法、装置及电子设备。
技术介绍
现有的日志采集软件，在对Linux操作系统进行日志采集时，会面临原始日志字段较少，格式不统一，无效信息较多，数据重复等问题。目前，现有技术通常可以解决数据格式问题、无效信息过滤问题、数据重复的问题，并可以对已有字段进行简单的说明，但却无法根据数据分析的个性化需求，进行字段的增补。
技术实现思路
本专利技术实施例的目的是提供一种日志处理方法、装置及电子设备，以解决现有技术中无法根据数据分析的个性化需求，进行字段增补的问题。为了解决上述技术问题，本专利技术实施例是这样实现的：第一方面，本专利技术实施例提供了一种日志处理方法，包括：获取待处理的日志数据，所述日志数据中至少包括预定字段信息对应的字段值；获取与所述日志数据相匹配的配置信息；基于所述配置信息和所述日志数据中的字段值，确定所述日志数据中缺失的字段信息，并基于所述配置信息为所述日志数据补充所述缺失的字段信息，本文档来自技高网...

【技术保护点】
1.一种日志处理方法，其特征在于，所述方法包括：/n获取待处理的日志数据，所述日志数据中至少包括预定字段信息对应的字段值；/n获取与所述日志数据相匹配的配置信息；/n基于所述配置信息和所述日志数据中的字段值，确定所述日志数据中缺失的字段信息，并基于所述配置信息为所述日志数据补充所述缺失的字段信息，得到补充后的日志数据。/n

【技术特征摘要】
1.一种日志处理方法，其特征在于，所述方法包括：
获取待处理的日志数据，所述日志数据中至少包括预定字段信息对应的字段值；
获取与所述日志数据相匹配的配置信息；
基于所述配置信息和所述日志数据中的字段值，确定所述日志数据中缺失的字段信息，并基于所述配置信息为所述日志数据补充所述缺失的字段信息，得到补充后的日志数据。


2.根据权利要求1所述的方法，其特征在于，所述配置信息中还包括日志数据中未包含的预定字段值对应的目标字段信息，所述方法还包括：
基于所述配置信息中包括的日志数据中未包含的预定字段值对应的目标字段信息，在所述日志数据中补充所述目标字段信息和对应的预定字段值。


3.根据权利要求1所述的方法，其特征在于，在所述获取待处理的日志数据之后，还包括：
对所述待处理的日志数据进行预处理，其中，所述预处理包括：格式化处理、重复数据的删除处理、对存在分隔符的多个数据进行合并处理、对预定无意义字段信息和/或所述预定无意义字段信息对应的字段值进行删除处理中的一种或多种。


4.根据权利要求1所述的方法，其特征在于，所述日志数据为Linux操作系统中包含的原始日志数据。


5.根据权利要求4所述的方法，其特征在于，在所述获取待处理的日志数据之前，还包括：
接收原始日志数据；
调用LinuxShell脚本和/或基于预定的正则表达式，检测所述原始日志数据中是否包含预设字段值和/或预设字段信息；
若是，则...

【专利技术属性】
技术研发人员：李玉山，邵利铎，鹿慧，何栋，何激，张鹏飞，潘国勤，潘多磊，胡逸云，
申请(专利权)人：中国人民财产保险股份有限公司，
类型：发明
国别省市：北京;11