一种日志处理方法、装置及电子设备制造方法及图纸

本发明专利技术实施例提供了一种日志处理方法、装置及电子设备，该方法包括：获取待处理的日志数据，日志数据中至少包括预定字段信息对应的字段值，以及获取与日志数据相匹配的配置信息，然后，基于配置信息和日志数据中的字段值，确定日志数据中缺失的字段信息，并基于配置信息为日志数据补充缺失的字段信息，得到补充后的日志数据。这样，通过基于配置信息为日志数据补充缺失的字段信息，从而满足了数据分析的个性化需求。

A log processing method, device and electronic equipment

【技术实现步骤摘要】
一种日志处理方法、装置及电子设备
本专利技术涉及数据处理
，尤其涉及一种日志处理方法、装置及电子设备。
技术介绍
现有的日志采集软件，在对Linux操作系统进行日志采集时，会面临原始日志字段较少，格式不统一，无效信息较多，数据重复等问题。目前，现有技术通常可以解决数据格式问题、无效信息过滤问题、数据重复的问题，并可以对已有字段进行简单的说明，但却无法根据数据分析的个性化需求，进行字段的增补。
技术实现思路
本专利技术实施例的目的是提供一种日志处理方法、装置及电子设备，以解决现有技术中无法根据数据分析的个性化需求，进行字段增补的问题。为了解决上述技术问题，本专利技术实施例是这样实现的：第一方面，本专利技术实施例提供了一种日志处理方法，包括：获取待处理的日志数据，所述日志数据中至少包括预定字段信息对应的字段值；获取与所述日志数据相匹配的配置信息；基于所述配置信息和所述日志数据中的字段值，确定所述日志数据中缺失的字段信息，并基于所述配置信息为所述日志数据补充所述缺失的字段信息，得到补充后的日志数据。第二方面，本专利技术实施例提供了一种日志处理装置，包括：日志数据获取模块，用于获取待处理的日志数据，所述日志数据中至少包括预定字段信息对应的字段值；配置信息获取模块，用于获取与所述日志数据相匹配的配置信息；目标日志生成模块，用于基于所述配置信息和所述日志数据中的字段值，确定所述日志数据中缺失的字段信息，并基于所述配置信息为所述日志数据补充所述缺失的字段信息，得到补充后的日志数据。第三方面，本专利技术实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现如第一方面所述的日志处理方法步骤。第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的日志处理方法步骤。由以上本说明书实施例提供的技术方案可见，本说明书实施例通过获取待处理的日志数据，日志数据中至少包括预定字段信息对应的字段值，以及获取与日志数据相匹配的配置信息，然后，基于配置信息和日志数据中的字段值，确定日志数据中缺失的字段信息，并基于配置信息为日志数据补充缺失的字段信息，得到补充后的日志数据。这样，通过获取待处理的日志数据，以及获取与日志数据相匹配的配置信息，并基于配置信息为日志数据补充缺失的字段信息，得到补充后的日志数据的方法，满足了数据分析的个性化需求，同时提升了数据质量，为数据分析、数据挖掘提供了高质量的基础数据。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的日志处理方法的第一种流程示意图；图2为本专利技术实施例提供的日志处理方法的第二种流程示意图；图3为本专利技术实施例提供的日志处理方法的第三种流程示意图；图4为本专利技术实施例提供的日志处理方法的第四种流程示意图；图5为本专利技术实施例提供的日志处理方法的第五种流程示意图；图6为本专利技术实施例提供的日志处理方法的第六种流程示意图；图7为本专利技术实施例提供的日志处理装置的模块组成示意图；图8为本专利技术实施例提供的电子设备的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。如图1所示，本专利技术实施例提供一种日志处理方法，该方法的执行主体可以为服务器，其中，该服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群。该方法可以用于进行日志处理。图1为本专利技术实施例提供的日志处理方法的第一种流程示意图，如图1所示，该方法至少包括以下步骤：S101，获取待处理的日志数据，日志数据中至少包括预定字段信息对应的字段值。其中，待处理的日志数据可以是记录在操作系统中的消息的文件，该日志数据中可以记录有某应用程序运行中发生的事件或该应用程序的不同用户之间的消息信息。待处理的日志数据可以包括用户名、用户登录所使用的IP地址、登录开始时间、登录结束时间、登录持续时间等字段信息及上述各字段信息分别所对应的字段值。S102，获取与日志数据相匹配的配置信息。其中，配置信息可以以脚本的形式呈现，也可以以某格式的文件的形式呈现。在实施中，可以根据上述待处理日志数据中包含的至少一个预定字段信息对应的字段值，在获取到的配置信息中选取包含该字段值的配置信息，并将获取到的包含该字段值的配置信息确定为与日志数据相匹配的配置信息。此外，也可以是，根据获取到的待处理日志数据的日志类型，从获取到的配置信息中，选取与该日志类型相匹配的配置信息，并将该配置信息确定为与日志数据相匹配的配置信息。S103，基于配置信息和日志数据中的字段值，确定日志数据中缺失的字段信息，并基于配置信息为日志数据补充缺失的字段信息，得到补充后的日志数据。在实施中，可以选择Flume(日志收集系统)获取待处理的日志数据，Flume可以是一个分布式、高可靠的海量日志采集、聚合和传输的应用程序，Flume支持在日志系统中定制各类数据发送方。同时，Flume提供对数据进行简单处理，并具备将该数据写到各种数据接受方的能力。本实施例中，通过对Flume源码的重新编写及编译，在程序代码中封装Linuxshell调用功能模块以及对正则表达式支持模块，从而可以实现对Linux系统shell的调用及基于正则表达式的数据匹配及数据切分功能。重新编写及编码后的Flume基于配置信息和日志数据中的字段值，确定日志数据中缺失的字段信息，并基于配置信息为日志数据补充缺失的字段信息，得到补充后的日志数据。具体的，本实施例可应用于Linux系统中各种原始日志，以常见的last日志为例，原始last日志样式如表1所示：表1rootpts/011.203.19.193TueMar1419:38–21:10(01:32)其中，如表1所示，last日志包括6列内容，其中，第一列root表示用户名。第二列pts/0表示终端位置，pts/0可以是用户通过putty或者xshell等应用程序远程连接服务器时的终端位置，默认为pts/0，当打开多个窗口本文档来自技高网...

【技术保护点】
1.一种日志处理方法，其特征在于，所述方法包括：/n获取待处理的日志数据，所述日志数据中至少包括预定字段信息对应的字段值；/n获取与所述日志数据相匹配的配置信息；/n基于所述配置信息和所述日志数据中的字段值，确定所述日志数据中缺失的字段信息，并基于所述配置信息为所述日志数据补充所述缺失的字段信息，得到补充后的日志数据。/n

【技术特征摘要】
1.一种日志处理方法，其特征在于，所述方法包括：
获取待处理的日志数据，所述日志数据中至少包括预定字段信息对应的字段值；
获取与所述日志数据相匹配的配置信息；
基于所述配置信息和所述日志数据中的字段值，确定所述日志数据中缺失的字段信息，并基于所述配置信息为所述日志数据补充所述缺失的字段信息，得到补充后的日志数据。


2.根据权利要求1所述的方法，其特征在于，所述配置信息中还包括日志数据中未包含的预定字段值对应的目标字段信息，所述方法还包括：
基于所述配置信息中包括的日志数据中未包含的预定字段值对应的目标字段信息，在所述日志数据中补充所述目标字段信息和对应的预定字段值。


3.根据权利要求1所述的方法，其特征在于，在所述获取待处理的日志数据之后，还包括：
对所述待处理的日志数据进行预处理，其中，所述预处理包括：格式化处理、重复数据的删除处理、对存在分隔符的多个数据进行合并处理、对预定无意义字段信息和/或所述预定无意义字段信息对应的字段值进行删除处理中的一种或多种。


4.根据权利要求1所述的方法，其特征在于，所述日志数据为Linux操作系统中包含的原始日志数据。


5.根据权利要求4所述的方法，其特征在于，在所述获取待处理的日志数据之前，还包括：
接收原始日志数据；
调用LinuxShell脚本和/或基于预定的正则表达式，检测所述原始日志数据中是否包含预设字段值和/或预设字段信息；
若是，则...

【专利技术属性】
技术研发人员：李玉山，邵利铎，鹿慧，何栋，何激，张鹏飞，潘国勤，潘多磊，胡逸云，
申请(专利权)人：中国人民财产保险股份有限公司，
类型：发明
国别省市：北京;11