日志解析方法、装置、计算设备及存储介质制造方法及图纸

本发明专利技术公开了一种日志解析方法、装置、计算设备及存储介质，日志解析方法在计算设备中执行，该方法包括：基于预设的解析配置文件，生成日志解析请求，解析配置文件至少包括各待解析日志的日志类型；响应于日志解析请求，获取各待解析日志；针对每一待解析日志，根据其日志类型，将该待解析日志置入对应的解析队列中；分别对各解析队列中的待解析日志进行解析，得到每一解析队列对应的解析结果；将各解析结果分别进行存储。析结果分别进行存储。析结果分别进行存储。

【技术实现步骤摘要】
日志解析方法、装置、计算设备及存储介质


[0001]本专利技术涉及计算机
，具体涉及一种日志解析方法、装置、计算设备及存储介质。

技术介绍

[0002]在一个完整的信息系统中，日志是一个非常重要的功能组成部分。日志解析显得尤为重要。
[0003]随着企业业务层面的升级与发展，由众多应用产生的日志越来越多，日志解析任务也愈加严峻，现有解析方式存在无法实现对日志内容的深度挖掘，解析得到的解析结果的可用性和易读性差等问题。
[0004]基于此，亟需一种可以更优的日志解析方法，以解决现有技术中存在的问题。

技术实现思路

[0005]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种日志解析方法、装置、计算设备以及存储介质。
[0006]根据本专利技术的一个方面，提供一种日志解析方法，在计算设备中执行，该方法包括：基于预设的解析配置文件，生成日志解析请求，解析配置文件至少包括各待解析日志的日志类型；响应于日志解析请求，获取各待解析日志；针对每一待解析日志，根据其日志类型，将该待解析日志置入对应的解析队列中；分别对各解析队列中的待解析日志进行解析，得到每一解析队列对应的解析结果；将各解析结果分别进行存储。
[0007]可选地，在根据本专利技术的日志解析方法中，其中，解析配置文件还包括各待解析日志的解析方式，以及分别对各解析队列中的待解析日志进行解析的步骤包括：利用各待解析日志对应的解析方式，分别对各待解析日志进行解析，解析方式为预设格式解析、特殊字符解析、以及正则表达式解析中的一种。
[0008]可选地，在根据本专利技术的日志解析方法中，其中，利用各待解析日志对应的解析方式，分别对各待解析日志进行解析的步骤包括：若待解析日志的解析方式为特殊字符解析，则根据选中的特殊字符对待解析日志的内容进行字符分割，并将分割后形成的各字段进行提取；若待解析日志的解析方式为特殊字符解析，则根据正则表达式对待解析日志的内容进行正则匹配切分，并将切分后形成的各字段集进行提取；若待解析日志的解析方式为预设格式解析，则不对待解析日志进行解析。
[0009]可选地，在根据本专利技术的日志解析方法中，其中，分别对各解析队列中的待解析任务进行解析，得到每一解析队列对应的解析结果的步骤包括：将每一解析队列中的各待解析日志均解析成预设格式的结构体，并将各结构体与其对应的待解析日志的数据源进行关联，将关联后的各结构体的集合作为所述解析结果。
[0010]可选地，在根据本专利技术的日志解析方法中，其中，将各解析结果分别进行存储的步骤包括：以每一解析队列对应的日志类型为一级索引，各数据源为二级索引，对该每一解析
队列产生的解析结果进行存储。
[0011]可选地，在根据本专利技术的日志解析方法中，其中，还包括：若解析配置文件中未记录某一待解析日志的解析方式，则直接将该待解析日志的内容进行存储。
[0012]可选地，在根据本专利技术的日志解析方法中，其中，将各解析结果分别进行存储的步骤包括：使用内嵌式存储系统对各解析结果进行分类存储，其中，将每一解析结果作为一个存储队列，将解析结果中的各字段依次存储至存储队列的一个字段中。
[0013]可选地，在根据本专利技术的日志解析方法中，其中，在将切分后形成的各字段进行提取的步骤之后，还包括：响应于对各字段的重命名请求，对相应字段进行重新命名。
[0014]可选地，在根据本专利技术的日志解析方法中，其中，预设格式为Json格式。
[0015]可选地，在根据本专利技术的日志解析方法中，其中，分别对各解析队列中的待解析日志进行解析的步骤包括：采用Flink技术，分别构建各解析队列的解析任务。
[0016]可选地，在根据本专利技术的日志解析方法中，其中，解析配置文件还包括各待解析日志的标识和存储路径，以及响应于日志解析请求，获取各待解析日志的步骤包括：基于存储路径，确定目标待解析日志所在的存储目录；基于标识，从存储目录中确定出目标待解析日志。
[0017]根据本专利技术的又一个方面，提供一种日志解析装置，驻留在计算设备中，包括：生成模块，适于基于预设的解析配置文件，生成日志解析请求，解析配置文件至少包括各待解析日志的日志类型；获取模块，适于响应于日志解析请求，获取各待解析日志；置入模块，适于针对每一待解析日志，根据其日志类型，将该待解析日志置入对应的解析队列中；解析模块，适于分别对各解析队列中的待解析日志进行解析，得到每一解析队列对应的解析结果；存储模块，适于将各解析结果分别进行存储。
[0018]根据本专利技术的又一个方面，提供一种计算设备，包括：至少一个处理器；和存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行上述方法的指令。
[0019]根据本专利技术的又一个方面，提供一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行上述的方法。
[0020]根据本专利技术的方案，利用各待解析日志的日志类型对各待解析日志进行分类解析和存储，可实现日志源数据的高可用性和高易用性，以此来解决日志数据的实用性问题，为广大日志用户带来操作更方便、功能更强大的日志服务体验。
[0021]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0022]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0023]图1示出了根据本专利技术一个实施例的计算设备100的示意图；
[0024]图2示出了根据本专利技术一个实施例的日志解析方法200的流程图；
[0025]图3示出了根据本专利技术一个实施例的解析器的工作示意图；
[0026]图4示出了根据本专利技术一个实施例的日志解析方法的解析流程图；
[0027]图5示出了根据本专利技术一个实施例的日志解析装置500的结构图。
具体实施方式
[0028]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0029]随着日志量的提升，其原始数据的实用性逐渐成为用户的关注点。日志数据在应用服务中能够发挥重大的作用。容易理解的是，应用一旦投入生产，后续会持续输出日志。海量的日志数据就像是一座矿山，不去挖掘不知道它们的价值有多大。伴随着数据的价值挖掘被逐渐重视，利用日志中的信息能做的事情也越来越多。例如，很多互联网公司通过页面埋点来获取用户信息以辅本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志解析方法，在计算设备中执行，该方法包括：基于预设的解析配置文件，生成日志解析请求，所述解析配置文件至少包括各待解析日志的日志类型；响应于所述日志解析请求，获取各待解析日志；针对每一待解析日志，根据其日志类型，将该待解析日志置入对应的解析队列中；分别对各解析队列中的待解析日志进行解析，得到每一解析队列对应的解析结果；将各解析结果分别进行存储。2.如权利要求1所述的方法，其中，所述解析配置文件还包括各待解析日志的解析方式，以及所述分别对各解析队列中的待解析日志进行解析的步骤包括：利用各待解析日志对应的解析方式，分别对各待解析日志进行解析，所述解析方式为预设格式解析、特殊字符解析、以及正则表达式解析中的一种。3.如权利要求2所述的方法，其中，所述利用各待解析日志对应的解析方式，分别对各待解析日志进行解析的步骤包括：若待解析日志的解析方式为特殊字符解析，则根据选中的特殊字符对待解析日志的内容进行字符分割，并将分割后形成的各字段进行提取；若待解析日志的解析方式为特殊字符解析，则根据正则表达式对待解析日志的内容进行正则匹配切分，并将切分后形成的各字段集进行提取；若待解析日志的解析方式为预设格式解析，则不对待解析日志进行解析。4.如权利要求1
‑
3任一项所述的方法，其中，所述分别对各解析队列中的待解析任务进行解析，得到每一解析队列对应的解析结果的步骤包括：将每一解析队列中的各待解析日志均解析成预设格式的结构体，并将各结构体与其对应的待解析日志的数据源进行关联，将关联后的各结构体的集合作为所述解析结果。5.如权利要求...

【专利技术属性】
技术研发人员：张洪涛，刘振华，
申请(专利权)人：海南车智易通信息技术有限公司，
类型：发明
国别省市：