一种用户自定义规则实时解析日志数据的方法与系统技术方案

本发明专利技术涉及一种自定义规则实时解析日志数据的方法与系统，包括：用户通过可视化界面输入日志样例和解析规则；服务端解析接口对该自定义规则进行解析，生成并展示解析结果；用户对服务端生成的解析结果确认保存生成日志批量解析规则；服务端解析引擎通过服务端接口读取用户自定义规则，并用该规则批量解析日志信息。本发明专利技术采用可视化输入界面输入的方式接收用户提供的日志样例和解析规则请求，通过服务端解析接口对该自定义规则进行自动解析并向用户通过特定结构图展示解析结果，并通过服务端解析引擎读取用户保存的最终解析规则，采用该规则对日志信息进行实时解析并以特定结构图将解析结果展示给用户，不需要用户编写解析规则源码并对源码的解析效果进行测试，大大提高了可操作性。

【技术实现步骤摘要】

本专利技术涉及一种用户自定义规则实时解析日志数据的方法与系统，尤其涉及一种大数据技术数据处理领域的用户自定义规则实时解析日志数据的方法与系统。
技术介绍
在大数据
，常常需要对日志信息进行分类解析，将非结构化的程序模式日志信息源语，按照特定规则解析成结构化的分类展示日志信息，便于统计分析。然而，由于日志信息的来源和规模存在差异，造成日志信息中包含的信息类别和容量也各不相同，目前尚无一种简单易用的配置方案可以解析各种类型的日志信息。传统做法是有技术人员预先分析日志类型，然后编写相应解析规则代码，经过校验后应用于该类日志信息的批量解析。该方式不仅对编写规则代码的技术员提出很高的技术要求，而且需要作出大量的代码编写和测试工作才能应用于批量解析，此外解析结果展示也不够直观，更重要的是该解析规则往往只能针对本次解析，对于新的日志信息不具备通用性，需要编写新的解析规则，产生大量的重复工作。
技术实现思路
针对当前日志信息解析存在的问题，本专利技术提出一种可视化输入解析规则并图形化输出解析结果的新型自定义规则实时解析日志数据系统。该系统突破传统需要编写解析规则代码的思维模式，采用图形化解析规则选择模式向用户展示可选解析规则，并提供日志样例输入界面，用户通过输入日志样例并选择一种或者多种解析规则，该系统自动按照选定规则对日志样例进行解析并生成图形化解析结果图，当用户确定保存选择的解析规则后即可用于批量解析日志信息并得到图形化解析结果图，大大降低了对操作用户的技术要求，提高了解析结果的展示效果，提高了可操作性。本专利技术解决其技术问题所采用的技术方案是：输入信息获取步骤，用户通过交互系统输入日志样例和自定义解析规则请求。优选的，输入信息获取步骤中，所述交互系统包括接收日志样例的输入栏和接收自定义解析规则的图形化按钮选择栏。优选的，输入信息获取步骤中，所述的解析规则包括正则表达式、KeyValue解析、字段值拆分(split)、String类型转换成数值型、JSON解析、URL解码、时间戳识别和UserAgent解析，且根据解析需要可以选取其中的一种或者多种的组合。解析规则应用步骤，服务端接口获取并解析用户自定义规则，采用该规则解析日志样例并通过可视化界面树状图展示解析结果。优选的，所述解析规则应用步骤中，所述获取并解析用户自定义规则采用遍历的方式进行读取和解析所述规则，生成服务端解析器识别的解析规则，并采用该规则对用户输入的日志样例进行解析生成树状可视化结构图。确认保存自定义规则步骤，用户确定自定义规则名称并保存生成最终解析规则。优选的，确认保存自定义规则步骤中，用户根据日志样例解析结果，确认是否需要追加、修改或者删除自定义规则，并在修改完毕后保存选择结果，形成一条最终解析规则。优选的，所述追加、修改或者删除自定义规则操作产生后，将会重新生成解析结果。批量解析日志步骤，服务端解析引擎获取用户最终解析规则，并采用该规则批量解析日志信息，通过可视化界面树状图实时显示解析结果。优选的，所述批量解析日志步骤中，所述服务端解析引擎自动读取服务端解析接口中的用户解析规则，并按所述规则对日志信息进行实时解析，通过显示界面树状图实时展示解析结果。本专利技术还公开了一种自定义规则实时解析日志数据的系统，该系统包含以下模块：用户交互模块，用于提供用户输入、规则选择界面以及规则追加、修改或者删除功能和确认保存自定义规则功能。优选的，所述用户交互模块中，所述确认保存自定义规则是指用户根据日志样例解析结果显示判断是否需要重新选择自定义解析规则以达到更好的解析效果，并在获得理想解析效果后确定保存已选择的自定义规则。规则生成模块，用于自动读取用户输入自定义规则，解析并应用该规则生成服务端解析引擎识别的规则，采用该规则解析日志样例。服务端解析模块，用于自动读取解析规则，并应用该规则批量解析日志信息。所述服务端解析模块中，所述自动读取解析规则是指服务端解析引擎从服务端解析接口自动读取其保存的解析规则，并按照该规则对日志信息进行批量解析。结果展示模块，用于对日志样例解析结果和批量日志信息解析结果进行显示。采用上述技术方案，本专利技术具有以下优点：本专利技术所述的用户自定义规则实时解析日志数据的方法与系统，通过可视化界面输入的方式接收用户提供的日志样例以及选择的解析规则，并利用服务端解析接口对该自定义规则进行解析，生成并展示可视化树状结构解析结果，用户对可追加、编辑或者修改选择的解析规则至得到满意的解析结果并保存生成最终解析规则，服务端解析引擎通过服务端接口读取用户保存的规则，并用该规则批量解析日志信息，并采用可视化树状结构展示解析结果，无需用户编写解析规则源码并对源码的解析效果进行测试，大大降低了操作用户的技术要求并提高了解析结果的展示效果，提高了可操作性。附图说明图1为本专利技术较佳实施方式的用户自定义规则实时解析日志数据的方法与系统的步骤示意图。图2为本专利技术较佳实施方式的用户自定义规则实时解析日志数据的方法与系统的系统模块图。图3、4为本专利技术较佳实施方式的用户自定义规则实时解析日志数据的方法与系统的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本专利技术的一个实施例，而不是全部实施例。基于本专利技术中的实施例，本领域的一般技术人员在没有做出创造性劳动的前提下所获得的其他实施例，都属于本专利技术保护的范围。本专利技术公开了一种用户自定义规则实时解析日志数据的方法，参见图1所示，该方法包含以下步骤：步骤S101：用户通过可视化界面输入日志样例和解析规则；步骤S102：服务端解析接口对自定义规则进行解析，生成并展示解析结果；步骤S103：用户对服务端生成的解析结果确认保存生成日志批量解析规则；步骤S104：服务端解析引擎通过服务端接口读取用户自定义规则，并用该规则批量解析日志信息。本专利技术实施例中，通过可视化界面输入的方式接收用户提供的日志样例以及选择的解析规则，并利用服务端解析接口对该自定义规则进行解析，生成并展示可视化树状结构解析结果，用户对可追加、编辑或者修改选择的解析规则至得到满意的解析结果并保存生成最终解析规则，服务端解析引擎通过服务端接口读取用户保存的规则，并用该规则批量解析日志信息，并采用可视化树状结构展示解析结果。可见，针对来源和规模不同的日志信息，操作用户无需按照传统模式编写解析规则代码，并对该规则代码做大量效果测试工作，而只需要在系统提供的图形化解析规则选择按钮中选择对应解析规则，便可通过服务端解析端口自动解析生成服务端解析引擎识别的解析规则，同时用户还可以通过系统提供的日志样例输入框输入日志样例获得树状结构的解析结果，针对结果选择追加、编辑或修改解析规则已达到预期解析效果，大大降低了操作用户的技术要求并提高了解析结果的展示效果，提高了可操作性。本专利技术实施例公开了一种用户自定义规则实时解析日志数据的系统，参见图2。相对上一实施例，本实施例对技术方案做进一步的说明和优化。具体的，本实施例中用户自定义规则实时解析日志数据的系统包含以下模块：S1：用户交互模块。优选的，该模块用于提供用户输入、规则选择界面以及规则追加、修改或者删除功能和确认保存自定义规则功能。优选的，所述确认保存自定义规则是本文档来自技高网...

【技术保护点】
一种自定义规则实时解析日志数据的方法，其特征在于，该方法包含以下步骤：输入信息获取步骤，用户通过交互系统输入日志样例和自定义解析规则请求；解析规则应用步骤，服务端接口获取并解析用户自定义规则，采用该规则解析日志样例并通过可视化界面树状图展示解析结果；确认保存自定义规则步骤，用户确定自定义规则名称并保存生成最终解析规则；批量解析日志步骤，服务端解析引擎获取用户最终解析规则，并采用该规则批量解析日志信息，通过可视化界面树状图实时显示解析结果。

【技术特征摘要】
1.一种自定义规则实时解析日志数据的方法，其特征在于，该方法包含以下步骤：输入信息获取步骤，用户通过交互系统输入日志样例和自定义解析规则请求；解析规则应用步骤，服务端接口获取并解析用户自定义规则，采用该规则解析日志样例并通过可视化界面树状图展示解析结果；确认保存自定义规则步骤，用户确定自定义规则名称并保存生成最终解析规则；批量解析日志步骤，服务端解析引擎获取用户最终解析规则，并采用该规则批量解析日志信息，通过可视化界面树状图实时显示解析结果。2.如权利要求1所述的一种自定义规则实时解析日志数据的方法，其特征在于，输入信息获取步骤中，所述交互系统包括接收日志样例的输入栏和接收自定义解析规则的图形化按钮选择栏。3.如权利要求1所述的一种自定义规则实时解析日志数据的方法，其特征在于，输入信息获取步骤中，所述的解析规则包括正则表达式、KeyValue解析、字段值拆分(split)、String类型转换成数值型、JSON解析、URL解码、时间戳识别和UserAgent解析，且根据解析需要可以选取其中的一种或者多种的组合。4.如权利要求1所述一种自定义规则实时解析日志数据的方法，其特征在于，所述解析规则应用步骤中，所述获取并解析用户自定义规则采用遍历的方式进行读取和解析所述规则，生成服务端解析器识别的解析规则，并采用该规则对用户输入的日志样例进行解析生成树状可视化结构图。5.如权利要求1所述一种自定义规则实时解析日志数据的方法，其特征在于，确认保存自定义规则步骤中，用户根据日志样例解析结果，确认是否需要追加、修...

【专利技术属性】
技术研发人员：阚海明，宁海元，唐云飞，杨思枢，
申请(专利权)人：杭州玳数科技有限公司，
类型：发明
国别省市：浙江;33