一种基于特征匹配的日志解析方法及装置制造方法及图纸

本发明专利技术公开了一种基于特征匹配的日志解析方法及装置，对于一个新的日志源首先取少量样例日志，通过自动匹配的方式，从预先设置的解析模版库中寻找解析模版，如果没有找到匹配的解析模版，则触发一个人机交互模块，通过少量的人机交互就可以自动生成新的日志解析模版，从而解析日志；该方法避免了人工编写正则表达式的繁琐，大大降低了生成日志解析模版的生成难度，从而提升了日志解析平台的易用性和易维护性。易维护性。易维护性。

【技术实现步骤摘要】
一种基于特征匹配的日志解析方法及装置


[0001]本专利技术涉及计算机信息
，特别涉及一种企业内部网络中的大规模安全设备的日志分析方法及系统。

技术介绍

[0002]现在操作系统内核、网络移动设备、应用服务等都会产生大量的日志数据，而这些数据大都是非结构化或半结构化的，很难直接理解和应用，只有讲这些数据经过解析、加工转化为结果化数据以后，才能被后续的系统使用和分析。
[0003]由于结构化数据通常是以字段为单位的，因此将非结构化数据转为结构化数据的主要工作起始就是从非结构化数据中提取出想要的字段，而目前的提取手段则往往需要手工编写正则表达式，grok表达式等，导致字段解析加工的过程非常繁琐，并且难以掌握。

技术实现思路

[0004]针对现有技术存在的不足，本专利技术的目的在于提供一种基于特征匹配的日志解析方法及装置，其能够实现不需要人工编写正则表达式进行日志解析，而是通过内置大量的日志解析模版和必要时通过人机交互半自动的生成日志解析模版的方式，大大降低日志解析的门槛，并且提升效率。
[0005]本专利技术的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征匹配的日志解析方法，其特征在于，包括：步骤1：设置数据源，一个数据源对应一个日志来源；步骤2：设置日志解析模版；步骤3：日志解析。2.根据权利要求1所述的日志解析方法，其特征在于，所述设置数据源包含以下过程：设置日志来源的IP和端口，以及通过何种网络协议获取日志数据；其中，网络协议包括syslog，http，imap等。3.根据权利要求1所述的日志解析方法，其特征在于，步骤2所述设置日志解析模版，包含以下步骤：步骤2.1：从数据源获取样例日志：步骤2.2：从已有的日志解析模板集合中，逐条取得模版，计算与样例日志是否匹配；其中，所述日志解析模板记为T(feature_set，regex)，每一个模版包含一个特征集合以及一个值析取表达式；所述的特征是指日志包含某个字符串或能匹配某一个正则表达式，而值析取表达式是指能够从日志中析取出一组或若干组字段名称和字段内容的正则表达式，一旦找到一个匹配的模版或者所有模版都计算完，进入步骤2.3；步骤2.3：如果找到匹配的解析模版Ti，则设置当前数据源的解析模版为Ti，结束当前过程；如果没有找到匹配的解析模版，进入步骤2.4；步骤2.4：通过人机交互的方式，半自动的生成一个日志解析模版Tj，设置当前数据源的解析模版为Tj。4.根据权利要求3所述的模版匹配方法，其特征在于，具体过程包含：逐条取得当前模板Ti中包含的特征；根据当前特征，计算样例日志是否包含该特征；当且仅当样例日志包含特征集合中的所有特征时，则当前模版与样例日志匹配，否则不匹配。5.根据权利要求4...

【专利技术属性】
技术研发人员：吴利群，郑冬东，赵华彬，
申请(专利权)人：杭州极盾数字科技有限公司，
类型：发明
国别省市：