一种可继承可扩展的数据处理方法及其对解析日志的应用技术

本发明专利技术公开了一种可继承可扩展的数据处理方法，包括以下步骤：1）将日志中通用的解析方式直接写入一个父解析规则中；2）将父解析规则与若干子解析规则之间构建相关性，使解析表达式不同的子解析规则通过继承的方式，直接获得父解析规则中的解析方式；3）子解析规则中对父解析规则不满足的解析方式，可以对父解析规则进行重新改写，实现对父解析规则的扩展。本发明专利技术还将此数据处理方法应用于日志的解析过程中，对解析规则进行优化，减少解析规则中的冗余部分，方便解析规则的管理与新增，减少解析规则编写人员重复作业内容，减少解析规则数量，提升系统性能，通过继承方式解决不同解析规则中表达相同含义字段取值困难的问题。

An inheritable and extensible data processing method and its application to parsing log

【技术实现步骤摘要】
一种可继承可扩展的数据处理方法及其对解析日志的应用
本专利技术涉及计算机数据处理
，具体是指一种可继承可扩展的数据处理方法及其对日志的解析方法。
技术介绍
互联设备每天都会产生大量的日志文件，这些日志文件一般是非结构化的。在大数据
，常常需要对日志进行解析，将非结构化日志解析为结构化的数据，便于数据的统计和分析等。目前的日志解析规则的编写主要通过，解析表达式(比如正则表达式)和赋值字段部分组成。此种方式会导致不同的解析规则中可能会存在相同的处理逻辑。虽然已经存在一些模块化解析规则的方式，来提高解析规则的复用性，从而减少解析规则之间的冗余，来减轻冗余的现象。但是对于一些相似的日志(比如字段赋值规律完全相同)，只是使用的解析表达式不同，在此类情况下，由于解析表达式的不同，所以需要重复编写两个规则，以适配不同的日志格式，然后再重写相同的字段赋值规则。如果此时的字段赋值规则过于复杂，那么就需要解析规则的编写人员，花费接近两倍的时间来完成这个任务(每一种日志都需要重复编写一次字段赋值规则)。同时将类似的内容重复写成两种规则，从而剥离了本文档来自技高网...

【技术保护点】
1.一种可继承可扩展的数据处理方法，其特征在于，包括以下步骤：/n（1）将日志中通用的解析方式直接写入一个父解析规则中；/n（2）将父解析规则与若干子解析规则之间构建相关性，使解析表达式不同的子解析规则通过继承的方式，直接获得父解析规则中的解析方式；/n（3）子解析规则中对父解析规则不满足的解析方式，可以对父解析规则进行重新改写，实现对父解析规则的扩展。/n

【技术特征摘要】
1.一种可继承可扩展的数据处理方法，其特征在于，包括以下步骤：
（1）将日志中通用的解析方式直接写入一个父解析规则中；
（2）将父解析规则与若干子解析规则之间构建相关性，使解析表达式不同的子解析规则通过继承的方式，直接获得父解析规则中的解析方式；
（3）子解析规则中对父解析规则不满足的解析方式，可以对父解析规则进行重新改写，实现对父解析规则的扩展。


2.根据权利要求1所述的一种可继承可扩展的数据处理方法，其特征在于，所述步骤（1）中通用的日志解析方式包括日志中字段赋值以及日志中字段取值。


3.根据权利要求1或2所述的一种可继承可扩展的数据处理方法，其特征在于，所述步骤（3）中子解析规则对父解析规则进行重新改写的方式包括解析表达式、字段赋值。


4.根据权利要求1~3任一项所述的一种可继承可扩展数据处理方法对解析日志的应用，包括以下步骤：
（1）将日志中通用的解析方式构建成父解析规则类；
（2）输入相关的子解析规则表达式；
（3）根据子解析规则表达式，生成相应的解析规则对象；
（4）根据解析规则对象匹配父解析规则类，生成相应的子解析规则；
（5）将生成的子解析规则加载系统，然后用其对日志进行解析，输出解析结果。


5.根据权利要求4所述的一种可继承可扩展数据处理方法对解析日志的应用，其特征在于，所述步骤（2）中，所述输入的解析规则表达式包括JSON格式、XML格式、YSML格式、WDDX格式。


6.根据权利要求4或5所述的一种可继承可扩展...

【专利技术属性】
技术研发人员：施展，范渊，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：浙江;33