非标准化日志结构体自动处理方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了非标准化日志结构体自动处理方法、装置、设备及介质。该方法包括：识别待处理的目标日志，并在根据自动解析规则确定所述目标日志为非标准化日志结构体时，进行特征抽象和聚合，得到抽象键值对字符串；在所述抽象键值对字符串中，识别目标分隔符；根据所述目标分隔符在所述抽象键值对字符串识别字符缺失位置以及字符缺失类型，并在所述目标日志中匹配的字符缺失位置处，填充与所述字符缺失类型匹配的补充字符，得到标准化日志结构体。本发明专利技术实施例的技术方案通过识别字符缺失并自动填充缺失字符，以得到标准化日志结构体，容错率高，且规避了现有技术中对非标准化日志结构体解析只能采用正则表达式导致效率低下的问题。

【技术实现步骤摘要】

本专利技术涉及数据处理领域，尤其涉及非标准化日志结构体自动处理方法、装置、设备及介质。

技术介绍

1、为了对日志数据进行精准的统计分析，日志管理系统采用关键信息标注、预处理的方法，将日志中的关键线索、关键特征，格式化成便于统计计算的字段，这一过程称为数据解析。其中，日志数据通常由“常规日志内容”和“报文结构体内容”组成。

2、但日志数据在实际输出过程中，由于运行出错、日志内容过长以及日志内容超出解析规则设置的样本范围等原因，容易出现“报文结构体”内容被截断导致内容缺失，变为非标准化结构体的情况，造成解析的数据覆盖范围不完整，解析结果不准确等问题。

3、因此，亟需一种对非标准化日志结构体进行处理的方法，以此得到标准化日志结构体，从而获得准确的日志数据解析结果。

技术实现思路

1、基于此，本专利技术提供了非标准化日志结构体自动处理方法、装置、设备及介质，解决日志数据在实际输出过程中报文结构体内容会出现非标准化的问题。

2、第一方面，本专利技术实施例提供了一种非标准化日志结构体自本文档来自技高网...

【技术保护点】

1.一种非标准化日志结构体自动处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在根据自动解析规则确定所述目标日志为非标准化日志结构体之前，还包括：

3.根据权利要求2所述的方法，其特征在于，根据自动解析规则确定所述目标日志为非标准化日志结构体，包括：

4.根据权利要求1所述的方法，其特征在于，在所述抽象键值对字符串中识别键名键值分隔符，包括：

5.根据权利要求1所述的方法，其特征在于，在所述抽象键值对字符串中,识别对象组分隔符，包括：

6.根据权利要求1-5任一项所述的方法，其特征在于，根据所述目标分隔符...

【技术特征摘要】

1.一种非标准化日志结构体自动处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在根据自动解析规则确定所述目标日志为非标准化日志结构体之前，还包括：

3.根据权利要求2所述的方法，其特征在于，根据自动解析规则确定所述目标日志为非标准化日志结构体，包括：

4.根据权利要求1所述的方法，其特征在于，在所述抽象键值对字符串中识别键名键值分隔符，包括：

5.根据权利要求1所述的方法，其特征在于，在所述抽象键值对字符串中,识别对象组分隔符，包括：

6.根据权利要求1-5任一项所述的方法，其特征在于，根据所述目标分隔符在所述抽象键值对字符串识别字符缺失位置以及字符缺失类...

【专利技术属性】
技术研发人员：陈秋华，
申请(专利权)人：北京优特捷信息技术有限公司，
类型：发明
国别省市：