一种声明式日志泛化方法及装置制造方法及图纸

本申请实施例提供了一种声明式日志泛化方法及装置，通过编写泛化引擎，所述泛化引擎用于实现声明式文件内的规则；通过所述泛化引擎接收网络日志；编写声明文件；将所述声明文件发送至所述泛化引擎，以使所述泛化引擎基于所述声明文件内的规则对所述网络日志进行泛化，得到泛化日志，能够解决现有日志泛化工作中存在的开发人员工作量大、调试时间长、准确率低及仅能在服务器端实现的问题，减少了开发人员的工作量、调试时间，提高了日志泛化的准确率及日志泛化的灵活性。确率及日志泛化的灵活性。确率及日志泛化的灵活性。

【技术实现步骤摘要】
一种声明式日志泛化方法及装置


[0001]本申请各实施例属计算机
，尤其涉及一种声明式日志泛化方法及装置。

技术介绍

[0002]在网络安全的大数据分析项目中，数据是一种生产资料，进行有效数据采集是大数据分析的关键步骤。目前的数据采集过程往往需接收多种类型的数据源，不同类型的数据源通常其数据格式和内容不同，在进行集中分析前，需要对原始数据进行提取、转换、筛选，统一数据的格式和表达含义等操作，这个过程就是日志泛化。
[0003]然而，目前的日志泛化通常是通过人工编写条件逻辑的方式来实现，同时存在开发人员工作量大、调试时间长及准确率低的问题；并且由于数据解析过程是基于配置实现，因此只能在服务端或云端进行数据解析，限制了日志泛化的灵活性。

技术实现思路

[0004]本实施例提供了一种声明式日志泛化方法及装置，能够解决现有日志泛化工作中存在的开发人员工作量大、调试时间长、准确率低及灵活性差的问题。
[0005]第一方面，本实施例提供了一种声明式日志泛化方法，包括：编写泛化引擎，所述泛化引擎用于实现声明式文件内的规则本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种声明式日志泛化方法，其特征在于，包括：编写泛化引擎，所述泛化引擎用于实现声明式文件内的规则；通过所述泛化引擎接收网络日志；编写声明文件；将所述声明文件发送至所述泛化引擎，以使所述泛化引擎基于所述声明文件内的规则对所述网络日志进行泛化，得到泛化日志。2.根据权利要求1所述的声明式日志泛化方法，其特征在于，所述通过所述泛化引擎接收网络日志，具体为：使所述泛化引擎通过网络协议接收所述网络日志，其中，所述网络协议是TCP、UDP、HTTP中的至少一种。3.根据权利要求1所述的声明式日志泛化方法，其特征在于，所述声明文件包括解码规则、解析规则、展开规则及映射规则；所述将所述声明文件发送至所述泛化引擎，以使所述泛化引擎基于所述声明文件内的规则对所述网络日志进行泛化，得到泛化日志，包括：将所述声明文件发送至所述泛化引擎，以使所述泛化引擎基于所述解码规则对所述网络日志的字节信息进行解码，得到字符串；使所述泛化引擎基于所述解析规则对所述字符串进行解析，得到解析字段名称及解析日志；使所述泛化引擎基于所述展开规则对所述解析日志进行展开，得到展开标识及展开日志；使所述泛化引擎基于所述映射规则将所述解析字段名称对应至所述展开日志上，得到所述泛化日志。4.根据权利要求3所述的声明式日志泛化方法，其特征在于，所述解码规则为：将所述网络日志的字节信息解析为unicode码；对所述unicode码进行编码，得到所述字符串，其中，所述编码的方式采用gbk编码或utf
‑
8编码。5.根据权利要求3所述的声明式日志泛化方法，其特征在于，所述解析规则为：若所述字符串是单层结构，则对所述单层结构的字符串进行解析，得到所述解析字段名称及所述解析日志；若所述字符串是多层结构，则逐层对所述多层结构结构的字符串进行解析，得到所述解析字段名...

【专利技术属性】
技术研发人员：王德龙，朱文雷，
申请(专利权)人：北京长亭科技有限公司，
类型：发明
国别省市：