一种数据处理方法以及数据处理设备技术

本申请实施例公开了一种数据处理方法以及数据处理设备，用于根据相同类型的多条日志确定该多条日志对应的日志类型的日志模板，即解析规则；然后根据该日志模板提取该多条日志的变量生成结构化日志。即不再需要人工设置解析规则，免除了运行过程对解析规则的人工维护与更新。本申请实施例方法包括：数据处理设备获取日志集合；所述数据处理设备确定所述日志集合中N条日志属于第一类型，所述N为正整数；所述数据处理设备根据所述N条日志确定与所述第一类型对应的日志模板，所述第一类型对应的日志模板用于指示所述N条日志的变量位置；所述数据处理设备根据所述变量位置从所述N条日志中的一条或多条日志提取变量生成结构化日志。

A data processing method and data processing equipment

The present application embodiment discloses a data processing method and a data processing device for determining the log template of the log type corresponding to the multiple log according to the same type of log, that is, the parsing rule, and then the variables that extract the multiple logs according to the log template are generated into a structured log. It is no longer necessary to set up parsing rules manually, which eliminates the manual maintenance and update of parsing rules in the running process. The application embodiment method includes: the data processing device gets the log collection; the data processing device determines that the N log in the log set belongs to the first type, and the N is a positive integer; the data processing device determines a log template corresponding to the first type according to the N log, the first type corresponding to the data processing device. The log template is used to indicate the variable position of the described N log; the data processing device generates a structured log from one or more log extraction variables in the N log according to the position of the variable.

【技术实现步骤摘要】
一种数据处理方法以及数据处理设备
本申请涉及计算机领域，尤其涉及一种数据处理方法以及数据处理设备。
技术介绍
日志数据是系统运维中的重要数据之一。日志数据的分析在网站用户行为分析、系统运维统计等方面都是必不可少的。而直接从海量的文本日志中，分析一种日志类型的变量是非常困难的。比如在海量文本中分析其中一种协议日志中记录的状态变化；一种传输问题引起端口震荡的日志中记录的端口有哪些等。通过日志的结构化处理后，可以按报表格式输出日志(例如，生成Excel格式)，就比较容易统计分析各个日志变量。因此在日志的分析和处理中常常有日志结构化的需求。目前日志结构化信息提取方法中，通常是在上游系统配置数据库模式定义语言(英文全称：DataDescriptionLanguage，简称：DDL)文件，DDL文件中定义好了结构化信息的解析规则和字段定义。然后该上游系统向下游系统提供日志和日志DDL文件，这样下游系统可根据日志DDL文件自动提取日志的结构化数据，后续可加载到目标数据库供后续分析。这种方法中，DDL文件为事先配置好且固定不变。而在实际应用中，不同的产品或不同的版本对应的日志是不同的，即导致DDL文本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：数据处理设备获取日志集合；所述数据处理设备确定所述日志集合中N条日志属于第一类型，所述N为正整数；所述数据处理设备根据所述N条日志确定与所述第一类型对应的日志模板，所述第一类型对应的日志模板用于指示所述N条日志的变量位置；所述数据处理设备根据所述变量位置从所述N条日志中的一条或多条日志提取变量生成结构化日志。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：数据处理设备获取日志集合；所述数据处理设备确定所述日志集合中N条日志属于第一类型，所述N为正整数；所述数据处理设备根据所述N条日志确定与所述第一类型对应的日志模板，所述第一类型对应的日志模板用于指示所述N条日志的变量位置；所述数据处理设备根据所述变量位置从所述N条日志中的一条或多条日志提取变量生成结构化日志。2.根据权利要求1所述的方法，其特征在于，所述数据处理设备根据所述N条日志确定与所述第一类型对应的日志模板包括：所述数据处理设备获取所述N条日志中的第M条日志，所述M为正整数；当所述M等于1时，所述数据处理设备将所述第M条日志作为所述第一类型对应的日志模板；或，所述数据处理设备根据所述第M条日志更新第一目标模板作为所述第一类型对应的日志模板，所述第一目标模板为与所述N条日志类型相同的其他日志确定的日志模板。3.根据权利要求2所述的方法，其特征在于，当所述M大于或等于2时，所述数据处理设备根据所述N条日志确定与所述第一类型对应的日志模板包括：所述数据处理设备根据所述第M条日志更新第二目标模板作为所述第一类型对应的日志模板，所述第二目标模板为所述数据处理设备根据第M-1条日志确定的日志模板。4.根据权利要求3所述的方法，其特征在于，所述数据处理设备根据所述第M条日志更新第二目标模板作为所述第一类型对应的日志模板包括：所述数据处理设备将第M条日志与所述第二目标模板进行比对；若所述数据处理设备确定所述第二目标模板相对所述第M条日志存在变量，则所述数据处理设备将所述第二目标模板相对所述第M条日志的变量用通配符表示作为所述第一类型对应的日志模板，所述通配符为预先设置的字符或字符串；若所述数据处理设备确定所述第二目标模板相对所述第M条日志不存在变量，则所述数据处理设备将所述第二目标模板作为所述第一类型对应的日志模板。5.根据权利要求1所述的方法，其特征在于，所述数据处理设备根据所述变量位置从所述N条日志中的一条或多条日志提取变量生成结构化日志包括：所述数据处理设备将通过比对获取到的所述N条日志中的一条或多条日志相对所述第一类型对应的日志模板不同的地方识别为变量；所述数据处理设备提取所述变量生成所述结构化日志。6.根据权利要求1所述的方法，其特征在于，所述数据处理设备根据所述变量位置从所述N条日志提取变量生成结构化日志包括：所述数据处理设备获取所述第一类型对应的日志模板所记录的所述变量位置；所述数据处理设备从所述N条日志中的一条或多条日志中提取所述变量位置对应的变量生成所述结构化日志。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述数据处理设备确定所述日志集合中N条日志属于第一类型包括：所述数据处理设备根据分类算法或聚类算法确定所述日志集合中所述N条日志属于所述第一类型。8.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：所述数据处理设备为所述第一类型对应的日志模板与所述N条日志建立映射关系；所述数据处理设备根据所述变量位置从所述N条日志中的一条或多条日志提取变量生成结构化日志包括：所述数据处理设备根据所述映射关系查询所述第一类型对应的日志模板对应的所述N条日志中的一条或多条日志；所述数据处理设备根据所述第一类型对应的日志模板中的所述变量位置从所述N条日志中的一条或多条日志提取变量生成所述结构化日志。9.根据权利要求1至6中任一项所述的方法，其特征在于，所述数据处理设备根据所述变量位置从所述N条日志中的一条或多条日志提取变量生成结构化日志之后，所述方法还包括：所述数据处理设备将所述结构化日志和所述第一类型对应的日志模板发送给下游系统。10.根据权利要求1至6中任一...

【专利技术属性】
技术研发人员：包德伟，谢于明，李世昊，李健，程康，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44