设备日志模板提取方法、装置、设备及介质制造方法及图纸

本发明专利技术提供设备日志模板提取方法、装置、设备及介质，涉及人工智能领域，其中，所述设备日志模板提取方法，包括：获取设备的原始日志信息和预先设置的至少一个第一掩模，所述第一掩模为与设备日志模板无关的日志变量的模型；根据所述至少一个第一掩模，屏蔽所述原始日志信息中的与所述设备日志模板无关的日志变量，得到第一日志信息；提取所述第一日志信息对应的日志模板。本发明专利技术实施例中，通过设置与设备日志模板无关的日志变量的模型，屏蔽所述原始日志信息中的与所述设备日志模板无关的日志变量，从而能够提高日志模板提取的合理性。从而能够提高日志模板提取的合理性。从而能够提高日志模板提取的合理性。

【技术实现步骤摘要】
设备日志模板提取方法、装置、设备及介质


[0001]本专利技术涉及人工智能领域，尤其涉及设备日志模板提取方法、装置、设备及介质。

技术介绍

[0002]设备，尤其是网络系统中部署的大规模设备(例如，网络云化设备)，在运行过程中会产生海量日志，例如，每小时50Gb(约1.2亿～2亿行)设备日志，设备日志记录了各个设备的运行状态。通过收集并分析日志，可以从海量信息中提取有用信息，例如，发现已发生或的或预知潜在的故障。然而由于目前日志规范不统一，日志数据呈现出非结构化，数据量大的特点，依靠人工分析效率低下，为打造快速、自动、高效、准确的日志分析，十分有必要引入AI算法，进行日志的自动解析，以达到降低运维成本，显著提升业务体验的目的。
[0003]由于非结构化的日志数据直接处理非常困难，往往需要通过日志解析得到日志的模板，然后再基于模板进行日志分析，例如，基于日志模板进行日志异常检测与根因定位。因此，日志分析的准确性与日志模版提取得是否准确/合理密切相关。
[0004]现有日志模板直接对原始日志信息进行提取处理，会出现大量业务相似的日志本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种设备日志模板提取方法，其特征在于，所述方法包括：获取设备的原始日志信息和预先设置的至少一个第一掩模，所述第一掩模为与设备日志模板无关的日志变量的模型；根据所述至少一个第一掩模，屏蔽所述原始日志信息中的与所述设备日志模板无关的日志变量，得到第一日志信息；提取所述第一日志信息对应的日志模板。2.根据权利要求1所述的方法，其特征在于，所述第一掩模包括如下至少一项：通用日志变量的模型，网络日志变量的模型。3.根据权利要求1
‑
2中的任一项所述的方法，其特征在于，在所述第一掩模包括至少两个的情况下，所述根据所述至少一个第一掩模，屏蔽所述原始日志信息中的无关变量，得到第一日志信息，包括：根据至少两个第一掩模的长度和/或复杂度，确定所述至少两个第一掩模的屏蔽顺序；根据所述屏蔽顺序屏蔽所述原始日志信息中的无关变量，得到第一日志信息。4.根据权利要求3所述的方法，其特征在于，所述根据至少两个第一掩模的长度和/或复杂度，确定所述至少两个第一掩模的屏蔽顺序，包括如下一项：将所述至少两个第一掩模按掩模长度由长到短顺序排列，确定所述至少两个第一掩模的屏蔽顺序；将所述至少两个第一掩模按掩模复杂度由高到低顺序排列，确定所述至少两个第一掩模的屏蔽顺序；将所述至少两个第一掩模按掩模长度和复杂度的加权求和结果的大小顺序排列，确定所述至少两个第一掩模的屏蔽顺序。5.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个第一掩模，屏蔽所述原始日志信息中的无关变量，得到第一日志信息之前，所述方法还包括：对所述原始日志信息的相似语句进行一致性处理，得到第二日志信息；所述根据所述至少一个第一掩模，屏蔽所述原始日志信息中的无关变量，得到第一日志信息，包括：根据所述至少一个第一掩模，屏蔽所述第二日志信息中的无...

【专利技术属性】
技术研发人员：曲薇，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：