一种日志分析方法与装置制造方法及图纸

本发明专利技术公开了一种日志分析方法与装置包括：收集既有日志并从既有日志中提取日志信息；对日志信息进行数字化处理生成日志数据；将日志数据重构为机器学习模型可处理的数据结构，数据结构包含训练集和测试集；分别使用训练集和测试集来训练并随后测试多个机器学习模型；根据测试结果来选择训练得到的机器学习模型；和使用所选择的机器学习模型来分析新产生的日志。本发明专利技术能够从不同日志文件或不同类型的日志文件中提取和分析日志信息，以自动推断日志内容，解放人工劳动力，降低日志分析成本。

【技术实现步骤摘要】
一种日志分析方法与装置
本专利技术涉及计算机领域，更具体地，特别是指一种日志分析方法与装置。
技术介绍
BMC(基板管理控制器)是设置于主板上并且可以对服务器进行远程操作的控制芯片，是一套独立于服务器的系统。BMC可以远程监控服务器上的一些性能指标，以及对服务器执行开关机操作、固件升级、设备查看等一系列操作。一台服务器上通常会运行多种服务，开启数十种软件，同时还会有运维人员定期维护，这一系列的操作都会产生大量的操作数据。为了服务器的安全，通常操作系统及运行的服务都会对一些关键操作进行日志记录，如用户远程登录、连接数据库、程序崩溃等。在日后出现问题时可以使用关键信息记录日志方便地进行问题定位。BMC系统可以实时收集服务器的这些日志信息，并发送至远端专有的日志服务器进行存储与查看。现有技术是在发生问题后，从服务器中人工提取相关日志，整理成表格或其他固定格式的文件，然后按照时间点找到出现问题的时刻，对该处的日志进行分析。由于日志文件可能非常多，每个文件中还会存放大量的日志记录，因此如何对其中的内容进行分析、提取出所需的告警甚至错误信息，对维护人员来说十分困难。对现有技术中难以从日志文件中提本文档来自技高网...

【技术保护点】
1.一种日志分析方法，其特征在于，包括以下步骤：收集既有日志并从所述既有日志中提取日志信息；对所述日志信息进行数字化处理生成日志数据；将所述日志数据重构为机器学习模型可处理的数据结构，所述数据结构包含训练集和测试集；分别使用所述训练集和测试集来训练并随后测试多个机器学习模型；根据测试结果来选择训练得到的机器学习模型；和使用所选择的机器学习模型来分析新产生的日志。

【技术特征摘要】
1.一种日志分析方法，其特征在于，包括以下步骤：收集既有日志并从所述既有日志中提取日志信息；对所述日志信息进行数字化处理生成日志数据；将所述日志数据重构为机器学习模型可处理的数据结构，所述数据结构包含训练集和测试集；分别使用所述训练集和测试集来训练并随后测试多个机器学习模型；根据测试结果来选择训练得到的机器学习模型；和使用所选择的机器学习模型来分析新产生的日志。2.根据权利要求1所述的方法，其特征在于，提取的所述日志信息包括文字内容信息和级别信息；生成的所述日志数据包括文字内容数据和级别数据。3.根据权利要求2所述的方法，其特征在于，所述数字化处理包括：将每个所述文字内容信息拆分为多个单词；使用单词总表对所述多个单词进行统计，在所述单词总表中出现的单词记数字1，未出现的记数字0；根据统计结果为每个所述文字内容信息生成数组作为所述文字内容数据。4.根据权利要求3所述的方法，其特征在于，所述单词总表为将所有所述文字内容...

【专利技术属性】
技术研发人员：梁盛楠，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41