系统日志评价方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及系统日志评价方法，所述方法包括以下步骤：步骤1：获取系统日志数据，步骤2：提取系统日志数据模板，将非结构化的系统日志数据转化为结构化的系统日志，步骤3：利用基于神经网络的异常检测算法训练异常检测模型，步骤4：对异常检测模型进行解释，输出系统日志价值。该技术方案通过提高日志信息量，减少冗余日志等方式，提升日志数据的质量，从而达到提升数据价值的同时减少数据收集量的效果，进一步提升异常检测算法的效果与效率。步提升异常检测算法的效果与效率。步提升异常检测算法的效果与效率。

【技术实现步骤摘要】
系统日志评价方法、装置、设备及介质


[0001]本专利技术实施例涉及数据处理
，尤其涉及一种系统日志价值评价方法、装置、设备及介质。

技术介绍

[0002]如今，我们日常生活中提供各种服务的软件系统越来越普遍，如搜索引擎、社交媒体、翻译应用程序等。与传统的单机软件不同，在线软件通常为全球数亿客户提供服务，目标是全天候可用性，如何保障服务质量成为市场上的核心竞争力。日志一直是确保许多软件系统的可靠性和连续性的必要数据，记录系统运行时的信息，促进系统故障排除和行为理解。现代软件系统日趋复杂，日志数量已经达到了前所未有的水平。
[0003]近年来，随着服务监控和可观测性的重要性越来越被从业者所认可，大量的研究致力于运用人工智能技术对各类监控数据进行处理分析，以实现异常检测或分析等运维任务。而监控数据的质量是上述异常检测或分析任务的基石。在众多类型的监控数据中，日志数据的质量往往是异常检测效果的关键，其非结构化的特性以及不恰当的埋点极易导致关键信息的缺失以及产生大量低价值的冗余数据。
[0004]日志数据中易缺失重要的信息。大部分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.系统日志评价方法，其特征在于，所述方法包括以下步骤：步骤1：获取系统日志数据，步骤2：提取系统日志数据模板，将非结构化的系统日志数据转化为结构化的系统日志，步骤3：利用基于神经网络的异常检测算法训练异常检测模型，步骤4：对异常检测模型进行解释，输出系统日志价值。2.根据权利要求1所述的系统日志评价方法，其特征在于，步骤1中获取系统日志数据，包括：获取系统日志内容，包括时间戳、服务标识符、服务所在主机标志符、日志事件类型、日志信息、执行次数以及事件持续时长。3.根据权利要求1所述的系统日志评价方法，其特征在于，步骤2中包括：将系统日志数据输入至日志解析工具中，根据日志解析工具的输出结果提取日志数据模版；根据日志数据模版将非结构化的系统日志数据处理成为结构化的系统日志。4.根据权利要求1所述的系统日志评价方法，其特征在于，步骤3中，利用基于神经网络的异常检测算法训练异常检测模型，包括：将结构化系统日志作为输入，将日志分组后，转化为异常检测算法所需的日志事件向量；利用预设的基于神经网络的异常检测算法，定位异常日志事件序列，构建异常检测模型；计算异常检测模型在验证集的F1值、准确率、精确率和召回率。5.根据权利要求4所述的系统日志评价方法，其特征在于，步骤3中的日志分组，包括：使用日志时间戳和日志标识符，将日志划分为不同的组，每个组代表一个日志序列，使用固定窗口分组，具有预定义的窗口大小，指示用于拆分计时排序日志的时间间隔，两个连续的固定窗口之间没有重叠，出现在固定窗口中的所有日志信息将被分组到同一个日志序列中，使用滑动窗口分组，具有预定义的窗口大小和步长，步长一般小于窗口大小，使不同滑动窗口之间的重叠，相邻的日志序列中包含相同的日志信息，使用会话窗口分组，根据在日志信息中的唯一标识进行分组，同一个窗口的认知信息有相同的唯一标识，不同的会话窗口的唯一标识不同，步...

【专利技术属性】
技术研发人员：顾胜晖，李显，荣国平，张贺，邵栋，周鑫，
申请(专利权)人：南京大学，
类型：发明
国别省市：