日志异常检测定位方法、装置和电子设备制造方法及图纸

本申请涉及计算机技术领域，提供一种日志异常检测定位方法、装置和电子设备。方法包括：获取日志数据；对日志数据进行预处理，从预处理后的日志数据中提取日志事件模板和日志事件模板对应的参数，得到日志事件模板集和参数频次集；基于时间窗口和事件窗口将日志事件模板集转换为事件统计矩阵；基于COPOD算法对事件统计矩阵进行异常检测与标记，得到异常点位置集合，根据异常点位置集合对应的日志事件模板和参数频次，定位异常日志。本申请实施例通过采用窗口化技术，对解析后的日志数据进行特征提取，形成事件统计矩阵，对事件统计矩阵进行异常检测并标记异常点，通过异常点集合定位异常日志，提高整体日志解析的特征处理效率。提高整体日志解析的特征处理效率。提高整体日志解析的特征处理效率。

【技术实现步骤摘要】
日志异常检测定位方法、装置和电子设备


[0001]本申请涉及计算机
，具体涉及一种日志异常检测定位方法、装置和电子设备。

技术介绍

[0002]日志采集平台的功能是采集多个业务系统运行产生的日志数据，如大网设备，OMC(Operation and Maintenance Center，操作维护中心)等。日志采集平台通过TRAP、SYSLOG等方式采集对应业务系统产生的告警日志数据，当业务系统某个节点或节点主机出现故障时，日志采集平台接收不到故障节点或主机的告警日志，将导致日志采集平台出现告警风暴和错误告警等问题。
[0003]现有的处理基于日志采集平台的告警日志数据的通用技术方案为：通过巡检脚本，对业务系统的机器进行不定时的巡检；或者通过用户反馈，被动发现日志采集平台的问题主机，无法通过高效地对异常问题进行主动发现并处理。

技术实现思路

[0004]本申请实施例提供一种日志异常检测定位方法、装置和电子设备，用以解决现有的告警日志数据的异常检测方法效率低下的技术问题。
[0005]第一方面，本申请实施例提供一种日志异常检测定位方法，包括：
[0006]获取日志数据；
[0007]对所述日志数据进行预处理，从预处理后的所述日志数据中提取日志事件模板和所述日志事件模板对应的参数，得到日志事件模板集和参数频次集；
[0008]基于时间窗口和事件窗口将所述日志事件模板集转换为事件统计矩阵；
[0009]基于COPOD算法对所述事件统计矩阵进行异常检测与标记，得到异常点位置集合，根据所述异常点位置集合对应的日志事件模板和参数频次，定位异常日志。
[0010]在一个实施例中，所述对所述日志数据进行预处理，包括：
[0011]对所述日志数据进行去重、频数统计处理。
[0012]在一个实施例中，所述从预处理后的所述日志数据中提取日志事件模板和所述日志事件模板对应的参数，得到日志事件模板集和参数频次集，包括：
[0013]基于Drain3从预处理后的所述日志数据中提取日志事件模板和相关参数，为不同的所述日志事件模板设置唯一标识，得到日志事件模板集，对所述日志事件模板集中每个日志事件模板的相关参数的发生频次进行聚类，得到参数频次集。
[0014]在一个实施例中，所述事件统计矩阵以时间窗口为行索引，以事件窗口为列索引，统计每个时间窗口对应的日志事件模板发生的频数。
[0015]在一个实施例中，所述时间窗口基于时间戳进行划分，窗口取值为设定的时间间隔。
[0016]在一个实施例中，所述事件窗口基于所述时间窗口对所述日志事件模板进行聚类
统计。
[0017]在一个实施例中，所述基于COPOD算法对所述事件统计矩阵进行异常检测与标记，得到异常点位置集合，根据所述异常点位置集合对应的日志事件模板和参数频次，定位异常日志，包括：
[0018]基于COPOD算法拟合标记所述事件统计矩阵各个维度的异常点，得到异常点位置集合；
[0019]根据所述异常点位置集合，确定对应的时间窗口和对应的日志事件模板；
[0020]根据对应的时间窗口和对应的日志事件模板从所述参数频次集中提取对应的高频参数，以对应的高频参数为关键词在所述日志数据中进行搜索，定位异常日志。
[0021]第二方面，本申请实施例提供一种日志异常检测定位装置，包括：
[0022]日志获取模块，用于获取日志数据；
[0023]参数提取模块，用于对所述日志数据进行预处理，从预处理后的所述日志数据中提取日志事件模板和所述日志事件模板对应的参数，得到日志事件模板集和参数频次集；
[0024]矩阵转换模块，用于基于时间窗口和事件窗口将所述日志事件模板集转换为事件统计矩阵；
[0025]异常定位模块，用于基于COPOD算法对所述事件统计矩阵进行异常检测与标记，得到异常点位置集合，根据所述异常点位置集合对应的日志事件模板和参数频次，定位异常日志。
[0026]第三方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的日志异常检测定位方法的步骤。
[0027]第四方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的日志异常检测定位方法的步骤。
[0028]本申请实施例提供的日志异常检测定位方法、装置和电子设备，通过采用窗口化技术，对解析后的日志数据进行特征提取，形成事件统计矩阵，提高整体日志解析的特征处理效率。本申请还对事件统计矩阵进行异常检测并标记异常点，通过异常点集合定位异常日志，满足大型日志采集平台的日志异常检测能力，高效支撑告警日志的运维场景。
附图说明
[0029]为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030]图1是本申请实施例提供的日志异常检测定位方法的流程示意图；
[0031]图2是日志采集平台收集日志数据的示意图；
[0032]图3是时间窗口与事件窗口的组合示意图；
[0033]图4是事件统计矩阵输出流程示意图；
[0034]图5是图1中步骤S400的流程示意图；
[0035]图6是COPOD算法对事件统计矩阵的异常检测示意图；
[0036]图7是图5步骤S520中日志事件模板定位流程示意图；
[0037]图8是图5步骤S530中定位异常日志流程示意图；
[0038]图9是本申请实施例提供的日志异常检测定位装置的结构示意图；
[0039]图10是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0040]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0041]图1为本申请实施例提供的日志异常检测定位方法的流程示意图。参照图1，本申请实施例提供一种日志异常检测定位方法，可以包括：
[0042]S100，获取日志数据，日志数据是记录IT系统产生的过程性事件记录数据，包括硬件设备状态日志和应用系统日志。硬件设备状态日志包括服务器的CPU或内存使用状态，存储设备温度或磁盘容量等健康度的状态，网络设备流量或行为分析的状态等。应用系统日志包括操作系统的日志数据、数据库日志数据、中间件日志数据和业务系统日志数据。
[0043]可选的，如图2所示，本申请基于日志采集平台，收集业务系统主机所产生的告警日志数据。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志异常检测定位方法，其特征在于，包括：获取日志数据；对所述日志数据进行预处理，从预处理后的所述日志数据中提取日志事件模板和所述日志事件模板对应的参数，得到日志事件模板集和参数频次集；基于时间窗口和事件窗口将所述日志事件模板集转换为事件统计矩阵；基于COPOD算法对所述事件统计矩阵进行异常检测与标记，得到异常点位置集合，根据所述异常点位置集合对应的日志事件模板和参数频次，定位异常日志。2.根据权利要求1所述的日志异常检测定位方法，其特征在于，所述对所述日志数据进行预处理，包括：对所述日志数据进行去重、频数统计处理。3.根据权利要求1所述的日志异常检测定位方法，其特征在于，所述从预处理后的所述日志数据中提取日志事件模板和所述日志事件模板对应的参数，得到日志事件模板集和参数频次集，包括：基于Drain3从预处理后的所述日志数据中提取日志事件模板和相关参数，为不同的所述日志事件模板设置唯一标识，得到日志事件模板集，对所述日志事件模板集中每个日志事件模板的相关参数的发生频次进行聚类，得到参数频次集。4.根据权利要求1所述的日志异常检测定位方法，其特征在于，所述事件统计矩阵以时间窗口为行索引，以事件窗口为列索引，统计每个时间窗口对应的日志事件模板发生的频数。5.根据权利要求4所述的日志异常检测定位方法，其特征在于，所述时间窗口基于时间戳进行划分，窗口取值为设定的时间间隔。6.根据权利要求4所述的日志异常检测定位方法，其特征在于，所述事件窗口基于所述时间窗口对所述日志事件模板进行...

【专利技术属性】
技术研发人员：王锐，郑浩彬，段新，孙剑骏，林纲，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：