日志检测方法、装置及存储介质制造方法及图纸

本发明专利技术提供了一种日志检测方法、装置及存储介质基于多个当前日志数据，得到多个当前编码信息组；基于多个当前编码信息组包括的多个日志信息，构建第一矩阵；根据第一矩阵中多个日志信息出现的次数，得到多个当前日志数据对应的多个当前日志信息组；将多个当前日志信息组与模式库中的多个预存日志信息组进行匹配，得到多个当前日志信息组的匹配结果，基于匹配结果确定针对多个当前日志数据的检测结果。由于在第一矩阵中每个当前编码信息组的日志信息之间的路径关系更加明确，方便服务器快速的构建频繁模式树，来进行多个当前日志信息组的挖掘，进而可以快速的确定出多个当前日志数据的检测结果，所以提高了服务器检测日志数据的效率。效率。效率。

【技术实现步骤摘要】
日志检测方法、装置及存储介质


[0001]本专利技术实施例涉及数据处理
，尤其涉及一种日志检测方法、装置及存储介质。

技术介绍

[0002]日志是记录服务器状态的关键信息。通过检测日志，可以挖掘服务器的运行情况，及时发现潜在的安全问题。
[0003]现有技术中，检测日志时需要以服务器一段时间内的行为特征为检测对象进行检测。常用的检测日志的算法有两种，分别为：Apriori算法和FP
‑
growth算法。其中，Apriori算法产生频繁模式完全集前需要多次扫描数据库，同时产生大量的候选频繁集，这就使Apriori算法的时间和空间复杂度较大，造成Apriori算法对日志的检测效率较低。FP
‑
growth算法需要对事务数据库进行两次扫描，当数据库容量较大时，扫描所耗费的时间较长，使得检测日志效率较低。所以，现有技术检测日志存在效率较低问题。

技术实现思路

[0004]本专利技术实施例提供的一种日志检测方法、装置及存储介质，可以提高检测日志的效率。
[0005]本专利技术的技术方案是这样实现的：
[0006]本专利技术实施例提供了一种日志检测方法，包括：
[0007]获取多个当前日志数据，基于多个当前日志数据，得到多个当前编码信息组；多个当前编码信息组包括：多个当前日志数据中的多个日志信息；日志信息表征对应的日志数据中的事项信息；
[0008]基于多个当前编码信息组包括的多个日志信息，构建第一矩阵；
[0009]根据第一矩阵中多个日志信息出现的次数，得到多个当前日志数据对应的多个当前日志信息组；多个当前日志信息组为频繁模式树中的重叠日志信息组；频繁模式树是根据多个日志信息出现的次数构建的；
[0010]将多个当前日志信息组与模式库中的多个预存日志信息组进行匹配，得到多个当前日志信息组的匹配结果，基于匹配结果确定针对多个当前日志数据的检测结果。
[0011]本专利技术实施例还提供了一种日志检测装置，包括：
[0012]数据获取单元，用于获取多个当前日志数据，基于所述多个当前日志数据，得到多个当前编码信息组；所述多个当前编码信息组包括：所述多个当前日志数据中的多个日志信息；日志信息表征对应的日志数据中的事项信息；
[0013]矩阵构建单元，用于基于所述多个当前编码信息组包括的多个日志信息，构建第一矩阵；
[0014]关联提取单元，用于根据所述第一矩阵中所述多个日志信息出现的次数，得到所述多个当前日志数据对应的多个当前日志信息组；所述多个当前日志信息组为频繁模式树
中的重叠日志信息组；所述频繁模式树是根据所述多个日志信息出现的次数构建的；
[0015]匹配单元，用于将所述多个当前日志信息组与模式库中的多个预存日志信息组进行匹配，得到所述多个当前日志信息组的匹配结果，基于所述匹配结果确定针对所述多个当前日志数据的检测结果。
[0016]本专利技术实施例还提供了一种日志检测装置，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行上述方法中的步骤。
[0017]本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的步骤。
[0018]本专利技术实施例通过获取多个当前日志数据，基于多个当前日志数据，得到多个当前编码信息组；多个当前编码信息组包括：多个当前日志数据中的多个日志信息；日志信息表征对应的日志数据中的事项信息；基于多个当前编码信息组包括的多个日志信息，构建第一矩阵；根据第一矩阵中多个日志信息出现的次数，得到多个当前日志数据对应的多个当前日志信息组；多个当前日志信息组为频繁模式树中的重叠日志信息组；频繁模式树是根据多个日志信息出现的次数构建的；将多个当前日志信息组与模式库中的多个预存日志信息组进行匹配，得到多个当前日志信息组的匹配结果，基于匹配结果确定针对多个当前日志数据的检测结果。由于服务器通过第一矩阵存储每个当前编码信息组，在第一矩阵中每个当前编码信息组的日志信息之间的路径关系更加明确，方便服务器快速的构建频繁模式树，来进行多个当前日志信息组的挖掘，进而可以快速的确定出多个当前日志数据的检测结果，所以提高了服务器检测日志数据的效率。
附图说明
[0019]图1为本专利技术实施例提供的日志检测方法的一个可选的流程示意图；
[0020]图2为本专利技术实施例提供的日志检测方法的一个可选的流程示意图；
[0021]图3为本专利技术实施例提供的日志检测方法的一个可选的流程示意图；
[0022]图4为本专利技术实施例提供的日志检测方法的一个可选的效果示意图；
[0023]图5为本专利技术实施例提供的日志检测方法的一个可选的效果示意图；
[0024]图6为本专利技术实施例提供的日志检测方法的一个可选的流程示意图；
[0025]图7为本专利技术实施例提供的日志检测装置的结构示意图；
[0026]图8为本专利技术实施例提供的日志检测装置的一种硬件实体示意图。
具体实施方式
[0027]图1为本专利技术实施例提供的日志检测方法的一个可选的流程示意图，将结合图1示出的步骤进行说明。
[0028]S101、获取多个当前日志数据，基于多个当前日志数据，得到多个当前编码信息组；多个当前编码信息组包括：多个当前日志数据中的多个日志信息；日志信息表征对应的日志数据中的事项信息。
[0029]本专利技术实施例中，服务器在缓存或者数据库中获取多个当前日志数据。服务器基于多个当前日志数据得到多个当前编码信息组。其中，多个当前编码信息组包括：多个当前日志数据中的多个日志信息。日志信息表征对应的日志数据中的事项信息。
[0030]本专利技术实施例中，服务器可以通过日志获取工具在服务器的缓存或者数据库中获取当前时刻之前预定时间段内的多个当前日志数据。服务器删除多个当前日志数据中的重复日志数据。服务器提取出删除重复日志数据后的多个当前日志数据，服务器按照预定规则确定每个当前日志数据的多个预设日志信息的编码信息，进而可以确定每个当前日志数据对应的当前编码信息组，也就得到了多个当前编码信息组。其中，编码信息可以为数字信息或者字符信息。
[0031]本专利技术实施例中，多个当前日志数据可以为预设时间段内多个客户端与服务器进行交互的日志数据。每个当前日志数据中的日志信息反映了对应客户端与服务器的交互时间信息、客户端网际互联协议(Internet Protocol，IP)地址信息、网络目标IP地址信息和超文本传输 (Hypertext Transfer Protocol,HTTP)请求方法信息等事项信息。
[0032]本专利技术实施例中，服务器可以通过日志收集系统、logstash日志收集工具或者syslog工具在服务器的缓存或者数据库中获取多个当前日志数据。其中，多个当前日志数据可以为文本格式。
[0033]示例性的，结合表一，表一为多个当前日志数据对应的日志信息表
[0034][0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志检测方法，其特征在于，包括：获取多个当前日志数据，基于所述多个当前日志数据，得到多个当前编码信息组；所述多个当前编码信息组包括：所述多个当前日志数据中的多个日志信息；日志信息表征对应的日志数据中的事项信息；基于所述多个当前编码信息组包括的多个日志信息，构建第一矩阵；根据所述第一矩阵中所述多个日志信息出现的次数，得到所述多个当前日志数据对应的多个当前日志信息组；所述多个当前日志信息组为频繁模式树中的重叠日志信息组；所述频繁模式树是根据所述多个日志信息出现的次数构建的；将所述多个当前日志信息组与模式库中的多个预存日志信息组进行匹配，得到所述多个当前日志信息组的匹配结果，基于所述匹配结果确定针对所述多个当前日志数据的检测结果。2.根据权利要求1所述的日志检测方法，其特征在于，所述基于所述多个当前编码信息组包括的多个日志信息，构建第一矩阵，包括：基于所述多个当前编码信息组中的多个日志信息的类别形成所述第一矩阵的第一列；基于第n
‑
1个当前编码信息组中的每个日志信息与对应的日志信息类别的预设标记值，形成所述第一矩阵的第n列；所述第一矩阵的列数为n；n为大于1的正整数。3.根据权利要求1所述的日志检测方法，其特征在于，所述将所述多个当前日志信息组与模式库中的多个预存日志信息组进行匹配，得到所述多个当前日志信息组的匹配结果，基于所述匹配结果确定针对所述多个当前日志数据的检测结果之后，所述方法还包括：若所述匹配结果表征至少一个当前日志信息组与至少一个预存日志信息组匹配，则将所述至少一个当前日志信息组对应的当前日志数据加入确定所述模式库时提取的多个样本日志数据，以得到更新后的所述多个预存日志信息组，以及基于所述更新后的所述多个预存日志信息组更新的所述模式库。4.根据权利要求1所述的日志检测方法，其特征在于，所述根据所述第一矩阵中所述多个日志信息出现的次数，得到所述多个当前日志数据对应的多个当前日志信息组，包括：基于所述第一矩阵中的所述多个当前编码信息组中的每个日志信息的出现次数，计算得到每个日志信息类别的支持度；确定大于支持度阈值的目标支持度对应的目标日志信息类别；在基于所述目标日志信息类别构建的第二矩阵中，确定所述多个当前编码信息组分别对应的首位日志信息组；基于多个首位日志信息组分别对应的属性信息，构建频繁模式树；所述属性信息包括：多个首位日志信息组分别对应的类别名称信息、父亲节点信息、总支持度、父亲路径信息、日志集合信息和日志记数信息；所述总支持度表征对应首位日志信息组的日志信息类别的支持度之和；在所述频繁模式树中，确定出所述频繁模式树中的左节点的第一频繁模式和所述频繁模式树中的右节点的第二繁模式，并确定所述第一频繁模式和所述第二频繁模式的重叠日志信息组为所述多个当前日志信息组。5.根据权利要求4所述的日志检测方法，其特征在于，所述基于多个首位日志信息组分别对应的属性信息，构建频繁模式树，包括：
在所述第二矩阵中，确定最小行数的首位日志信息组为根节点；基于所述根节点和所述多个首位日志信息组分别对应的已知属性信息，构建所述频繁模式树。6.根据权利要求4所述的日志检测方法，其特征在于，所述在所述频繁模式树中，确定出所述频繁模式树中的左节点的第一频繁模式和所述频繁模式树中的右节点的第二繁模式，并确定所述第一频繁模式和所述第二频繁模式的重叠日志信息组为所述多个当前日志信息组，包括：在所述频繁模式树中进行后序遍历，基于所述频繁模式树中的父亲节点和左节点的总支持度，确定出所述第一频繁...

【专利技术属性】
技术研发人员：魏坤，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：