一种基于海量系统日志的行为分析方法技术方案

本发明专利技术公开了一种基于海量系统日志的行为分析方法，包括：获取海量系统日志内的编码信息，并将编码信息与唯一分析目标相对应；提取编码信息对应的全部日志信息，并按照时间节点进行排列；根据日志信息的属性特征进行聚类，其中，聚类后的日志信息依旧按照时间节点进行排列；将聚类后的日志信息进行时间迭代分析，得出分析结果，达到了监测日志故障信息、预测风险及趋势的目的，从而解决了现有技术中日志分析无法准确、高效地进行多元化日志结果分析的技术问题，同时确定行为信息与近似行为信息可以得到准确的故障判断结果、风险评估结果、趋势预测结果，通过日志分析输出多元化分析结果。析结果。析结果。

【技术实现步骤摘要】
一种基于海量系统日志的行为分析方法


[0001]本专利技术属于大数据领域，涉及行为分析技术，具体是一种基于海量系统日志的行为分析方法。

技术介绍

[0002]随着云计算、移动互联网、物联网的崛起与发展，大数据的时代已经来临。各种系统、程序、运维、交易等的日志作为系统恢复、错误跟踪、安全检测等操作的重要依据，变得越来越重要。因此，在海量日志中快速的寻找到有用的信息，也变得十分重要；
[0003]例如，入侵监测、漏洞扫描、审计等系统作为安全监测系统，能够完成对安全构成威胁的任何一个行为进行报警，即生成操作日志；当某一个操作持续进行时，就会发出相同的操作日志；管理员每天重复的看这些日志，难免会将一些有用的信息淹没在这海量的日志中，从而无法从海量日志中定位目标日志，同时，在进行日志分析时，通常会在终端利用固有的日志分析程序对本地所存储的数据进行日志分析，并得到日志分析结果数据，这样过程的日志分析结果很片面，分析速度和效率不高，无法做到通过日志分析输出多元化分析结果的技术目的。

技术实现思路

[0004]本专利技术的目的在于提供一种基于海量系统日志的行为分析方法，用于解决在进行日志分析时，通常会在终端利用固有的日志分析程序对本地所存储的数据进行日志分析，并得到日志分析结果数据，这样过程的日志分析结果很片面，分析速度和效率不高，无法做到通过日志分析输出多元化分析结果的技术目的的问题。
[0005]本专利技术的目的可以通过以下技术方案实现：
[0006]一种基于海量系统日志的行为分析方法，包括：
[0007]获取海量系统日志内的编码信息，并将编码信息与唯一分析目标相对应；
[0008]提取编码信息对应的全部日志信息，并按照时间节点进行排列；
[0009]根据日志信息的属性特征进行聚类，其中，聚类后的日志信息依旧按照时间节点进行排列；
[0010]将聚类后的日志信息进行时间迭代分析，得出分析结果；
[0011]其中，时间迭代分析包括：
[0012]获取唯一分析目标聚类后的日志信息，按照时间节点将其排列得出目标日志信息；
[0013]获取唯一分析目标的近属分析目标，获取近属分析目标的近属日志信息，当相同节点下目标日志信息与近属日志信息均存在相同聚类的日志信息，则将相同聚类的日志信息标记为确定行为信息；
[0014]当相同节点下目标日志信息与近属日志信息存在不同聚类但日志信息相同，标记此类日志信息为近似行为信息。
[0015]进一步的，所述获取唯一分析目标聚类后的日志信息，按照时间节点将其排列得出目标日志信息，包括：
[0016]所述时间节点包括24个子时间节点，其中，每一个子时间节点的间隔为一小时，共获得23个时间区间；
[0017]将聚类后的日志信息按照时间节点进行填充，得出目标日志信息，其中，每一个时间区间内均包含全部的聚类分类，若聚类分类中不存在日志信息，则标记对应聚类分类为剔除分类；若聚类分类中存在日志信息，则标记对应聚类分类为保留分类；
[0018]每一个时间区间内的保留分类组成时区日志信息，将全部时区日志信息按照时间节点排列后得出目标日志信息。
[0019]进一步的，所述获取唯一分析目标的近属分析目标，包括：
[0020]获取唯一分析目标的编码信息，并将编码信息分割为大类、中类及低类；
[0021]大类对应编码信息的最大分类范围，中类对应编码信息的细化分类范围，低类对应编码信息的相似分类范围；
[0022]其中，近属分析目标对应的大类、中类及低类中至少一个分类范围与唯一分析目标的分类范围相同。
[0023]进一步的，所述获取海量系统日志内的编码信息之前还包括：
[0024]根据编码信息获取唯一分析目标的日志数据，并进行实时采集，并生成日志数据；
[0025]若干日志数据组成海量系统日志。
[0026]进一步的，所述获取海量系统日志内的编码信息，并将编码信息与唯一分析目标相对应，包括：
[0027]预先设置编码信息对应的特征形式，通过对海量系统日志内进行特征形式筛选，符合筛选条件的即为编码信息。
[0028]与现有技术相比，本专利技术的有益效果是：
[0029]采用获取海量系统日志内的编码信息，并将编码信息与唯一分析目标相对应；提取编码信息对应的全部日志信息，并按照时间节点进行排列；根据日志信息的属性特征进行聚类，其中，聚类后的日志信息依旧按照时间节点进行排列；将聚类后的日志信息进行时间迭代分析，得出分析结果，达到了监测日志故障信息、预测风险及趋势的目的，从而解决了现有技术中日志分析无法准确、高效地进行多元化日志结果分析的技术问题；
[0030]通过确定行为信息与近似行为信息可以得到准确的故障判断结果、风险评估结果、趋势预测结果，其中，故障判断结果可以包括是否存在故障，故障发生的时间以及故障程度等信息，风险评估结果可以包括发生故障的风险指数高低，趋势预测结果可以对目标的日志在以后可能出现各种稳定和不稳定情况的趋势进行评估。
附图说明
[0031]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0032]图1为本专利技术流程图。
具体实施方式
[0033]为使本专利技术实施方式的目的、技术方案和优点更加清楚，下面将结合本专利技术实施方式中的附图，对本专利技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本专利技术一部分实施方式，而不是全部的实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。
[0034]因此，在下述附图中提供的本专利技术的实施方式的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施方式。
[0035]传统的，入侵监测、漏洞扫描、审计等系统作为安全监测系统，能够完成对安全构成威胁的任何一个行为进行报警，即生成操作日志。当某一个操作持续进行时，就会发出相同的操作日志，假设一个黑客使用暴力破解软件进行一个主机的密码操作时，这台主机就会不停的报出密码错误的操作日志。如果管理员每天的看这些日志，就难免会将一些有用的信息淹没在这海量的日志中，从而无法从海量日志中定位目标日志，同时，在进行日志分析时，通常会在终端利用固有的日志分析程序对本地所存储的数据进行日志分析，并得到日志分析结果数据，这样过程的日志分析结果很片面，分析速度和效率不高，无法做到通过日志分析输出多元化分析结果的技术目的。
[0036]基于上述描述，本专利技术实施例提出一种如图1所示的一种基于海量系统日志的行为分析方法，包括：
[0037]根据编码信息获取唯一分析目标的日志数据，并进行实时采集，并生成日志数据；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于海量系统日志的行为分析方法，其特征在于，包括：获取海量系统日志内的编码信息，并将编码信息与唯一分析目标相对应；提取编码信息对应的全部日志信息，并按照时间节点进行排列；根据日志信息的属性特征进行聚类，其中，聚类后的日志信息依旧按照时间节点进行排列；将聚类后的日志信息进行时间迭代分析，得出分析结果；其中，时间迭代分析包括：获取唯一分析目标聚类后的日志信息，按照时间节点将其排列得出目标日志信息；获取唯一分析目标的近属分析目标，获取近属分析目标的近属日志信息，当相同节点下目标日志信息与近属日志信息均存在相同聚类的日志信息，则将相同聚类的日志信息标记为确定行为信息；当相同节点下目标日志信息与近属日志信息存在不同聚类但日志信息相同，标记此类日志信息为近似行为信息。2.根据权利要求1所述的一种基于海量系统日志的行为分析方法，其特征在于，所述获取唯一分析目标聚类后的日志信息，按照时间节点将其排列得出目标日志信息，包括：将聚类后的日志信息按照时间节点进行填充，得出目标日志信息，其中，每一个时间区间内均包含全部的聚类分类，若聚类分类中不存在日志信息，则标记对应聚类分类为剔除分类；若聚类分类中存在日志信息，则标记对应聚类分类为保留分类；每一个时间区间内的保留分类组成时区日志信息，将全部时区日志信息按...

【专利技术属性】
技术研发人员：张金涛，刘英男，龙丕荣，胡志尧，王金波，
申请(专利权)人：时代云英深圳科技有限公司，
类型：发明
国别省市：