基于时间轴事件的日志关联分析方法技术

本发明专利技术公开了一种基于时间轴事件的日志关联分析方法，包括如下步骤：a)采集有效日志数据，对日志数据进行预处理；b)将不同应用、设备产生的日志事件信息进行分类存储和管理；c)为所有服务的日志事件设置分层标签，生成不同层级的日志事件；d)按日志数据流向顺序形成事件链，建立日志事件调用关系，并设置不同的分析标签，在分析标签中设置提取规则和告警条件，从而形成分析主题；e)根据事件链顺序，再设定时间范围提取对应的日志数据进行分析，根据分析标签预设的告警条件，生成各类日志事件的统计分析报告。本发明专利技术通过时间轴事件的日志关联分析法可以快速有效的从大量的日志中挖掘出有用信息，及时找出问题根源。

【技术实现步骤摘要】
基于时间轴事件的日志关联分析方法
本专利技术涉及一种日志关联分析方法，尤其涉及一种基于时间轴事件的日志关联分析方法。
技术介绍
随着信息技术的发展，复杂网络系统由种类繁多的安全设备(防火墙，防病毒设备等)、网络设备(路由器，交换机等)、应用系统(管理系统，Web服务等)及主机(Windows、Linux等)等组成，每天产生大量日志数据。例如一个完整的用户请求会经过防火墙、负载均衡、web中间件、应用中间件、业务系统，每个环节中都会产生相应的日志数据，而这些日志数据都是独立于其他软硬件设备的，一旦发生故障，一个异常问题的发生，必定是有一个或者多个原因导致的，这样日志信息来源各异，格式存在诸多差异，如防火墙日志、负载均衡日志、中间件系统相互间无法比较。日志数据信息量巨大，有用异常日志数据存在于大量的冗余日志中，仅依靠人工分析，建立日志时间关联将费时费力，故需要借助时间轴事件关联分析法快速有效的从中挖掘有用的信息，及时找出问题的根源，快速解决问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于时间轴事件的日志关联分析方法，可以快速有效的从计算机网络系统IT资源运行过程中产生的大量日志中挖掘出有用信息，及时找出问题根源。本专利技术为解决上述技术问题而采用的技术方案是提供一种基于时间轴事件的日志关联分析方法，包括如下步骤：a)采集有效日志数据，对日志数据进行预处理，通过预设的正则表达式提取日志数据，生成格式化的日志事件信息；b)将不同应用、设备产生的日志事件信息进行分类存储和管理，生成不同服务的日志事件；c)为所有服务的日志事件设置分层标签，生成不同层级的日志事件；d)按日志数据流向顺序形成事件链，建立日志事件调用关系，为每个服务的每个层级的日志事件设置不同的分析标签，并在分析标签中设置提取规则和告警条件，从而形成分析主题；e)根据事件链顺序，再设定时间范围提取对应的日志数据进行分析，根据分析标签预设的告警条件，生成各类日志事件的统计分析报告。进一步地，所述步骤a)采集等级为Warn、Error以上的日志数据和格式不正常的日志数据信息，所述日志数据信息至少包含日志数据的服务器ip、产生时间和入库时间。进一步地，所述步骤a)采用基于agent的分布式数据采集方法获取有效日志数据，所述有效日志数据包括防火墙日志信息、病毒日志信息、漏洞扫描日志信息源、主机操作日志信息、业务系统的用户操作日志信息和数据库操作日志信息。进一步地，所述步骤b)将不同应用、设备产生的日志事件分组存储，不同分组具有不同的日志字段名和数量。进一步地，所述步骤c)设置的分层标签为：业务层、应用层、系统层和硬件层。进一步地，所述步骤e)的事件链顺序按事件发生的先后顺序进行排序，所述指定的时间范围分成10份，将在同一时间窗口的同类事件进行合并，减少日志事件数量。本专利技术对比现有技术有如下的有益效果：本专利技术提供的基于时间轴事件的日志关联分析方法，可以快速有效的从计算机网络系统IT资源运行过程中产生的大量日志中挖掘出有用信息，及时找出问题根源，快速解决问题。附图说明图1为本专利技术基于时间轴事件的日志关联分析法的过程示意图；图2为本专利技术的时间轴事件相互关联的示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的描述。图1为本专利技术基于时间轴事件的日志关联分析法的过程示意图。请参见图1，本专利技术提供的基于时间轴事件的日志关联分析方法，包括如下步骤：a)采集有效日志数据，对日志数据进行预处理，通过预设的正则表达式提取日志数据，生成格式化的日志事件信息；b)将不同应用、设备产生的日志事件信息进行分类存储和管理，生成不同服务的日志事件；c)为所有服务的日志事件设置分层标签，生成不同层级的日志事件；d)按日志数据流向顺序形成事件链，建立日志事件调用关系，为每个服务的每个层级的日志事件设置不同的分析标签，并在分析标签中设置提取规则和告警条件，从而形成分析主题；e)根据事件链顺序，再设定时间范围提取对应的日志数据进行分析，根据分析标签预设的告警条件，生成各类日志事件的统计分析报告。本专利技术的具体实现过程如下：1、采集数据，设置标签本专利技术提供的基于时间轴事件的日志关联分析方法，所述步骤a)采集等级为Warn、Error以上的日志数据或格式不正常的日志数据信息，以免造成大量数据冗余，所述日志数据信息至少包含日志数据的服务器ip、产生时间和入库时间；采集的日志信息包括防火墙日志信息、病毒日志信息、漏洞扫描日志信息源、主机操作日志信息、业务系统的用户操作日志信息、数据库操作日志信息等；所述步骤a)采用基于agent的分布式数据采集方法，然后按预设的正则表达式提取出对应的数据字段，对提取的原始日志数据进行预处理，多源异构的日志数据归一化，生成格式化的日志事件信息。图2为本专利技术的时间轴事件相互关联的示意图请参见图2，本专利技术提供的基于时间轴事件的日志关联分析方法，所述步骤b)将不同应用、设备产生的日志事件信息进行分类存储和管理，生成不同服务的日志事件，不同服务的日志字段名、数量不一样，为了方便进行分析定位，本专利技术对所有采集的日志进行了标签：业务层：该层指标反映出Service的质量，如一个订单系统的下单成功率；应用层：该层指标反映出应用软件的运行状态，如Nginx连接数；系统层：该层指标反映出操作系统的运行状态，如平均负载；硬件层：该层指标反映出硬件设备的运行状态，如CPU温度,这样就生产不同层级的日志事件。2、确定时间轴日志事件调用关系本专利技术提供的基于时间轴事件的日志关联分析方法，所述步骤d)建立数据流在分布式模块调用关系，在分布式多服务模块系统中，用户的请求数据经过A，B，C三个服务模块，该模块调用关系是一种人为定义的确定性关系，有如下两种确定事件之间关系的方法：1)时间相关性：这是一种非确定性的策略，代表了一种相关可能性；2)事实相关性：通过对大批量历史数据进行分析计算，找到事件之间事实上发生的相关性。而形成事件或产生异常的来源有这几个方面：自身异常，如硬盘损坏；依赖方异常，如A调用了B的服务，然而B服务异常；来自外部的对其产生的变更，如开发者对A服务进行了代码升级，该服务器所在交换机故障等。同时每个服务的各个层级的分析角度都不一样的，可以根据不同的层级设定不同的分析标签，业务层关注自身业务相关的异常信息，应用层关注如Nginx连接数等；在标签中设置提取事件的规则，比如日志等级字段值为“ERROR”级别的数据，根据所关注的故障信息的重要性，设定触发分析标签时的故障的严重性，方便排查错误时快速关注重点问题。3、按时间轴事件关系分析日志数据本专利技术提供的基于时间轴事件的日志关联分析方法，由于收集到的日志数据的量一般情况下都是海量的，分析时尽量选取短的时间窗口，再将时间窗口划分成10份，缩小时间范围进行处理，将在同一时间窗口的同类事件进行合并，以事件日志减少数量，同时为了更精确地定位问题，分析步骤应按照预设的事件链先后进行分析。对于分析结果，可以生成按日志事件类型(业务层、应用层、系统层、硬件层)和时间窗口两个维度进行展示，分析的指标按无日志、良好、一般、告警、严重几个等级标识，每个小的时间窗口中都可以查看到各个层面的系统、设备的运行状况。最后定位故障，事件调用链越尾端的模块，越有本文档来自技高网...

【技术保护点】
1.一种基于时间轴事件的日志关联分析方法，其特征在于，包括如下步骤：a)采集有效日志数据，对日志数据进行预处理，通过预设的正则表达式提取日志数据，生成格式化的日志事件信息；b)将不同应用、设备产生的日志事件信息进行分类存储和管理，生成不同服务的日志事件；c)为所有服务的日志事件设置分层标签，生成不同层级的日志事件；d)按日志数据流向顺序形成事件链，建立日志事件调用关系，为每个服务的每个层级的日志事件设置不同的分析标签，并在分析标签中设置提取规则和告警条件，从而形成分析主题；e)根据事件链顺序，再设定时间范围提取对应的日志数据进行分析，根据分析标签预设的告警条件，生成各类日志事件的统计分析报告。

【技术特征摘要】
1.一种基于时间轴事件的日志关联分析方法，其特征在于，包括如下步骤：a)采集有效日志数据，对日志数据进行预处理，通过预设的正则表达式提取日志数据，生成格式化的日志事件信息；b)将不同应用、设备产生的日志事件信息进行分类存储和管理，生成不同服务的日志事件；c)为所有服务的日志事件设置分层标签，生成不同层级的日志事件；d)按日志数据流向顺序形成事件链，建立日志事件调用关系，为每个服务的每个层级的日志事件设置不同的分析标签，并在分析标签中设置提取规则和告警条件，从而形成分析主题；e)根据事件链顺序，再设定时间范围提取对应的日志数据进行分析，根据分析标签预设的告警条件，生成各类日志事件的统计分析报告。2.如权利要求1所述的基于时间轴事件的日志关联分析方法，其特征在于，所述步骤a)采集等级为Warn、Error以上的日志数据和格式不正常的日志数据信息，所述日志数据信息至少包含日志数据的服务器...

【专利技术属性】
技术研发人员：程永新，谢涛，刘金铭，
申请(专利权)人：上海新炬网络信息技术股份有限公司，
类型：发明
国别省市：上海,31