基于日志数据根据时间帧筛选案例的方法与系统技术方案

本发明专利技术公开了一种基于日志数据根据时间帧筛选案例的方法与系统，其可以通过时间帧方式对事件日志进行快速且有效的提取具有业务关联性的日志数据，同时针对日志中存在的错误时间戳，或者超出分析范围的日志进行裁剪过滤，为业务流程发现与流程挖掘分析带来便利，该方法包括：获取业务事件的日志数据，采用流程发现算法对日志数据进行筛选、顺位处理与归类，生成事件案例表并存储，设定时间戳，从事件案例表中提取时间戳区间内的相关临时日志数据，设定过滤模式，采用不同过滤模式对临时日志数据进行过滤，获取有效案件日志数据，输出有效案件日志数据，系统包括计算机系统。系统包括计算机系统。系统包括计算机系统。

【技术实现步骤摘要】
基于日志数据根据时间帧筛选案例的方法与系统


[0001]本专利技术涉及信息系统
，具体为一种基于日志数据根据时间戳筛选案例的方法与系统。

技术介绍

[0002]计算机系统因其良好的可扩展性和高速计算等优点而被广泛应用于网络服务、数据库等领域，计算机系统在运作过程中都会产生事件记录，事件记录组合形成日志文件。事件记录中包含有时间戳、消息、服务器工作站应用程序运行记录等信息以及数据库系统等对象的相关活动记录。从日志文件所记录的日志信息，可以实现失效分析、发现事件间的特征与规律、寻找失效现象或日志与事件之间的关联等。
[0003]在信息系统中，信息处理与流转的行为过程通常被视为事件，事件以业务日志数据方式被信息系统记录，以便系统管理人员对业务系统的运行状态进行监控与审计。业务日志数据通常以时间序列的形式记录在持久性存储器中，在实际生产业务中由于业务日志数据会涉及到多事务、多资源，导致每个事件记录在业务日志数据表中时是离散型分布的，前后每一条数据并不存在绝对的顺位，也难以从中获取到某段时间内与业务相关联的业务流程数据。因此，需要对日志事件进行关联分析，以便于准确筛选出用于失效分析或表征特征与规律的案例。
[0004]当前市面上大部分日志分析软件仅用于对信息系统中发生的事件进行归类与统计，更多是关注事件维度的监控与定位，例如：事件发生的频率、事件发生的时间、事件触发的资源。因日志数据的记录方式主要面向于事件而非业务，所以很难从日志记录中获取前后事件发生的关联性，导致事件发生的根因排查存在一定困难，目前，常用的目标案例筛选主要基于时间帧实现，现有基于时间戳时间范围获取业务日志的流程办法如下：选定查找事件日志的时间起始；b、根据分析需求既定的时间范围，编辑SQL数据语句，设定开始时间戳、结束时间戳，通过对应字段从日志数据表中提取时间范围内的日志数据。日志分析方面需要专业分析人员通过编写特定的SQL数据查询语句对数据库中的日志数据进行筛选、组合、排查。这些都需要分析人员对业务及数据的结构有深刻的理解。
[0005]但以上方法存在如下问题：（1）提取出来的日志数据在时间轴上是顺位状态，但在业务层面没有连贯状态，因此，无法在业务层面提供更多用于关联分析的价值信息。
[0006]（2）提取日志数据时设定了开始和结束两个时间戳，在数据绝对筛选与裁剪时，位于时间戳附近的整体业务（即整体案例）被割裂。例如有些业务在开始时间戳之前就已开始，有些业务在结束时间戳之后尚未结束，这种绝对裁剪会对日志数据造成信息损失，对业务流程发现与挖掘造成不可逆影响。

技术实现思路

[0007]针对现有技术中存在的上述不足，本专利技术提供了一种基于日志数据根据时间帧筛选案例的方法，其可通过时间帧方式对事件日志进行快速且有效的提取具有业务关联性的日志数据，同时针对日志中存在的错误时间戳，或者超出分析范围的日志进行裁剪过滤，为业务流程发现与流程挖掘分析带来便利。
[0008]为实现上述目的，本专利技术采用如下技术方案：一种基于日志数据根据时间帧筛选案例的方法，该方法基于计算机系统实现，其特征在于，该方法包括：S1、获取业务事件的日志数据：根据时间日志分析需求，提取业务事件的日志数据并存储；S2、采用流程发现算法对日志数据进行筛选、顺位处理与归类；S3、基于归类后的日志数据，生成事件案例表并存储；S4、根据提取需求，设定时间戳、时间戳区间，所述时间戳包括开始时间戳、结束时间戳，所述时间戳区间指包含开始时间戳、结束时间戳在内的开始时间戳与结束时间戳之间的时间范围；从所述事件案例表中提取时间戳区间内的相关临时日志数据，所述临时日志数据指日志数据中开始时间戳与结束时间戳时间范围内的数据；S5、设定过滤模式，采用不同过滤模式对临时日志数据进行过滤，获取有效案件日志数据；所述过滤模式包括至少三种：第一过滤模式、第二过滤模式、第三过滤模式；所述第一过滤模式指：从所述日志数据中获取与时间戳区间有交集的第一案例日志数据；所述第二过滤模式指：将所述日志数据中非完整案例日志数据裁剪去除，时间戳区间内剩余的日志数据作为第二案例日志数据；所述第三过滤模式指：将时间戳区间内的所有临时日志数据作为第三案例日志数据；采用相应过滤模式对日志数据进行过滤的具体步骤包括：S51、获取所述临时日志数据中被开始时间戳、结束时间戳分别切断的开始案例、结束案例；S52、选择过滤模式，并采用相应过滤模式对所述日志数据进行过滤，获取有效案件日志数据，有效案件日志数据为第一案例日志数据、第二案例日志数据、第三案例日志数据中的一种；采用相应过滤模式对所述日志数据进行过滤指：选择第一过滤模式，将被时间戳裁剪掉的裁剪日志数据与临时日志数据相加，或选择第二过滤模式，将临时日志数据与非完整案例日志数据相减，或选择第三过滤模式，将时间戳区间内的所有临时日志数据作为第三案例日志数据；S6、输出有效案件日志数据以及被开始时间戳、结束时间戳分别切断的开始案例、结束案例。
[0009]其进一步特征在于，步骤S1中，提取相关临时日志数据的步骤包括：S11、根据时间日志分析需求，定义业务活动对象；S12、访问业务信息系统数据库，定位日志记录表；S13、根据步骤S11中定义的活动对象、事件名称相关字段，在日志记录表中寻找与业务活动对象对应的事件名称；
S14、将业务活动对象对应的事件名称组成一个集合；S15、通过数据库提供的查询接口，查询并提取集合中事件名称相关字段所有对应的日志数据；S16、从日志数据中，选定与业务案例有对应关系的相关字段作为案例字段；S17、将日志数据载入计算机存储器中存储；进一步的，步骤S2中，采用流程发现算法对日志数据进行筛选、顺位处理与归类的步骤包括：S21、设定流程发现算法的参数：案例字段、事件字段、时间戳字段；S22、采用流程发现算法对日志数据进行计算，根据案例字段对活动事件日志数据进行筛选、顺位、归类，获取事件归类数据，所述活动事件日志数据指日志数据中与业务活动对象相关的数据；S23、将所述事件归类数据载入缓存器中缓存；进一步的，步骤S3中，将所述事件归类数据放入表中，生成事件案例表并缓存；进一步的，步骤S51中，选取步骤包括：S511、选取时间戳大于等于开始时间戳的所述临时日志数据中最早一条记录的第一事件活动，选取时间戳小于等于结束时间戳的所述临时日志数据中最晚一条记录的第二事件活动；S512、将与所述第一事件活动对应的完整案例作为开始案例，将所述第二事件活动对应的完整案例作为结束案例，开始案例与结束案例为被时间戳切断的案例；进一步的，步骤S52中，采用相应过滤模式对所述日志数据进行过滤，包括：S521、选择第一过滤模式，在所述案例表中找寻被时间戳截断的案例，根据事件活动与案例对应的完整性，得到被时间戳裁剪掉的裁剪日志据；将裁剪日志数据与临时日志数据相加，获得与时间戳有交集的第一案例日志数据；S522、选择第二过滤模式，在所述案例表中找寻非完整案例日志数据；将临时日志数据与非完整案例日志数据相减，获取时间戳区间内的第二案例日志数据；S523、选择第三过滤模式，将时间戳区间内的所有临本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于日志数据根据时间帧筛选案例的方法，该方法基于计算机系统实现，其特征在于，该方法包括：S1、获取业务事件的日志数据：根据时间日志分析需求，提取业务事件的日志数据并存储；S2、采用流程发现算法对日志数据进行筛选、顺位处理与归类；S3、基于归类后的日志数据，生成事件案例表并存储；S4、根据提取需求，设定时间戳、时间戳区间，所述时间戳包括开始时间戳、结束时间戳，所述时间戳区间指包含开始时间戳、结束时间戳在内的开始时间戳与结束时间戳之间的时间范围；从所述事件案例表中提取时间戳区间内的相关临时日志数据，所述临时日志数据指日志数据中开始时间戳与结束时间戳时间范围内的数据；S5、设定过滤模式，采用不同过滤模式对临时日志数据进行过滤，获取有效案件日志数据；所述过滤模式包括至少三种：第一过滤模式、第二过滤模式、第三过滤模式；所述第一过滤模式指：从所述日志数据中获取与时间戳区间有交集的第一案例日志数据；所述第二过滤模式指：将所述日志数据中非完整案例日志数据裁剪去除，时间戳区间内剩余的日志数据作为第二案例日志数据；所述第三过滤模式指：将时间戳区间内的所有临时日志数据作为第三案例日志数据；采用相应过滤模式对日志数据进行过滤的具体步骤包括：S51、获取所述临时日志数据中被开始时间戳、结束时间戳分别切断的开始案例、结束案例；S52、选择过滤模式，并采用相应过滤模式对所述日志数据进行过滤，获取有效案件日志数据，有效案件日志数据为第一案例日志数据、第二案例日志数据、第三案例日志数据中的一种；采用相应过滤模式对所述日志数据进行过滤指：选择第一过滤模式，将被时间戳裁剪掉的裁剪日志数据与临时日志数据相加，或选择第二过滤模式，将临时日志数据与非完整案例日志数据相减，或选择第三过滤模式，将时间戳区间内的所有临时日志数据作为第三案例日志数据；S6、输出有效案件日志数据以及被开始时间戳、结束时间戳分别切断的开始案例、结束案例。2.根据权利要求1所述的基于日志数据根据时间帧筛选案例的方法，其特征在于，步骤S1中，提取相关临时日志数据的步骤包括：S11、根据时间日志分析需求，定义业务活动对象；S12、访问业务信息系统数据库，定位日志记录表；S13、根据步骤S11中活动对象、事件名称相关字段，在日志记录表中寻找与业务活动对象对应的事件名称；S14、将业务活动对象对应的事件名称组成一个集合；S15、通过数据库提供的查询接口，查询并提取集合中事件名称相关字段所有对应的日志数据；S16、从日志数据中，选定与业务案例有对应关系的相关字段作为案例字段；S17、将日志数据载入计算机存储器中存储。3.根据权利要求2所述的基于日志数据根据时间帧筛选案例的方法，其特征在于，步骤
S2中，采用流程发现算法对日志数据进行筛选、顺位处理与归类的步骤包括：S21、设定流程发现算法的参数：案例字段、事件字段、时间戳字段；S22、采用流程发现算法对日志数据进行计算，根据案例字段对活动事件日志数据进行筛选、顺位、归类，获取事件归类数据，所述活动事件日志数据指日志数据中与业务活动对象相关的数据；S23、将所述事件归类数据载入缓存器中缓存。4.根据权利要求3所述的基于日志数据根据时...

【专利技术属性】
技术研发人员：柴亚团，曹璐，杨晗予，
申请(专利权)人：无锡容智技术有限公司，
类型：发明
国别省市：