日志关联方法、装置和应用其的计算机系统制造方法及图纸

公开了一种日志关联方法、装置和应用其的计算机系统，通过实时检测日志文件/日志流的内容，提取增量内容，将被关联的日志内容推送到键‑值数据集，通过查询键‑值数据集实时对于新增加的日志流的内容进行关联，由此，可以将海量日志关联的时间复杂度降低到O(N)，提高日志关联速度。

【技术实现步骤摘要】
日志关联方法、装置和应用其的计算机系统
本专利技术涉及大数据处理领域，具体涉及一种日志关联方法、装置和应用其的计算机系统。
技术介绍
在进行大数据分析的过程中，不同的业务系统或硬件设备的操作会不断产生不同的日志文件，每个日志文件都标记着一类业务或一种硬件设备的工作状况，例如上网URL日志用于记录用户上网访问的所有URL情况；认证系统日志记录所有认证信息等等。由于日志产生的独立性，导致单独对每个日志文件进行分析都有局限性，将2个或多个日志文件进行关联之后进行分析变得非常具有价值。同时，由于日志文件具备数据量巨大的特点，因此使用一种有效的关联日志的方法是非常必要的目前常用的日志关联方法是基于两个或多个日志文件之间的关联键(KEY)采用逐条循环处理的方式来实现。以两个日志文件为例，其嵌套的多个循环来进行日志关联：这种关联方式时间复复杂度很高，随着合并的日志文件越来越多会大幅增加系统计算负担，同时，由于需要嵌套循环，关联速度较慢。
技术实现思路
有鉴于此，本专利技术提供一种日志关联方法、装置和应用其的计算机系统，以提高海量日志关联的速度。第一方面，提供一种日志关联方法，用于将第二日志流的信息与第本文档来自技高网...

【技术保护点】
一种日志关联方法，用于将第二日志流的信息与第一日志流的信息关联，所述方法包括：实时获取第一日志流的内容，提取第一日志流的增量记录；实时获取N个第二日志流的内容，并将获取的内容转换加载到键‑值数据集，其中N大于等于1；以及，根据所述第一日志流的增量记录的键对所述键‑值数据集进行查询并将查询结果与对应的记录关联。

【技术特征摘要】
1.一种日志关联方法，用于将第二日志流的信息与第一日志流的信息关联，所述方法包括：实时获取第一日志流的内容，提取第一日志流的增量记录；实时获取N个第二日志流的内容，并将获取的内容转换加载到键-值数据集，其中N大于等于1；以及，根据所述第一日志流的增量记录的键对所述键-值数据集进行查询并将查询结果与对应的记录关联。2.根据权利要求1所述的日志关联方法，其特征在于，所述键-值数据集存储在计算机内存中。3.根据权利要求2所述的日志关联方法，其特征在于，所述键-值数据集为基于Redis系统的数据集或基于Memcached系统的数据集。4.根据权利要求1所述的日志关联方法，其特征在于，通过Flume系统实时获取所述第一日志流和所述第二日志流的内容。5.根据权利要求1所述的日志关联方法，其特征在于，所述方法还包括：将相互关联的第一日志流的记录和第二日志流的记录合并后输出。6.一种日志关联装置，用于将第二日志流的信息与第一日志流的信息关联，所述日志关联装置包...

【专利技术属性】
技术研发人员：王雪峰，裴燕青，徐磊，李强，
申请(专利权)人：北京希嘉创智教育科技有限公司，
类型：发明
国别省市：北京,11