日志统计方法及装置制造方法及图纸

本发明专利技术涉及日志统计方法及装置。该方法包括：获取日志，并将所述日志的每行分别转换为日志项目；分别将每个所述日志项目在统计规则集中进行匹配，以确定与每个所述日志项目匹配的统计规则；根据与每个所述日志项目匹配的统计规则，统计每条统计规则匹配的所述日志项目的数量。根据本发明专利技术的日志统计方法及装置在统计需求新增和修改时无需改动代码，减小了代码量和开发工作量，减少了相关代码和脚本的维护工作，提高了开发效率，便于统计需求的扩展，且对于一个日志仅需扫描一次，节省了集群计算资源，提高了统计效率。

【技术实现步骤摘要】

本专利技术涉及信息
，尤其涉及一种日志统计方法及装置。
技术介绍
目前，通常采用Hadoop分布式文件系统存储海量的日志，同时采用MapReduce(Map：映射；Reduce：归约)框架或者构建于MapReduce框架上的Hive系统对日志进行离线统计和分析。当出现一个新的统计需求时，开发人员需要为该新的统计需求编写对应的MapReduce程序或者Hive-SQL语句，并在指定的数据集上运行。在实现本专利技术的过程中，专利技术人发现现有技术至少存在以下问题：对于每一个统计需求都需要单独开发程序，造成开发效率较低，且代码量大，维护工作量大；且对于同一份日志的多次扫描将占用大量的集群计算资源。
技术实现思路
技术问题有鉴于此，本专利技术要解决的技术问题是，现有的日志统计方式的开发工作量较大，维护难度大，且占用大量的集群计算资源。解决方案为了解决上述技术问题，根据本专利技术的一实施例，提供了一种日志统计方法，包括：获取日志，并将所述日志的每行分别转换为日志项目；分别将每个所述日志项目在统计规则集中进行匹配，以确定与每个所述日志项目匹配的统计规则；根据与每个所述日志项目匹配的统计规则，统计每条统计规则匹配的所述日志项目的数量。对于上述方法，在一种可能的实现方式中，在分别将每个所述日志项目在统计规则集中进行匹配之前，所述方法还包括：根据用户的统计需求创建统计规则；根据所述统计规则生成所述统计规则集。对于上述方法，在一种可能的实现方式中，根据所述统计规则生成所述统计规则集，具体为：根据已启用的统计规则生成所述统计规则集。对于上述方法，在一种可能的实现方式中，在分别将每个所述日志项目在统计规则集中进行匹配之前，所述方法还包括：采用所述统计规则集初始化规则引擎；分别将每个所述日志项目在统计规则集中进行匹配，具体为：调用所述规则引擎分别将每个所述日志项目与所述统计规则集中的每条统计规则进行匹配。对于上述方法，在一种可能的实现方式中，在统计每条统计规则匹配的所述日志项目的数量之后，所述方法还包括：将每条统计规则匹配的所述日志项目的数量写入结果数据库中。为了解决上述技术问题，根据本专利技术的另一实施例，提供了一种日志统计装置，包括：转换模块，用于获取日志，并将所述日志的每行分别转换为日志项目；统计规则匹配模块，用于分别将每个所述日志项目在统计规则集中进行匹配，以确定与每个所述日志项目匹配的统计规则；统计模块，用于根据与每个所述日志项目匹配的统计规则，统计每条统计规则匹配的所述日志项目的数量。对于上述装置，在一种可能的实现方式中，所述装置还包括：统计规则创建模块，用于根据用户的统计需求创建统计规则；统计规则集生成模块，用于根据所述统计规则生成所述统计规则集。对于上述装置，在一种可能的实现方式中，所述统计规则集生成模块具体用于：根据已启用的统计规则生成所述统计规则集。对于上述装置，在一种可能的实现方式中，所述装置还包括：规则引擎初始化模块，用于采用所述统计规则集初始化规则引擎；所述统计规则匹配模块具体用于：调用所述规则引擎分别将每个所述日志项目与所述统计规则集中的每条统计规则进行匹配。对于上述装置，在一种可能的实现方式中，所述装置还包括：统计结果写入模块，用于将每条统计规则匹配的所述日志项目的数量写入结果数据库中。有益效果通过获取日志，将日志的每行分别转换为日志项目，分别将每个日志项目在统计规则集中进行匹配，以确定与每个日志项目匹配的统计规则，根据与每个日志项目匹配的统计规则，统计每条统计规则匹配的日志项目的数量，根据本专利技术实施例的日志统计方法及装置在统计需求新增和修改时无需改动代码，减小了代码量和开发工作量，减少了相关代码和脚本的维护工作，提高了开发效率，便于统计需求的扩展，且对于一个日志仅需扫描一次，节省了集群计算资源，提高了统计效率。根据下面参考附图对示例性实施例的详细说明，本专利技术的其它特征及方面将变得清楚。附图说明包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本专利技术的示例性实施例、特征和方面，并且用于解释本专利技术的原理。图1示出根据本专利技术一实施例的日志统计方法的实现流程图；图2示出根据本专利技术一实施例的日志统计方法的一示例性的实现流程图；图3示出根据本专利技术一实施例的日志统计方法的一示例性的实现流程图；图4示出根据本专利技术一实施例的日志统计方法的一示例性的实现流程图；图5示出根据本专利技术一实施例的日志统计方法的一示例性的实现流程图；图6示出根据本专利技术一实施例的日志统计方法的一示例性的实现流程图；图7示出根据本专利技术另一实施例的日志统计装置的结构框图；图8示出根据本专利技术另一实施例的日志统计装置的一示例性的结构框图；图9示出了本专利技术的另一个实施例的一种日志统计设备的结构框图。具体实施方式以下将参考附图详细说明本专利技术的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。另外，为了更好的说明本专利技术，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本专利技术同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本专利技术的主旨。实施例1图1示出根据本专利技术一实施例的日志统计方法的实现流程图。如图1所示，该方法主要包括：在步骤S101中，获取日志，并将日志的每行分别转换为日志项目。作为本专利技术实施例的一个示例，在步骤S101之前，该方法还可以包括：通过日志采集系统进行收集各业务相关的日志，并通过日志采集系统对收集的日志进行处理，再将处理后的日志存储在例如HDFS(HadoopDistributedFileSystem，Hadoop分布式文件系统)中。HDFS可以按照指定格式存储日志，例如，在HDFS中存储的日志的每一行的各个字段都可以根据指定格式有明确的含义，各个字段之间还可以用约定的分隔符进行间隔。作为本专利技术实施例的一个示例，获取日志可以为：从HDFS中获取日志。在步骤S102中，分别将每个日志项目在统计规则集中进行匹配，以确定与每个日志项目匹配的统计规则。在步骤S103中，根据与每个日志项目匹配的统计规则，统计每条统计规则匹配的日志项目的数量。作为本专利技术实施例的一个示例，在确定与每个日志项目匹配的统计规则后，可以进行Reduce(归约)处理，从而得到每条统计规则匹配的日志项目的数量。图2示出根据本专利技术一实施例的日志统计方法的一示例性的实现流程图。如图2所示，该方法包括：在步骤S201中，根据用户的统计需求创建统计规则。例如，统计需求可以为统计页面访问量、统计每小时的页面访问量或者统计用户的访问设备等。以视频网站为例，统计需求可以为统计视频的曝光量、点击量、评论量或者顶踩量等。需要说明的是，统计需求可以由统计人员根据具体应用场景进行设计，在这里仅仅是对统计需求进行举例，并不对统计需求进行具体限定。在步骤S202中，根据统计规则生成统计规则集。作为本专利技术实施例的一个示例，统计需求可以用统计规则来描述，根据统计需求可以创建统计规则，并可以将统计规本文档来自技高网...

【技术保护点】
一种日志统计方法，其特征在于，包括：获取日志，并将所述日志的每行分别转换为日志项目；分别将每个所述日志项目在统计规则集中进行匹配，以确定与每个所述日志项目匹配的统计规则；根据与每个所述日志项目匹配的统计规则，统计每条统计规则匹配的所述日志项目的数量。

【技术特征摘要】
1.一种日志统计方法，其特征在于，包括：获取日志，并将所述日志的每行分别转换为日志项目；分别将每个所述日志项目在统计规则集中进行匹配，以确定与每个所述日志项目匹配的统计规则；根据与每个所述日志项目匹配的统计规则，统计每条统计规则匹配的所述日志项目的数量。2.根据权利要求1所述的方法，其特征在于，在分别将每个所述日志项目在统计规则集中进行匹配之前，所述方法还包括：根据用户的统计需求创建统计规则；根据所述统计规则生成所述统计规则集。3.根据权利要求2所述的方法，其特征在于，根据所述统计规则生成所述统计规则集，具体为：根据已启用的统计规则生成所述统计规则集。4.根据权利要求1至3任意一项所述的方法，其特征在于，在分别将每个所述日志项目在统计规则集中进行匹配之前，所述方法还包括：采用所述统计规则集初始化规则引擎；分别将每个所述日志项目在统计规则集中进行匹配，具体为：调用所述规则引擎分别将每个所述日志项目与所述统计规则集中的每条统计规则进行匹配。5.根据权利要求1至3任意一项所述的方法，其特征在于，在统计每条统计规则匹配的所述日志项目的数量之后，所述方法还包括：将每条统计规则匹配的所述日志项目的...

【专利技术属性】
技术研发人员：杜涛，盖炳帅，单明辉，尹玉宗，姚键，潘柏宇，王冀，
申请(专利权)人：合一网络技术北京有限公司，
类型：发明
国别省市：北京;11