日志系统以及日志数据的收集方法和收集装置制造方法及图纸

本申请公开了日志系统以及日志数据的收集方法和收集装置。基于本申请，从各日志源监听到的日志数据都可以被即时推送至指定的数据管道，而无需请求应答的交互过程；并且，被推送至各数据管道的日志数据无需额外的中转暂存和整理，即可直接通过各数据管道入仓至具有匹配日志类型的日志主题，由此，可以实现基于多管道的并发日志数据即时收集和无中转入仓，从而，有助于提升日志数据的入库时效性。而且，基于多管道的并发日志数据可以被彼此独立地执行与日志类型相适配的过滤转化，因而有助于简化用于日志数据过滤转化的逻辑设计。

Log system, log data collection method and device

【技术实现步骤摘要】
日志系统以及日志数据的收集方法和收集装置
本申请涉及大数据分析领域，尤其涉及一种日志系统、一种日志数据的收集方法、一种日志数据的入库装置、一种非瞬时计算机可读存储介质、一种用于收集日志数据的服务器和一种服务器系统。
技术介绍
日志数据常用于大数据分析，通过对日志数据的大数据分析，可以挖掘出各类关注事件。其中，对于日志数据的获取可以采用请求应答的方式，即，向日志源发送日志采集请求，待日志源通过查找日志目录获取到请求的日志数据后方可返回日志数据；并且，返回的日志数据需要经过额外的中转暂存和整理后，方可按照相应的日志主题入库。由此可见，日志数据的获取存在请求应答的交互过程、并且需要额外的中转环节，由此导致日志数据的入库实效性不高。
技术实现思路
本申请的各实施例提供了一种日志系统以及日志数据的收集方法和收集装置，有助于提高日志数据的入库时效性。在一个实施例中，一种日志系统，包括：采集节点，用于将从至少两个日志源监听到的日志数据，分别向收集节点维护的数据管道推送，其中，从任意一个日志源监听到的日志数据被推送的数据管道，是在收集节点维护的至少两条数据管道中为该日志源指定的数据管道；收集节点，用于将被推送至各条数据管道的日志数据，分别向各数据管道指向的日志主题入仓，其中，为任意一个日志源指定的数据管道所指向的日志主题，与该日志源产生的日志数据的日志类型相匹配。可选地，采集节点包括至少两个采集器，每个采集器监听为其指定的一个日志源产生的日志数据；收集节点进一步利用分别为每个采集器独立配置的单管道配置文件，创建供各采集器推送日志数据的数据管道，并且，供各采集器推送日志数据的数据管道之间彼此隔离。可选地，收集节点进一步利用对单管道配置文件的分组识别，对从采集器推送入数据管道的日志数据的入仓操作实施分组的调度控制；和/或，收集节点进一步监听各条数据管道的管道状态，其中，若任意一条数据管道向其指向的日志主题的入仓存在困阻，则，对该数据管道执行单管道输出关闭；和/或，采集节点进一步用于在推送的日志数据中携带主题标签，其中，从任意一个日志源监听到的日志数据所携带的主题标签，表示与该日志源产生的日志数据的日志类型相匹配的日志主题；收集节点进一步用于对被推入至各条数据管道的日志数据，执行与日志数据所属的日志类型相适配的过滤转化，其中，日志数据所属的日志类型，是利用该日志数据携带的主题标签所表示的日志主题确定的。在另一个实施例中，一种日志数据的收集方法包括：获取推送至各条数据管道的日志数据，其中，日志数据是从日志源监听得到的，并且，从任意一个日志源监听到的日志数据被推送的数据管道，是在至少两条数据管道中为该日志源指定的数据管道；将被推送至各条数据管道的日志数据，分别向各数据管道指向的日志主题入仓，其中，为任意一个日志源指定的数据管道所指向的日志主题，与该日志源产生的日志数据的日志类型相匹配。可选地，获取推送至各条数据管道的日志数据之前，进一步包括：利用分别为至少两个采集器独立配置的单管道配置文件，创建供各采集器推送日志数据的数据管道，其中，每个采集器监听为其指定的一个日志源产生的日志数据，并且，供各采集器推送日志数据的数据管道之间彼此隔离。可选地，将被推送至各条数据管道的日志数据，分别向各数据管道指向的日志主题入仓，包括：利用对单管道配置文件的分组识别，对从采集器推送入数据管道的日志数据的入仓操作实施分组的调度控制；和/或，创建供各采集器推送日志数据的数据管道之后，进一步包括：监听各条数据管道的管道状态，其中，若任意一条数据管道向其指向的日志主题的入仓存在困阻，则，对该数据管道执行单管道输出关；和/或，将被推送至各条数据管道的日志数据，分别向各数据管道指向的日志主题入仓之前，进一步包括：识别日志数据携带的主题标签，其中，从任意一个日志源监听到的日志数据所携带的主题标签，表示与该日志源产生的日志数据的日志类型相匹配的日志主题；对被推入至各条数据管道的日志数据，执行与日志数据所属的日志类型相适配的过滤转化，其中，日志数据所属的日志类型，是利用该日志数据携带的主题标签所表示的日志主题确定的。在另一个实施例中，提供了一种日志数据的收集装置，该收集装置包括：输入插件模块，用于获取推送至各条数据管道的日志数据，其中，日志数据是从日志源监听得到的，并且，从任意一个日志源监听到的日志数据被推送的数据管道，是在至少两条数据管道中为该日志源指定的数据管道；输出插件模块，用于将被推送至各条数据管道的日志数据，分别向各数据管道指向的日志主题入仓，其中，为任意一个日志源指定的数据管道所指向的日志主题，与该日志源产生的日志数据的日志类型相匹配。可选地，该收集装置可以进一步包括管道配置模块，用于利用分别为至少两个采集器独立配置的单管道配置文件，创建供各采集器推送日志数据的数据管道，其中，每个采集器监听为其指定的一个日志源产生的日志数据，并且，供各采集器推送日志数据的数据管道之间彼此隔离。可选地，管道配置模块进一步利用对单管道配置文件的分组识别，对从采集器推送入数据管道的日志数据的入仓操作实施分组的资源调度控制。可选地，该收集装置进一步包括管道监听模块，用于监听各条数据管道的管道状态，其中，若任意一条数据管道向其指向的日志主题的入仓存在困阻，则，触发输出插件模块对该数据管道执行单管道输出关闭。可选地，该收集装置可以进一步包括布置在输入插件模块和输出插件模块之间的过滤插件模块，用于识别日志数据携带的主题标签，其中，从任意一个日志源监听到的日志数据所携带的主题标签，表示与该日志源产生的日志数据的日志类型相匹配的日志主题；并且，对被推入至各条数据管道的日志数据，执行与日志数据所属的日志类型相适配的过滤转化，其中，日志数据所属的日志类型，是利用该日志数据携带的主题标签所表示的日志主题确定的。在本申请的另一个实施例中，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时引发所述处理器执行前述实施例中的日志数据的收集方法。在另一个实施例中，提供了一种用于收集日志数据的服务器，包括处理器，其中，该处理器用于执行前述实施例中的日志数据的收集方法。在另一个实施例中，提供了一种服务器系统，包括：用于收集日志数据的第一服务器集群，用于执行如前述实施例所述的日志数据的收集方法；布置有至少两个日志源的第二服务器集群，用于将从至少两个日志源监听到的日志数据，分别向第一服务器集群维护的至少两条数据管道推送，其中，从任意一个日志源监听到的日志数据被推送的数据管道，是在第一服务器集群维护的至少两条数据管道中为该日志源指定的数据管道。可选地，进一步包括运行搜索和数据分析引擎的第三服务器集群，其中，第一服务器集群维护的至少两条数据管道中的一部分，指向供搜索和数据分析引擎访问的日志主题。基于上述实施例，从各日志源监听到的日志数据都可以被即时推送至指定本文档来自技高网...

【技术保护点】
1.一种日志系统，其特征在于，包括：/n采集节点，用于将从至少两个日志源监听到的日志数据，分别向收集节点维护的数据管道推送，其中，从任意一个日志源监听到的日志数据被推送的数据管道，是在收集节点维护的至少两条数据管道中为该日志源指定的数据管道；/n收集节点，用于将被推送至各条数据管道的日志数据，分别向各数据管道指向的日志主题入仓，其中，为任意一个日志源指定的数据管道所指向的日志主题，与该日志源产生的日志数据的日志类型相匹配。/n

【技术特征摘要】
1.一种日志系统，其特征在于，包括：
采集节点，用于将从至少两个日志源监听到的日志数据，分别向收集节点维护的数据管道推送，其中，从任意一个日志源监听到的日志数据被推送的数据管道，是在收集节点维护的至少两条数据管道中为该日志源指定的数据管道；
收集节点，用于将被推送至各条数据管道的日志数据，分别向各数据管道指向的日志主题入仓，其中，为任意一个日志源指定的数据管道所指向的日志主题，与该日志源产生的日志数据的日志类型相匹配。


2.根据权利要求1所述的日志系统，其特征在于，
采集节点包括至少两个采集器，每个采集器监听为其指定的一个日志源产生的日志数据；
收集节点进一步利用分别为每个采集器独立配置的单管道配置文件，创建供各采集器推送日志数据的数据管道，并且，供各采集器推送日志数据的数据管道之间彼此隔离。


3.根据权利要求2所述的日志系统，其特征在于，
收集节点进一步利用对单管道配置文件的分组识别，对从采集器推送入数据管道的日志数据的入仓操作实施分组的调度控制；和/或，
收集节点进一步监听各条数据管道的管道状态，其中，若任意一条数据管道向其指向的日志主题的入仓存在困阻，则，对该数据管道执行单管道输出关闭；和/或，
采集节点进一步用于在推送的日志数据中携带主题标签，其中，从任意一个日志源监听到的日志数据所携带的主题标签，表示与该日志源产生的日志数据的日志类型相匹配的日志主题；
收集节点进一步用于对被推入至各条数据管道的日志数据，执行与日志数据所属的日志类型相适配的过滤转化，其中，日志数据所属的日志类型，是利用该日志数据携带的主题标签所表示的日志主题确定的。


4.一种日志数据的收集方法，其特征在于，包括：
获取推送至各条数据管道的日志数据，其中，日志数据是从日志源监听得到的，并且，从任意一个日志源监听到的日志数据被推送的数据管道，是在至少两条数据管道中为该日志源指定的数据管道；
将被推送至各条数据管道的日志数据，分别向各数据管道指向的日志主题入仓，其中，为任意一个日志源指定的数据管道所指向的日志主题，与该日志源产生的日志数据的日志类型相匹配。


5.根据权利要求4所述的收集方法，其特征在于，获取推送至各条数据管道的日志数据之前，进一步包括：
利用分别为至少两个采集器独立配置的单管道配置文件，创建供各采集器推送日志数据的数据管道，其中，每个采集器监听为其指定的一个日志源产生的日志数据，并且，供各采...

【专利技术属性】
技术研发人员：熊银梅，
申请(专利权)人：杭州海康威视系统技术有限公司，
类型：发明
国别省市：浙江;33