一种日志收集分析方法及装置制造方法及图纸

本发明专利技术涉及日志收集分析领域，具体提供了一种日志收集分析方法，文件采集器将税务系统日志文件进行采集，发送至日志收集器，并进行融合，使税务系统日志数据共享，搜索引擎搜索各种日志的关键词，可视化平台提供页面操作。与现有技术相比，本发明专利技术能够节省大量日志查询时间，节省研发成本。如查询各个业务系统日志，目前需单独打开各个项目日志，单独查找，该方式时间成本较高，本发明专利技术能够大幅度减少时间，节省研发成本。节省研发成本。节省研发成本。

A log collection and analysis method and device

【技术实现步骤摘要】
一种日志收集分析方法及装置


[0001]本专利技术涉及日志收集分析领域，具体提供一种日志收集分析方法及装置。

技术介绍

[0002]随着信息化发展，税务业务系统基本都采用前后端分离架构,或者分布式应用,以上架构的运用,日志在不同系统不同服务器上,一但出现问题,日志就显得更为重要。
[0003]目前系统日志收集技术虽然使用广泛，但是存在整合项目，占用硬盘空间高，开放端口多，处理器占用高等缺陷。
[0004]税务业务系统数量越来越多，开发者需要看不同的日志，十分繁琐。

技术实现思路

[0005]本专利技术是针对上述现有技术的不足，提供一种实用性强的日志收集分析方法。
[0006]本专利技术进一步的技术任务是提供一种设计合理，安全适用的日志收集分析装置。
[0007]本专利技术解决其技术问题所采用的技术方案是：
[0008]一种日志收集分析方法，文件采集器将税务系统日志文件进行采集，发送至日志收集器，并进行融合，使税务系统日志数据共享，搜索引擎搜索各种日志的关键词，可视化平台提供页面操作。
[0009]进一步的，所述文件采集器包括Harvester和Prospector；
[0010]所述Prospector管理Harvester并找到所有读取源，Prospector会找到配置文件中目录，检查每个文件，看Harvester是否已经启动、是否需要启动、或文件是否可忽略；
[0011]若Harvester关闭，只有在文件大小发生变化时Prospector才会执行检查。
[0012]进一步的，Harvester读取单个文件内容，每个文件会启动一个Harvester，每个Harvester会逐行读取各个文件，并将文件内容发送到指定输出中；
[0013]Harvester用于打开和关闭文件，在Harvester运行的时候，文件描述符处于打开状态，如果文件在收集中被重命名或被删除，所述文件采集器会继续读取所述文件。
[0014]进一步的，所述日志收集器中input数据输入端接收源数据，filter数据中转层进行格式处理，数据类型转换、数据过滤、字段添加和修改，output数据输出端将数据输出到指定位置。
[0015]进一步的，所述搜索引擎在进行节点启动时，使用发现模块发现集群中节点并连接，搜索引擎会发送广播，用来找到相同集群名称的节点；
[0016]集群选举一个节点为主节点，所述主节点负责分发索引分片到集群相应节点，管理节点读取集群状态信息，并进行恢复处理。
[0017]进一步的，所述搜索引擎在进行故障检测时，集群正常工作，管理节点会监控所有可用节点，如果超时未响应则认为节点断开，需重新选择新的主节点。
[0018]进一步的，所述搜索引擎在进行查询时，分为分散阶段和合并阶段；
[0019]所述分散阶段将查询分发到文档的多个分片执行查询，在合并阶段则从众多分片
中收集返回结果。
[0020]一种日志收集分析装置，包括：至少一个存储器和至少一个处理器；
[0021]所述至少一个存储器，用于存储机器可读程序；
[0022]所述至少一个处理器，用于调用所述机器可读程序，执行一种日志收集分析方法。
[0023]本专利技术的一种日志收集分析方法及装置和现有技术相比，具有以下突出的有益效果：
[0024]1、能够节省大量日志查询时间，节省研发成本。如查询各个业务系统日志，目前需单独打开各个项目日志，单独查找，该方式时间成本较高，本专利技术能够大幅度减少时间，节省研发成本。
[0025]2、本专利技术能够方便开发者与运维人员操作，节省开发时间成本以及降低运维操作难度。将不同业务系统日志进行整合，并且进行数据共享，无需打开个项目日志，无需多次查询，节省了时间，降低了操作难度。
附图说明
[0026]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0027]附图1是一种日志收集分析方法的流程示意图。
具体实施方式
[0028]为了使本
的人员更好的理解本专利技术的方案，下面结合具体的实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本专利技术保护的范围。
[0029]下面给出一个最佳实施例：
[0030]如图1所示，本实施例中的一种日志收集分析方法，将各个税务系统进行有机整合，主要包含四个部分，文件采集器，日志收集器，搜索引擎和可视化平台，文件采集器将各个税务系统日志文件进行采集，发送到日志收集器，并进行深度融合，使各个税务系统日志可以数据共享，操作简洁；搜索引擎方便搜索各种日志的关键词，可视化平台将搜索引擎的复杂操作变为简单的页面操作。
[0031]文件采集器将各个税务系统的日志进行有机融合，文件采集器包括Harvester和Prospector；
[0032]Prospector负责管理Harvester并找到所有读取源。Prospector会找到配置文件中目录，例如/apps/logs/*目录下的所有info.log文件，并为每个文件启动一个Harvester。
[0033]Prospector会检查每个文件，看Harvester是否已经启动、是否需要启动、或者文件是否可以忽略。若Harvester关闭，只有在文件大小发生变化的时候Prospector才会执行检查。
[0034]Harvester负责读取单个文件内容，每个文件会启动一个Harvester，每个Harvester会逐行读取各个文件，并将文件内容发送到指定输出中。Harvester负责打开和关闭文件，意味在Harvester运行的时候，文件描述符处于打开状态，如果文件在收集中被重命名或者被删除，文件采集器会继续读取此文件。
[0035]日志收集器是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型，用来整合各个税务业务系统的日志，将其分类，与搜索引擎进行数据交互。
[0036]日志收集器的具体流程为：
[0037]日志收集器中input数据输入端接收源数据，filter数据中转层进行格式处理，数据类型转换、数据过滤、字段添加和修改，output数据输出端将数据输出到指定位置。
[0038]搜索引擎实现了分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索，可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据，日志通过收集器编入索引，可以进行快速查询，过滤等操作。
[0039]下面详述搜索引擎的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志收集分析方法，其特征在于，文件采集器将税务系统日志文件进行采集，发送至日志收集器，并进行融合，使税务系统日志数据共享，搜索引擎搜索各种日志的关键词，可视化平台提供页面操作。2.根据权利要求1所述的一种日志收集分析方法，其特征在于，所述文件采集器包括Harvester和Prospector；所述Prospector管理Harvester并找到所有读取源，Prospector会找到配置文件中目录，检查每个文件，看Harvester是否已经启动、是否需要启动、或文件是否可忽略；若Harvester关闭，只有在文件大小发生变化时Prospector才会执行检查。3.根据权利要求2所述的一种日志收集分析方法，其特征在于，Harvester读取单个文件内容，每个文件会启动一个Harvester，每个Harvester会逐行读取各个文件，并将文件内容发送到指定输出中；Harvester用于打开和关闭文件，在Harvester运行的时候，文件描述符处于打开状态，如果文件在收集中被重命名或被删除，所述文件采集器会继续读取所述文件。4.根据权利要求3所述的一种日志收集分析方法，其特征在于，所述日志收集器中in...

【专利技术属性】
技术研发人员：赵兴鹏，
申请(专利权)人：浪潮软件科技有限公司，
类型：发明
国别省市：