本发明专利技术公开了一种日志收集方法、装置及系统，包括：采用Filebeat组件采集目标日志文件中的日志信息，并将日志信息发送至kafka组件中进行分类缓存；获取kafka组件中的每类日志信息，并对日志信息进行处理；将处理后的日志信息进行分类存储；本发明专利技术实现了对日志信息的集中管理，方便用户对日志进行查看，有利于提高日志管理效率，便于对问题进行定位。便于对问题进行定位。便于对问题进行定位。
【技术实现步骤摘要】
一种日志收集方法、装置及系统
[0001]本专利技术涉及计算机
，特别是涉及一种日志收集方法、装置及系统。
技术介绍
[0002]随着业务的急剧膨胀及服务的多样化，让网络的组建变得越来越复杂，一个系统可能涉及到多个设备、部署多个实例。另外，设备的增加让跨运维小组之间的沟通代价变得很高，各种日志和告警散落在不同的设备上，导致不能够对日志进行集中管理，不利用用户的查看和对问题的定位。
[0003]鉴于此，如何提供一种解决上述技术问题的日志收集方法、装置及系统成为本领域技术人员需要解决的问题。
技术实现思路
[0004]本专利技术实施例的目的是提供一种日志收集方法、装置及系统，在使用过程中实现了对日志信息的集中管理，方便用户对日志进行查看，有利于提高日志管理效率，便于对问题进行定位。
[0005]为解决上述技术问题，本专利技术实施例提供了一种日志收集方法，包括：
[0006]采用Filebeat组件采集目标日志文件中的日志信息，并将所述日志信息发送至kafka组件中进行分类缓存；
[0007]获取所述kafka组件中的每类日志信息，并对所述日志信息进行处理；
[0008]将处理后的日志信息进行分类存储。
[0009]可选的，所述采用Filebeat组件采集目标日志文件中的日志信息的过程为：
[0010]采用Filebeat组件通过探测器对目标日志文件进行监听，判断是否存在新增日志信息，若存在，则通过所述探测器采集所述日志文件中的新增日志信息。r/>[0011]可选的，所述日志信息的类型包括：nginx日志、平台日志和mysql慢日志。
[0012]可选的，所述采用Filebeat组件采集目标日志文件中的日志信息，并将所述日志信息发送至kafka组件中进行分类缓存的过程为：
[0013]预先从kafka组件中划分出多个缓存区，并确定出与每个所述缓存区各自对应的标识码；
[0014]采用Filebeat组件采集目标日志文件中的日志信息，并获取所述日志信息的类型；
[0015]根据预先确定的日志类型及缓存区的对应关系，确定出目标缓存区；
[0016]将所述日志信息发送至kafka组件中的所述目标缓存区进行存储。
[0017]可选的，所述获取所述kafka组件中的每类日志信息，并对所述日志信息进行处理的过程为：
[0018]采用logstash组件获取所述kafka组件中的每类日志信息，并对所述日志信息进行预处理清洗、过滤、解析和格式转换，得到处理后的日志信息。
[0019]可选的，所述获取所述kafka组件中的每类日志信息，并对所述日志信息进行处理的过程为：
[0020]采用flink组件获取所述kafka组件中的每类日志信息，并根据预设要求对所述日志信息进行计算，得到对应的聚合指标。
[0021]可选的，还包括：
[0022]接收用户输入的检索信息；
[0023]依据所述检索信息从存储的各个日志信息中筛选出目标日志信息，并将所述目标日志信息进行展示。
[0024]本专利技术实施例还提供了一种日志收集装置，包括：
[0025]采集模块，用于采用Filebeat组件采集目标日志文件中的日志信息，并将所述日志信息发送至kafka组件中进行分类缓存；
[0026]处理模块，用于获取所述kafka组件中的每类日志信息，并对所述日志信息进行处理；
[0027]存储模块，用于将处理后的日志信息进行分类存储。
[0028]可选的，所述采用Filebeat组件采集目标日志文件中的日志信息的过程为：
[0029]采用Filebeat组件通过探测器对目标日志文件进行监听，判断是否存在新增日志信息，若存在，则通过所述探测器采集所述日志文件中的新增日志信息。
[0030]本专利技术实施例还提供了一种日志收集系统，包括：
[0031]存储器，用于存储计算机程序；
[0032]处理器，用于执行所述计算机程序时实现如上述所述日志收集方法的步骤。
[0033]本专利技术实施例提供了一种日志收集方法、装置及系统，包括：采用Filebeat组件采集目标日志文件中的日志信息，并将日志信息发送至kafka组件中进行分类缓存；获取kafka组件中的每类日志信息，并对日志信息进行处理；将处理后的日志信息进行分类存储。
[0034]可见，本专利技术通过Filebeat组件能够对不同设备内的日志信息进行采集，然后将所采集的日志信息发送至kafka组件中进行按照日志信息的类型进行分类缓存，然后再获取kafka组件中的每类日志信息，并对所获取的日志信息进行处理，并将处理后的日志信息进行分类存储，实现了对日志信息的集中管理，方便用户对日志进行查看，有利于提高日志管理效率，便于对问题进行定位。
附图说明
[0035]为了更清楚地说明本专利技术实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1为本专利技术实施例提供的一种日志收集方法的流程示意图；
[0037]图2为本专利技术实施例提供的一种日志收集过程的框架图；
[0038]图3为本专利技术实施例提供的一种日志收集装置的结构示意图。
具体实施方式
[0039]本专利技术实施例提供了一种日志收集方法、装置及系统，在使用过程中实现了对日志信息的集中管理，方便用户对日志进行查看，有利于提高日志管理效率，便于对问题进行定位。
[0040]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0041]需要说明的是，本专利技术实施例中基于Filebeat组件、Kafka组件、Logstash组件、ElasticSearch组件、Apache Flink组件来实现对多个设备的日志的收集和管理，其中：
[0042]Filebeat是一个用于转发和集中日志数据的轻量级shipper。作为代理安装在服务器上，filebeat监视指定的日志文件或位置，收集日志事件，并将它们转发给ElasticSearch或logstash进行索引。
[0043]Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的(partition)、多副本的(replica)，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，we本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种日志收集方法，其特征在于，包括：采用Filebeat组件采集目标日志文件中的日志信息，并将所述日志信息发送至kafka组件中进行分类缓存；获取所述kafka组件中的每类日志信息，并对所述日志信息进行处理；将处理后的日志信息进行分类存储。2.根据权利要求1所述的日志收集方法，其特征在于，所述采用Filebeat组件采集目标日志文件中的日志信息的过程为：采用Filebeat组件通过探测器对目标日志文件进行监听，判断是否存在新增日志信息，若存在，则通过所述探测器采集所述日志文件中的新增日志信息。3.根据权利要求1所述的日志收集方法，其特征在于，所述日志信息的类型包括：nginx日志、平台日志和mysql慢日志。4.根据权利要求1至3任意一项所述的日志收集方法，其特征在于，所述采用Filebeat组件采集目标日志文件中的日志信息，并将所述日志信息发送至kafka组件中进行分类缓存的过程为：预先从kafka组件中划分出多个缓存区，并确定出与每个所述缓存区各自对应的标识码；采用Filebeat组件采集目标日志文件中的日志信息，并获取所述日志信息的类型；根据预先确定的日志类型及缓存区的对应关系，确定出目标缓存区；将所述日志信息发送至kafka组件中的所述目标缓存区进行存储。5.根据权利要求4所述的日志收集方法，其特征在于，所述获取所述kafka组件中的每类日志信息，并对所述日志信息进行处理的过程为：采用logstash组件获取所述...
【专利技术属性】
技术研发人员：汤少标，范渊，刘博，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。