本申请提供一种基于filebeat+kafka+logstash的运维日志采集方法及装置，涉及通信领域，能够解决日志在传输过程中的实时性问题和查询快速性的问题。该方法包括：部署filebeat组件，并对filebeat组件进行组件配置；接收filebeat客户端采集到的日志数据，日志数据为filebeat客户端采集到的多种类型的日志对应的数据，一种类型的日志对应一种类型的终端；将日志数据存储至kafka集群；通过kafka集群，将日志数据推送至Logstash。本申请实施例用于对日志进行传输的过程中。实施例用于对日志进行传输的过程中。实施例用于对日志进行传输的过程中。
【技术实现步骤摘要】
基于filebeat+kafka+logstash的运维日志采集方法及装置
[0001]本申请涉及通信
，尤其涉及一种基于filebeat+kafka+logstash的运维日志采集方法及装置。
技术介绍
[0002]目前，随着移动互联网的兴起，单个应用的访问量急剧增加，其基础设施、中间件数量呈倍数增长，相关的日志量也随之大幅增加，运维人员在运维过程中定位和问题处理离不开日志，如何保证海量日志收集的时效性和准确性成为了系统运维的一个亟需解决问题。
技术实现思路
[0003]本申请提供一种基于filebeat+kafka+logstash的运维日志采集方法及装置，能够解决日志在传输过程中的实时性问题和查询快速性的问题。
[0004]为达到上述目的，本申请采用如下技术方案：
[0005]第一方面，本申请提供一种基于filebeat+kafka+logstash的运维日志采集方法，该方法包括：部署filebeat组件，并对filebeat组件进行组件配置；接收filebeat客户端采集到的日志数据，日志数据为filebeat客户端采集到的多种类型的日志对应的数据，一种类型的日志对应一种类型的终端；将日志数据存储至kafka集群；通过kafka集群，将日志数据推送至Logstash。
[0006]基于上述技术方案，本申请实施例提供的基于filebeat+kafka+logstash的运维日志采集方法，由于可以支持采集多种终端对应的日志，从而对多个终端对应的多种日志进行批量处理，从而扩展集群规模，降低了日志的延迟率。并且，可以根据需求对日志进行筛选和过滤，从而可以保证日志的准确性。
[0007]在第一方面的第一种可能的实现方式中，将日志数据存储至kafka集群之后，方法还包括：通过kafka集群，根据不同的日志类型，设置消费者组别。
[0008]在第一方面的第二种可能的实现方式中，将日志数据推送至Logstash之后，方法还包括：对日志数据进行过滤和筛选。
[0009]在第一方面的第三种可能的实现方式中，对日志数据进行过滤和筛选，包括：通过Logstash，根据业务需求信息，对日志数据进行过滤和筛选。
[0010]在第一方面的第四种可能的实现方式中，对日志数据进行过滤和筛选之后，方法还包括：获取筛选后的日志数据；将筛选后的日志数推送至后端。
[0011]第二方面，本申请提供一种基于filebeat+kafka+logstash的运维日志采集装置，该装置包括：处理单元、接收单元、存储单元和推送单元；处理单元，用于部署filebeat组件，并对filebeat组件进行组件配置；接收单元，用于接收filebeat客户端采集到的日志数据，日志数据为filebeat客户端采集到的多种类型的日志对应的数据，一种类型的日志对应一种类型的终端；
[0012]存储单元，用于将日志数据存储至kafka集群；推送单元，用于通过kafka集群，将日志数据推送至Logstash。
[0013]在第二方面的第一种可能的实现方式中，装置还包括：设置单元；设置单元，用于存储单元将日志数据存储至kafka集群之后，通过kafka集群，根据不同的日志类型，设置消费者组别。
[0014]在第二方面的第二种可能的实现方式中，处理单元，还用于在推送单元将日志数据推送至Logstash之后，对日志数据进行过滤和筛选。
[0015]在第二方面的第三种可能的实现方式中，处理单元，具体用于通过Logstash，根据业务需求信息，对日志数据进行过滤和筛选。
[0016]在第二方面的第四种可能的实现方式中，装置还包括：获取单元；获取单元，用于在处理单元对日志数据进行过滤和筛选之后，获取筛选后的日志数据；推送单元，还用于将筛选后的日志数推送至后端。
[0017]第三方面，本申请提供了一种基于filebeat+kafka+logstash的运维日志采集装置，该装置包括：处理器和通信接口；通信接口和处理器耦合，处理器用于运行计算机程序或指令，以实现如第一方面和第一方面的任一种可能的实现方式中所描述的基于filebeat+kafka+logstash的运维日志采集方法。
[0018]第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在终端上运行时，使得终端执行如第一方面和第一方面的任一种可能的实现方式中描述的基于filebeat+kafka+logstash的运维日志采集方法。
[0019]第五方面，本申请实施例提供一种包含指令的计算机程序产品，当计算机程序产品在基于filebeat+kafka+logstash的运维日志采集装置上运行时，使得基于filebeat+kafka+logstash的运维日志采集装置执行如第一方面和第一方面的任一种可能的实现方式中所描述的基于filebeat+kafka+logstash的运维日志采集方法。
[0020]第六方面，本申请实施例提供一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行计算机程序或指令，以实现如第一方面和第一方面的任一种可能的实现方式中所描述的基于filebeat+kafka+logstash的运维日志采集方法。
[0021]具体的，本申请实施例中提供的芯片还包括存储器，用于存储计算机程序或指令。
附图说明
[0022]图1为本申请实施例提供的一种基于filebeat+kafka+logstash的运维日志采集方法的流程图；
[0023]图2为本申请实施例提供的另一种基于filebeat+kafka+logstash的运维日志采集方法的流程图；
[0024]图3为本申请实施例提供的一种基于filebeat+kafka+logstash的运维日志采集装置的结构示意图；
[0025]图4为本申请实施例提供的另一种基于filebeat+kafka+logstash的运维日志采集装置的结构示意图。
[0026]图5为本申请实施例提供的一种芯片的结构示意图。
具体实施方式
[0027]下面结合附图对本申请实施例提供的基于filebeat+kafka+logstash的运维日志采集方法及装置进行详细地描述。
[0028]本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
[0029]本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。
[0030]此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于filebeat+kafka+logstash的运维日志采集方法，其特征在于，所述方法包括：部署filebeat组件，并对所述filebeat组件进行组件配置；接收filebeat客户端采集到的日志数据，所述日志数据为所述filebeat客户端采集到的多种类型的日志对应的数据，一种类型的日志对应一种类型的终端；将所述日志数据存储至kafka集群；通过所述kafka集群，将所述日志数据推送至Logstash。2.根据权利要求1所述的方法，其特征在于，所述将所述日志数据存储至kafka集群之后，所述方法还包括：通过所述kafka集群，根据不同的日志类型，设置消费者组别。3.根据权利要求1所述的方法，其特征在于，所述将所述日志数据推送至Logstash之后，所述方法还包括：对所述日志数据进行过滤和筛选。4.根据权利要求3所述的方法，其特征在于，所述对所述日志数据进行过滤和筛选，包括：通过所述Logstash，根据业务需求信息，对所述日志数据进行过滤和筛选。5.根据权利要求3所述的方法，其特征在于，所述对所述日志数据进行过滤和筛选之后，所述方法还包括：获取筛选后的日志数据；将所述筛选后的日志数推送至后端。6.一种基于filebeat+kafka+logstash的运维日志采集装置，其特征在于，所述装置包括：处理单元、接收单元、存储单元和推送单元；所述处理单元，用于部署filebeat组件，并对所述filebeat组件进行组件配置；所述接收单元，用于接收filebeat客户端采集到的日志数据，所述日志数据为所述filebeat客户端采集到的多种类型的日志对应的数据，...
【专利技术属性】
技术研发人员：侯振国，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。