基于Filebeat的数据采集方法、系统、设备及存储介质技术方案

本申请实施例提供了一种基于Filebeat的数据采集方法、系统、设备及存储介质，属于计算机技术领域。通过在Filebeat日志采集器的安装目录下新建配置目录文件，在配置目录文件下创建多个配置文件，并为每一个配置文件创建对应的运行日志文件和注册文件，其中每一个配置文件中配置有目标数据路径和目标消费对象。获取日志采集器的启动命令，其包括配置文件参数、日志文件路径参数和注册文件路径参数，根据启动命令启动日志采集器，以使其根据多个配置文件生成并运行对应的Filebeat实例，通过不同的实例采集业务需求所需的目标数据路径下的数据，并将采集的数据发送至对应的目标消费对象，从而实现将业务需求所需的数据针对性地推送到对应的消费对象上。

【技术实现步骤摘要】

本申请涉及计算机，尤其涉及一种基于filebeat的数据采集方法、系统、设备及存储介质。

技术介绍

1、随着计算机技术和互联网技术的发展，通常需要根据业务需求将主机上合适的数据针对性地推送到对应的目标服务器或者目标集群上。filebeat是一个轻量级的文件传输器，可以实时监控文件或日志目录，并将主机数据发送到指定类型的服务集群上，实现数据的高效传输。但在主机应用filebeat日志采集器时，仅能指定所需采集的日志文件和输出集群类型(例如，kafka集群或者elasticsearch集群)，类似于在nginx代理服务器的conf中的配置文件，只包含额外的子配置而不能包含各种主要配置，而如果在filebeat日志采集器的配置文件中直接配置同一类集群但不同的消费对象，会造成其注册文件和采集器冲突而不能正常运行，因此，目前filebeat日志采集器不能实现对相同输出集群类型但不同消费对象的配置输出，从而无法将根据业务需求将所需的数据针对性地推送到对应的消费对象上。

技术实现思路

1、本申请实施例的主要目的在于提出基于本文档来自技高网...

【技术保护点】

1.一种基于Filebeat的数据采集方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于Filebeat的数据采集方法，其特征在于，所述配置文件通过以下步骤配置，包括：

3.根据权利要求2所述的基于Filebeat的数据采集方法，其特征在于，所述基于Filebeat的数据采集方法还包括以下步骤：

4.根据权利要求1所述的基于Filebeat的数据采集方法，其特征在于，所述基于Filebeat的数据采集方法还包括以下步骤：

5.根据权利要求1所述的基于Filebeat的数据采集方法，其特征在于，在所述根据所述启动命令启动所述Fil...

【技术特征摘要】

1.一种基于filebeat的数据采集方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于filebeat的数据采集方法，其特征在于，所述配置文件通过以下步骤配置，包括：

3.根据权利要求2所述的基于filebeat的数据采集方法，其特征在于，所述基于filebeat的数据采集方法还包括以下步骤：

4.根据权利要求1所述的基于filebeat的数据采集方法，其特征在于，所述基于filebeat的数据采集方法还包括以下步骤：

5.根据权利要求1所述的基于filebeat的数据采集方法，其特征在于，在所述根据所述启动命令启动所述filebeat日志采集器的步骤之后，所述基于filebeat的数据采集方法还包括：

6.根据权利要求5所述的基于filebeat的数据采集方法，其特征在于，在所述根据所述启动命令启动所述filebeat日志采集器的步骤...

【专利技术属性】
技术研发人员：郭尧璋，崔伟，高保庆，李佰典，陈媛，
申请(专利权)人：天翼数字生活科技有限公司，
类型：发明
国别省市：