日志采集器的管控方法、平台、电子设备及存储介质技术

本申请公开了日志采集器的管控方法、平台、电子设备及存储介质，涉及大数据领域。具体实现方案为：接收日志采集器发送的注册请求；请求中携带日志采集器所在的主机的标识信息；为日志采集器配置对应的配置文件和配置版本号；配置文件中包括为日志采集器配置的任务的标识信息；配置版本号用于标识为日志采集器配置的任务的更新次数；向对应的日志采集器发送配置文件和配置版本号，以供日志采集器加载任务配置文件配置文件，以执行相应的任务。本申请采用上述方案，能够克服现有技术中手动配置日志任务效率低下的问题，进而能够智能化地自动在线部署及传输日志采集任务，能够适用于大规模的日志采集场景，有效地提高日志采集任务的配置效率。

Control method, platform, electronic equipment and storage medium of log collector

【技术实现步骤摘要】
日志采集器的管控方法、平台、电子设备及存储介质
本专利技术涉及计算机应用
，尤其涉及大数据技术，具体涉及一种日志采集器的管控方法、平台、电子设备及存储介质。
技术介绍
日志采集主要用于对各个系统或者应用产生的日志(Log)信息进行采集，日志信息中通常包括运行状态、指标以及用户的各种信息，内容非常丰富，能够有助于对相应的系统或者应用进行分析。所以，日志采集是一项非常重要的工作。现有技术的日志采集过程通过部署日志采集器来实现对日志的采集。通常情况下，由用户手动部署日志采集器，并手动修改其配置文件来完成日志数据的采集与传输任务。但是，随着业务日志的规模化增长，对海量日志的采集及传输任务的智能化管控需求越来越迫切，手动配置日志采集任务的效率低下，实现较为困难。
技术实现思路
本专利技术提供了一种日志采集器的管控方法、平台、电子设备及存储介质，用于智能化地为日志采集器配置日志采集任务，提高日志采集的配置效率。本申请提供一种日志采集器的管控方法，所述方法包括：接收日志采集器发送的注册请求；所述注册请求中携带所述日志采集器所在的主机的标识信息；为所述日志采集器配置配置文件和配置版本号；所述配置文件中包括为所述日志采集器配置的任务的标识信息；所述配置版本号用于标识为所述日志采集器配置的任务的更新次数；向对应的所述日志采集器发送所述配置文件和所述配置版本号，以供所述日志采集器加载所述配置文件，以执行相应的任务。进一步可选地，如上所述的方法中，为所述日志采集器配置对应的配置文件和配置版本号，包括：为所述日志采集器配置任务标识和对应的任务版本号；基于为所述日志采集器配置的所述任务标识和对应的所述任务版本号，生成对应的所述配置文件；配置所述日志采集器的配置版本号。进一步可选地，如上所述的方法中，为所述日志采集器配置对应的配置文件和配置版本号之后，所述方法还包括：建立所述主机的标识信息、所述任务标识、以及所述任务版本号之间的对应关系；并存储在数据库关系表中；和/或将所述主机的标识信息和对应的所述配置文件存储在缓存中。进一步可选地，如上所述的方法中，为所述日志采集器配置对应的配置文件和配置版本号之后，所述方法还包括：根据任务的更新需求，更新所述任务标识及对应的所述任务版本号；基于更新的所述任务标识及对应的所述任务版本号，更新需要执行更新后的任务的所述日志采集器对应的所述配置文件和所述配置版本号；更新所述数据库关系表中需要执行更新后的任务的所述日志采集器对应的所述对应关系，和/或所述缓存中对应的所述配置文件。进一步可选地，如上所述的方法中，向对应的所述日志采集器发送所述配置文件和所述配置版本号之后，所述方法还包括：接收所述日志采集器按照预设周期发送的心跳消息，所述心跳消息中携带所述主机的标识信息以及所述配置版本号；根据所述主机的标识信息，获取本地记录的所述配置版本号；检测本地记录的所述配置版本号与所述心跳消息中携带的所述配置版本号是否一致；若不一致，根据所述主机的标识信息从所述缓存中获取对应的更新后的所述配置文件；向对应的所述日志采集器发送更新后的所述配置文件和本地记录的所述配置版本号，以供所述日志采集器加载更新后的所述配置文件，以执行相应的任务。进一步可选地，如上所述的方法中，所述心跳消息中还携带有各所述任务的运行指标和/或所述日志采集器的进程的运行指标；所述方法还包括：根据所述日志采集器连续多次所述心跳消息中的各所述任务的运行指标和/或进程的所述运行指标，绘制可视化指标动态信息；显示所述可视化指标动态信息；和/或根据所述日志采集器中的各所述任务的运行指标和/或进程的运行指标，以及预设的报警条件，判断是否需要触发报警；若需要，根据预设的报警方式，发出报警。进一步可选地，如上所述的方法中，向对应的所述日志采集器发送所述配置文件和所述配置版本号之后，所述方法还包括：若预设时间长度内未接收到所述日志采集器发送的心跳消息，发出重启提示消息，以提示用户重启所述日志采集器。本申请还提供了一种日志采集器的管控平台，所述平台包括：接收模块，用于接收日志采集器发送的注册请求；所述注册请求中携带所述日志采集器所在的主机的标识信息；配置模块，用于为所述日志采集器配置配置文件和配置版本号；所述配置文件中包括为所述日志采集器配置的任务的标识信息；所述配置版本号用于标识为所述日志采集器配置的任务的更新次数；发送模块，用于向对应的所述日志采集器发送所述配置文件和所述配置版本号，以供所述日志采集器加载所述配置文件，以执行相应的任务。本申请还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上任一项所述的方法。本申请还提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上任一项所述的方法。本申请还提供了一种日志采集器的管控方法，所述方法包括：接收日志采集器发送的注册请求；所述注册请求中携带所述日志采集器所在的主机的标识信息和任务的标识信息；根据所述任务的标识信息为所述日志采集器配置配置文件；向对应的所述日志采集器发送所述配置文件，以供所述日志采集器加载所述配置文件，以执行相应的任务。上述申请中的一个实施例具有如下优点或有益效果：通过日志采集器的管控平台，可以智能化地为每个注册的日志采集器配置日志采集任务，并向相应的日志采集器传输送配置文件和配置版本号，以供日志采集器加载配置文件，以执行相应的任务，克服了现有技术中手动配置日志任务效率低下的问题，进而能够智能化地自动在线部署及传输日志采集任务，能够适用于大规模的日志采集场景，有效地提高日志采集任务的配置效率。根据本申请实施例的技术方案，克服了现有技术中手动配置日志采集任务效率低下的问题，本申请中，通过智能化地自动在线部署及传输日志采集任务，能够适用于大规模的日志采集场景，有效地提高日志采集任务的配置效率。进一步地，本申请实施例的技术方案，能够建立主机的标识信息、任务标识、以及任务版本号之间的对应关系；并存储在数据库关系表中，以便于对日志采集器和其执行的任务进行集中化管理，方便后续的查询和使用。且上述实施例中，还可以将主机的标识信息和对应的配置文件存储在缓存中，以便于后续需要向日志采集器下发配置文件时，能够及时获取到，提高了日志配置文件下发的效率。进一步地，本申请实施例的技术方案，还能够根据任务的更新需求，更新任务标识对应的所述配置文件以及对应的所述任务版本号；并基于更新的任务标识及对应的任务版本号，更新需要执行更新后的任务的日志采集器对应的配置文件和配置版本号，能够针对新更新的任务，及时更新所有相关信息，便于后本文档来自技高网...

【技术保护点】
1.一种日志采集器的管控方法，其特征在于，所述方法包括：/n接收日志采集器发送的注册请求；所述注册请求中携带所述日志采集器所在的主机的标识信息；/n为所述日志采集器配置配置文件和配置版本号；所述配置文件中包括为所述日志采集器配置的任务的标识信息；所述配置版本号用于标识为所述日志采集器配置的任务的更新次数；/n向对应的所述日志采集器发送所述配置文件和所述配置版本号，以供所述日志采集器加载所述配置文件，以执行相应的任务。/n

【技术特征摘要】
1.一种日志采集器的管控方法，其特征在于，所述方法包括：
接收日志采集器发送的注册请求；所述注册请求中携带所述日志采集器所在的主机的标识信息；
为所述日志采集器配置配置文件和配置版本号；所述配置文件中包括为所述日志采集器配置的任务的标识信息；所述配置版本号用于标识为所述日志采集器配置的任务的更新次数；
向对应的所述日志采集器发送所述配置文件和所述配置版本号，以供所述日志采集器加载所述配置文件，以执行相应的任务。


2.根据权利要求1所述的方法，其特征在于，为所述日志采集器配置对应的配置文件和配置版本号，包括：
为所述日志采集器配置任务标识和对应的任务版本号；
基于为所述日志采集器配置的所述任务标识和对应的所述任务版本号，生成对应的所述配置文件；
配置所述日志采集器的配置版本号。


3.根据权利要求2所述的方法，其特征在于，为所述日志采集器配置对应的配置文件和配置版本号之后，所述方法还包括：
建立所述主机的标识信息、所述任务标识、以及所述任务版本号之间的对应关系；并存储在数据库关系表中；和/或
将所述主机的标识信息和对应的所述配置文件存储在缓存中。


4.根据权利要求3所述的方法，其特征在于，为所述日志采集器配置对应的配置文件和配置版本号之后，所述方法还包括：
根据任务的更新需求，更新所述任务标识及对应的所述任务版本号；
基于更新的所述任务标识及对应的所述任务版本号，更新需要执行更新后的任务的所述日志采集器对应的所述配置文件和所述配置版本号；
更新所述数据库关系表中需要执行更新后的任务的所述日志采集器对应的所述对应关系，和/或所述缓存中对应的所述配置文件。


5.根据权利要求3所述的方法，其特征在于，向对应的所述日志采集器发送所述配置文件和所述配置版本号之后，所述方法还包括：
接收所述日志采集器按照预设周期发送的心跳消息，所述心跳消息中携带所述主机的标识信息以及所述配置版本号；
根据所述主机的标识信息，获取本地记录的所述配置版本号；
检测本地记录的所述配置版本号与所述心跳消息中携带的所述配置版本号是否一致；
若不一致，根据所述主机的标识信息从所述缓存中获取对应的更新后的所述配置文件；
向对应的所述日志采集器发送更新后的所述配置文件和本地记录的所述配置版本号，以供所述日志采集器加载更新后的所述配置文件，以执行相应的任务。


6.根据权利要求5所述的方法，其特征在于，所述心跳消息中还携带有各所述任务的运行指标和/或所述日志采集器的进程的运行指标；所述方法还包括：
根据所述日志采集器连续多次所述心跳消息中的各所述任务的运行指标和/或进程的所述运行指标，绘制可视化指标动态信息；显示所述可视化指标动态信息；和/或
根据所述日志采集器中的各所述任务的运行指标和/或进程的运行指标，以及预设的报警条件，判断是否需要触发报警；若需要，根据预设的报警方式，发出报警。


7.根据权利要求1-6任一所述的方法，其特征在于，向对应的所述日志采集器发送所述配置文件和所述配置版本号之后，所述方法还包括：
若预设时间长度内未接收到所述日志采集器发送的心跳消息，发出重启提示消息，以提示用户重启所述日志采集器。


8.一种日志采集器的管控平台，其特征在于，所述平台包括：
接收模块，用于接收日志采集器发送的注册请求；所述注册请求中携带所述日志采集器所在的主机的标识信息；
配置模块，用于为所述日志采集器配置配置文件和配置版本号；所述配置文件中包括为所述日志采集器配置的任务的标识信息；所述配置版本号用于标识为所述日志采集器配置的任务的更新次数；
发送模块，用于向对应的所述日志采集器发送所述配置文件和所述配置版本号...

【专利技术属性】
技术研发人员：陈颖洁，高淼淼，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11