一种集群的日志采集方法、系统、设备以及介质技术方案

本发明专利技术公开了一种集群的日志采集方法，包括以下步骤：注册事件监听并全量扫描；利用所述事件监听获取的信息和所述全量扫描得到的信息生成容器列表；根据所述容器列表中的每一个容器的环境变量的预设标识识别进行日志采集的容器；获取与所述进行日志采集的容器对应的采集参数；利用所述采集参数生成采集配置文件；将所述采集配置文件部署到采集工具中以进行日志采集。本发明专利技术还公开了一种系统、计算机设备以及可读存储介质。本发明专利技术提出的方案能够以最轻量级，最高效，声明式的配置进行容器日志的采集，解决了传统容器日志采集时的高冗余，高耗能，管理困难的问题。

A method, system, equipment and media of log collection in cluster

【技术实现步骤摘要】
一种集群的日志采集方法、系统、设备以及介质
本专利技术涉及日志采集领域，具体涉及一种集群的日志采集方法、系统、设备以及存储介质。
技术介绍
容器技术是一种比虚拟机技术更加节省计算资源也更加灵活的虚拟化技术。随着容器技术的发展，出现了很多容器编排引擎，用于对容器进行管理，Kubernetes技术脱颖而出成为了容器编排领域的事实标准。在将容器技术应用到实际生产环境中时，由于技术门槛的缘故，仅仅使用Kubernetes进行应用系统部署显得比较困难，为此需要开发对Kubernetes集群进行管理的软件系统。日志作为应用的一个关键环节，尤其是在使用容器编排工具进行容器调度的动态环境下，程序的排错和健康状态的分析很多都依赖日志信息的收集。在容器平台这种动态的环境下，如何在应用的容器化过程中，方便快捷的自动发现和采集日志是将传统应用容器化部署的一个重要方面。在管理Kubernates集群的软件系统中，对所部署容器的标准日志的采集，是他们了解自己的系统运行状态与排除错误的一种手段,是系统管理中，必不可少的一部分。目前的采集工具都需要事先手动配置好日志采集方式和路径等信息，由于它无法自动感知到容器的生命周期变化或者动态漂移，所以它无法动态地去配置。
技术实现思路
有鉴于此，为了克服上述问题的至少一个方面，本专利技术实施例提出一种集群的日志采集方法，包括以下步骤：注册事件监听并全量扫描；利用所述事件监听获取的信息和所述全量扫描得到的信息生成容器列表；根据所述容器列表中的每一个容器的环境变量的预设标识识别进行日志采集的容器；获取与所述进行日志采集的容器对应的采集参数；利用所述采集参数生成采集配置文件；将所述采集配置文件部署到采集工具中以进行日志采集。在一些实施例中，利用所述事件监听获取的信息和扫描得到的信息生成容器列表，进一步包括：接收每一个宿主机节点发送的容器事件的监听数据；根据预设接口扫描并获取所有容器的信息；根据所述监听数据和所述所有容器的信息生成容器列表。在一些实施例中，获取与所述进行日志采集的容器对应的采集参数，进一步包括：获取所述进行日志采集的容器的元数据信息；获取所述进行日志采集的容器的环境变量中的日志路径。在一些实施例中，利用所述采集参数生成采集配置文件，进一步包括：利用所述元数据信息和所述日志路径生成所述采集配置文件；或，利用所述元数据信息生成所述采集配置文件。基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种集群的日志采集系统，包括：采集模块，所述采集模块配置为注册事件监听并全量扫描；第一生成模块，所述第一生成模块配置为利用所述事件监听获取的信息和所述全量扫描得到的信息生成容器列表；识别模块，所述识别模块配置为根据所述容器列表中的每一个容器的环境变量的预设标识识别进行日志采集的容器；获取模块，所述获取模块配置为获取与所述进行日志采集的容器对应的采集参数；第二生成模块，所述第二生成模块配置为利用所述采集参数生成采集配置文件；部署模块，所述部署模块配置为将所述采集配置文件部署到采集工具中以进行日志采集。在一些实施例中，所述第一生成模块还配置为：接收每一个宿主机节点发送的容器事件的监听数据；根据预设接口扫描并获取所有容器的信息；根据所述监听数据和所述所有容器的信息生成容器列表。在一些实施例中，所述获取模块还配置为：获取所述进行日志采集的容器的元数据信息；获取所述进行日志采集的容器的环境变量中的日志路径。在一些实施例中，所述第二生成模块还配置为利用所述元数据信息和所述日志路径生成所述采集配置文件；或，利用所述元数据信息生成所述采集配置文件。基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如上所述的任一种集群的日志采集方法的步骤。基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种集群的日志采集方法的步骤。本专利技术具有以下有益技术效果之一：本专利技术提出的方案能够以最轻量级，最高效，声明式的配置进行容器日志的采集，解决了传统容器日志采集时的高冗余，高耗能，管理困难的问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。图1为本专利技术的实施例提供的集群的日志采集方法的流程示意图；图2为本专利技术的实施例提供的集群的日志采集系统的结构示意图；图3为本专利技术的实施例提供的计算机设备的结构示意图；图4为本专利技术的实施例提供的计算机可读存储介质的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。需要说明的是，在本专利技术的实施例中，集群可以是Kubernetes集群或者其他集群。根据本专利技术的一个方面，本专利技术的实施例提出一种集群的日志采集方法，如图1所示，其可以包括步骤：S1，注册事件监听并全量扫描；S2，利用所述事件监听获取的信息和所述全量扫描得到的信息生成容器列表；S3，根据所述容器列表中的每一个容器的环境变量的预设标识识别进行日志采集的容器；S4，获取与所述进行日志采集的容器对应的采集参数；S5，利用所述采集参数生成采集配置文件；S6，将所述采集配置文件部署到采集工具中以进行日志采集。本专利技术提出的方案能够以最轻量级，最高效，声明式的配置进行容器日志的采集，解决了传统容器日志采集时的高冗余，高耗能，管理困难的问题。在一些实施例中，在步骤S1注册事件监听并全量扫描中，采用先注册事件监听后全量扫描的方式，可以很好地规避容器事件丢失的问题。具体的，若采用先全量扫描后事件监听的方式，比如采集工具进程在开始运行的时候，会先去全量扫描一遍所有宿主机上的所有容器列表，然后依据容器的声明式配置来进行日志采集配置文件的动态生成，然后再注册事件监听，那么这样可能会导致一个问题，在全量扫描配置的过程中并且在注册事件监听之前，这个窗口期的容器事件就有可能会丢本文档来自技高网...

【技术保护点】
1.一种集群的日志采集方法，其特征在于，包括以下步骤：/n注册事件监听并全量扫描；/n利用所述事件监听获取的信息和所述全量扫描得到的信息生成容器列表；/n根据所述容器列表中的每一个容器的环境变量的预设标识识别进行日志采集的容器；/n获取与所述进行日志采集的容器对应的采集参数；/n利用所述采集参数生成采集配置文件；/n将所述采集配置文件部署到采集工具中以进行日志采集。/n

【技术特征摘要】
1.一种集群的日志采集方法，其特征在于，包括以下步骤：
注册事件监听并全量扫描；
利用所述事件监听获取的信息和所述全量扫描得到的信息生成容器列表；
根据所述容器列表中的每一个容器的环境变量的预设标识识别进行日志采集的容器；
获取与所述进行日志采集的容器对应的采集参数；
利用所述采集参数生成采集配置文件；
将所述采集配置文件部署到采集工具中以进行日志采集。


2.如权利要求1所述的方法，其特征在于，利用所述事件监听获取的信息和扫描得到的信息生成容器列表，进一步包括：
接收每一个宿主机节点发送的容器事件的监听数据；
根据预设接口扫描并获取所有容器的信息；
根据所述监听数据和所述所有容器的信息生成容器列表。


3.如权利要求1所述的方法，其特征在于，获取与所述进行日志采集的容器对应的采集参数，进一步包括：
获取所述进行日志采集的容器的元数据信息；
获取所述进行日志采集的容器的环境变量中的日志路径。


4.如权利要求3所述的方法，其特征在于，利用所述采集参数生成采集配置文件，进一步包括：
利用所述元数据信息和所述日志路径生成所述采集配置文件；或，
利用所述元数据信息生成所述采集配置文件。


5.一种集群的日志采集系统，其特征在于，包括：
采集模块，所述采集模块配置为注册事件监听并全量扫描；
第一生成模块，所述第一生成模块配置为利用所述事件监听获取的信息和所述全量扫描得到的信息生成容器列表；
识别模块...

【专利技术属性】
技术研发人员：崔润兴，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32