本申请涉及云计算，提出一种基于云计算的集群日志收集方法、装置、电子设备及存储介质，基于云计算的集群日志收集方法包括：在Kubernetes集群的各个节点上部署采集容器，所述采集容器用于采集所述节点上的日志数据；监控所述采集容器的运行状态以获取多个节点日志数据集；将所有的节点日志数据集聚合后缓存至服务端的本地磁盘中获得集群日志文件；压缩所述集群日志文件并发送至集群数据库中进行存储获得确认返回值；基于所述确认返回值对所述服务端的本地磁盘中缓存的集群日志数据集进行删除。本申请能够减少由于日志数据量过大导致的系统资源被过多占用的情况，保证k8s集群的正常运行，进而有效提高集群日志的收集效率。率。率。
【技术实现步骤摘要】
基于云计算的集群日志收集方法及相关设备
[0001]本申请涉及云计算
，尤其涉及一种基于云计算的集群日志收集方法及相关设备，其中，相关设备包括基于云计算的集群日志收集装置、电子设备及存储介质。
技术介绍
[0002]日志是指应用程序的运行过程中记录的一些与应用程序运行相关的信息，而应用程序往往需要被打包到一个可移植的容器中，才能发布到任何流行的linux机器上。随着计算机技术的发展，云计算在金融科技、数字医疗领域等的应用越来越广泛。而随着云计算的发展和企业(例如金融科技企业、数字医疗系统等)业务规模的扩大，部署的成百上千节点的大规模云环境成为必须应对的复杂情况，于是容器云管理工具kubernetes(k8s)应运而生。
[0003]然而，云计算环境提供服务需要众多组件的支撑，系统本身的组件会产生大量的日志数据，如负载均衡器、应用容器运行日志等，同时云环境中的应用生成的日志记录更是难记其数。目前许多日志系统都会使用filebeat或flume等开源组件来采集日志，但这些方式在面对大量的日志时会占用系统大量的资源，甚至影响到k8s集群的正常运行，从而降低了k8s集群的日志收集效率。
技术实现思路
[0004]鉴于以上内容，有必要提出一种基于云计算的集群日志收集方法及相关设备，以解决如何提高k8s集群的日志收集效率这一技术问题，其中，相关设备包括基于云计算的集群日志收集装置、电子设备及存储介质。
[0005]本申请提供一种基于云计算的集群日志收集方法，所述方法包括：
[0006]在Kubernetes集群的各个节点上部署采集容器，所述采集容器用于采集所述节点上的日志数据；
[0007]监控所述采集容器的运行状态以获取多个节点日志数据集；
[0008]将所有的节点日志数据集聚合后缓存至服务端的本地磁盘中获得集群日志文件；
[0009]压缩所述集群日志文件并发送至集群数据库中进行存储获得确认返回值；
[0010]基于所述确认返回值对所述服务端的本地磁盘中缓存的集群日志数据集进行删除。
[0011]在一些实施例中，所述在Kubernetes集群的各个节点上部署采集容器包括：
[0012]以DaemonSet形式在Kubernetes集群的各个节点上部署采集容器；
[0013]启动所述采集容器中的Fluent
‑
bit程序以采集和转发所述节点上产生的日志数据；
[0014]在所述Kubernetes集群的服务端配置Fluentd组件以接收不同节点的Fluent
‑
bit程序转发的日志数据。
[0015]在一些实施例中，所述监控所述采集容器的运行状态以获取多个节点日志数据集
包括：
[0016]依据监控工具获取所述采集容器的运行状态；
[0017]基于所述运行状态启动Fluent
‑
bit程序以采集各节点上产生的日志数据获得多个节点初始日志数据集；
[0018]基于所述监控工具对各节点初始日志数据集中的异常日志数据进行筛选获得多个节点日志数据集。
[0019]在一些实施例中，所述基于所述运行状态启动Fluent
‑
bit程序以采集各节点上产生的日志数据获得多个节点初始日志数据集，包括：
[0020]依据固定周期检测所述节点的预设目录下的日志文件是否更新，所述预设目录下的日志文件用于存储所述节点上产生的日志数据；
[0021]当所述节点的预设目录下的日志文件更新时，则所述运行状态为日志更新，此时启动Fluent
‑
bit程序对预设目录下的日志文件中新增的日志数据进行采集。
[0022]在一些实施例中，所述将所有的节点日志数据集聚合后缓存至服务端的本地磁盘中获得集群日志文件包括：
[0023]基于所述Fluentd组件聚合所有的节点日志数据集；
[0024]统一聚合后的所有节点日志数据集的日志数据格式；
[0025]将统一日志数据格式的所有节点日志数据集以文件形式缓存至服务端的本地磁盘中获得集群日志文件。
[0026]在一些实施例中，所述压缩所述集群日志文件并发送至集群数据库中进行存储获得确认返回值包括：
[0027]依据文件压缩工具压缩所述集群日志文件获得集群日志压缩文件；
[0028]将所述集群日志压缩文件划分为多个由固定数量的日志数据组成的数据包；
[0029]以http请求的方式将所有的数据包依次发送至集群数据库中进行存储，并获得所述集群数据库每次发送的确认返回值。
[0030]在一些实施例中，所述基于所述确认返回值对所述服务端的本地磁盘中缓存的集群日志数据集进行删除包括：
[0031]判断所述确认返回值与预设的存储确认返回值是否一致；
[0032]若所述确认返回值与预设的存储确认返回值一致，说明存储成功，将所述服务端的本地磁盘内缓存的集群日志数据集中已经存储成功的数据进行删除；
[0033]若所述确认返回值与预设的存储确认返回值不一致，说明存储失败，则将当前存储失败的数据包持续发送至集群数据库中进行存储，直到存储成功为止。
[0034]本申请实施例还提供一种基于云计算的集群日志收集装置，所述装置包括部署模块、监控模块、聚合模块、存储模块以及删除模块：
[0035]所述部署模块，用于在Kubernetes集群的各个节点上部署采集容器，所述采集容器用于采集所述节点上的日志数据；
[0036]所述监控模块，用于监控所述采集容器的运行状态以获取多个节点日志数据集；
[0037]所述聚合模块，用于将所有的节点日志数据集聚合后缓存至服务端的本地磁盘中获得集群日志文件；
[0038]所述存储模块，用于压缩所述集群日志文件并发送至集群数据库中进行存储获得
确认返回值；
[0039]所述删除模块，用于基于所述确认返回值对所述服务端的本地磁盘中缓存的集群日志数据集进行删除。
[0040]本申请实施例还提供一种电子设备，所述电子设备包括：
[0041]存储器，存储至少一个指令；
[0042]处理器，执行所述存储器中存储的指令以实现所述的基于云计算的集群日志收集方法。
[0043]本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述的基于云计算的集群日志收集方法。
[0044]本申请通过在Kubernetes集群的各个节点上部署采集容器，并实时监控各采集容器的运行状态来及时获取Kubernetes集群中的日志数据，然后通过服务端的本地磁盘实现对采集到的日志数据的聚合及缓存，最终能够在将日志数据发送至集群数据库中进行存储后对所述服务端的本地磁盘中缓存的日志数据进行删除，从而减少由于日志数据量过大导致的系统资源被过多占用的情况，保证k8s集群的正常运行，进本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于云计算的集群日志收集方法，其特征在于，所述方法包括：在Kubernetes集群的各个节点上部署采集容器，所述采集容器用于采集所述节点上的日志数据；监控所述采集容器的运行状态以获取多个节点日志数据集；将所有的节点日志数据集聚合后缓存至服务端的本地磁盘中获得集群日志文件；压缩所述集群日志文件并发送至集群数据库中进行存储获得确认返回值；基于所述确认返回值对所述服务端的本地磁盘中缓存的集群日志数据集进行删除。2.如权利要求1所述的基于云计算的集群日志收集方法，其特征在于，所述在Kubernetes集群的各个节点上部署采集容器包括：以DaemonSet形式在Kubernetes集群的各个节点上部署采集容器；启动所述采集容器中的Fluent
‑
bit程序以采集和转发所述节点上产生的日志数据；在所述Kubernetes集群的服务端配置Fluentd组件以接收不同节点的Fluent
‑
bit程序转发的日志数据。3.如权利要求2所述的基于云计算的集群日志收集方法，其特征在于，所述监控所述采集容器的运行状态以获取多个节点日志数据集包括：依据监控工具获取所述采集容器的运行状态；基于所述运行状态启动Fluent
‑
bit程序以采集各节点上产生的日志数据获得多个节点初始日志数据集；基于所述监控工具对各节点初始日志数据集中的异常日志数据进行筛选获得多个节点日志数据集。4.如权利要求3所述的基于云计算的集群日志收集方法，其特征在于，所述基于所述运行状态启动Fluent
‑
bit程序以采集各节点上产生的日志数据获得多个节点初始日志数据集，包括：依据固定周期检测所述节点的预设目录下的日志文件是否更新，所述预设目录下的日志文件用于存储所述节点上产生的日志数据；当所述节点的预设目录下的日志文件更新时，则所述运行状态为日志更新，此时启动Fluent
‑
bit程序对预设目录下的日志文件中新增的日志数据进行采集。5.如权利要求2所述的基于云计算的集群日志收集方法，其特征在于，所述将所有的节点日志数据集聚合后缓存至服务端的本地磁盘中获得集群日志文件包括：基于所述Fluentd组件聚合所有的节点日志数据...
【专利技术属性】
技术研发人员：冯洋，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。