日志处理设备、方法、电子设备及计算机可读存储介质技术

本公开提供了一种日志处理设备，包括：日志采集装置，用于采集一个或多个应用的日志数据，日志缓存装置，用于将来自日志采集装置的日志数据缓存至缓存集群，并监控所述缓存集群的存储资源使用情况，以及控制调度装置，用于在根据日志缓存装置监控的缓存集群的存储资源使用情况，确定对缓存集群进行扩容的情况下，向日志缓存装置发送扩容指令，接收来自日志缓存装置扩容后的缓存集群的集群信息，以及向日志采集装置发送扩容后的缓存集群的集群信息。本公开还提供了一种日志处理方法、一种电子设备及一种计算机可读存储介质。本公开可以在不干扰应用容器运行的情况下，实现了日志缓存层的负载均衡自适应调整及日志采集层的负载动态调整。

Log processing equipment, method, electronic equipment and computer readable storage medium

【技术实现步骤摘要】
日志处理设备、方法、电子设备及计算机可读存储介质
本公开涉及互联网
，更具体地，涉及一种日志处理设备、一种日志处理方法、一种电子设备及一种计算机可读存储介质。
技术介绍
随着云平台技术的不断成熟和大规模推广使用，越来越多的开发者将应用及其所依赖的环境打包到容器中运行，而日志作为记录容器运行状态的重要信息，得到了人们越来越多的重视。集中式容器日志采集存储架构主要包含日志采集层、日志缓存层、日志消费层和日志存储层四个部分。随着容器数目的持续增多，缓存层、消费层和存储层需横向扩展为多个集群才能满足爆发式增长的日志采集需求。集中式容器日志采集架构主要包含日志采集层、日志缓存层两个部分。随着容器数目的持续增多，缓存层需横向扩展为多个集群才能满足爆发式增长的日志采集需求。在目前的日志采集架构下，日志采集容器通常需要重新生成才能加载最新配置，导致编排在一起的应用容器也需一同重启，影响了业务连续性和用户感知。
技术实现思路
本公开提供了一种日志处理设备、一种日志处理方法、一种电子设备及一种计算机可读存储介质，以解决现有容器日志采集容器需要重新生成才能加载最新配置而影响了业务连续性和用户感知的问题。本文档来自技高网...

【技术保护点】
1.一种日志处理设备，包括：日志采集装置，用于采集一个或多个应用的日志数据；日志缓存装置，用于将来自所述日志采集装置的日志数据缓存至缓存集群，并监控所述缓存集群的存储资源使用情况；以及控制调度装置，用于：在根据所述日志缓存装置监控的缓存集群的存储资源使用情况，确定对所述缓存集群进行扩容的情况下，向所述日志缓存装置发送用于对所述缓存集群进行扩容的扩容指令；接收来自所述日志缓存装置扩容后的缓存集群的集群信息；以及向所述日志采集装置发送所述扩容后的缓存集群的集群信息。

【技术特征摘要】
1.一种日志处理设备，包括：日志采集装置，用于采集一个或多个应用的日志数据；日志缓存装置，用于将来自所述日志采集装置的日志数据缓存至缓存集群，并监控所述缓存集群的存储资源使用情况；以及控制调度装置，用于：在根据所述日志缓存装置监控的缓存集群的存储资源使用情况，确定对所述缓存集群进行扩容的情况下，向所述日志缓存装置发送用于对所述缓存集群进行扩容的扩容指令；接收来自所述日志缓存装置扩容后的缓存集群的集群信息；以及向所述日志采集装置发送所述扩容后的缓存集群的集群信息。2.根据权利要求1所述的设备，其中，所述日志采集装置包括：负载重新分配单元，用于接收由所述控制调度装置发送的所述扩容后的缓存集群的集群信息，并调用负载均衡单元；以及所述负载均衡单元，用于根据所述扩容后的缓存集群的集群信息和所述日志缓存装置的容器启动特征信息，确定采集的日志数据在所述缓存集群中的缓存地址。3.根据权利要求1或2所述的设备，其中，所述日志采集装置还包括：采集编排单元，用于确定日志采集路径、日志解析格式、日志编码格式以及对外暴露所述日志采集容器自身的调用端口。4.根据权利要求3所述的设备，其中，所述日志采集装置还包括：配置生成单元，用于根据所述负载均衡单元和所述采集编排单元提供的信息，生成配置文件。5.根据权利要求4所述的设备，其中，所述日志缓存装置包括：数据缓存单元，用于缓存所述日志采集装置发送的日志数据；以及监控报警单...

【专利技术属性】
技术研发人员：任政，李彤，沈震宇，白佳乐，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京,11