一种应用于多资源池的日志处理方法技术

技术编号:40949088 阅读:15 留言:0更新日期:2024-04-18 20:23
本发明专利技术公开了一种应用于多资源池的日志处理方法,满足公有云场景下用户对租户中计算资源日志的采集、检索、告警需求;解决中心化采集方式带来的网络、存储、计算瓶颈,提示网络、计算、存储的资源利用率,提升用户的采集、检索体验;减少多资源池采集、检索告警场景中的交维问题,避免各资源池的繁琐配置,不好维护问题,同时可以资源池扩充的简单性;架构设计的低耦合性,可维护性。

【技术实现步骤摘要】

本专利技术涉及云计算的,尤其涉及一种应用于多资源池的日志处理方法


技术介绍

1、日志采集是指将分散在不同服务器、不同进程、不同文件等不同来源的日志信息,收集到一个中心化的日志系统中进行统一管理和分析,日志检索是指根据关键字、时间范围等条件在已经采集和存储在中心化日志系统中的日志中进行搜索和查找,日志告警是指根据事先定义的规则和条件,在中心化日志系统中检测到异常情况并触发告警通知。

2、传统的中心化日志采集、检索、告警,业界已经有较成熟的方案。然而,在云计算,尤其是公有云场景中,用户购买的服务往往是分部在不同的资源池,比如用户会选择离自己所处位置近一点的资源池以享受更快捷的网络服务,如何将分部在不同资源池的日志进行采集、检索、告警,以满足用户对部署在容器、虚拟机等计算资源中的日志需求,是公有云日志服务的核心诉求,按照传统的中心化的日志采集方式,将所有资源池的所有日志采集到中心化的计算、存储资源中进行管理,有以下缺点:

3、(1)日志数据是一种文档类型的数据,数据量是pb级别,通过网络io,传输到中心化的节点,又要保证日志采集的实时性本文档来自技高网...

【技术保护点】

1.一种应用于多资源池的日志处理方法,其特征在于:处理方法如下:

2.根据权利要求1所述的一种应用于多资源池的日志处理方法,其特征在于:所述多资源池的日志采集、检索、告警方法是一种大区化的日志服务架构。

3.根据权利要求2所述的一种应用于多资源池的日志处理方法,其特征在于:所述日志服务架构包括大区和资源池,所述大区是一种逻辑的概念,大区会根据地理以及计算、存储网络资源,对资源池进行逻辑上的纳管,所述日志服务负责采集,所述大区有a、b、c,资源池为a1、a2隶属于大区a,资源池b1、b2、b3隶属于大区b,资源池c1、c2隶属于大区c,在每一个逻辑大区中,选择一个资...

【技术特征摘要】

1.一种应用于多资源池的日志处理方法,其特征在于:处理方法如下:

2.根据权利要求1所述的一种应用于多资源池的日志处理方法,其特征在于:所述多资源池的日志采集、检索、告警方法是一种大区化的日志服务架构。

3.根据权利要求2所述的一种应用于多资源池的日志处理方法,其特征在于:所述日志服务架构包括大区和资源池,所述大区是一种逻辑的概念,大区会根据地理以及计算、存储网络资源,对资源池进行逻辑上的纳管,所述日志服务负责采集,所述大区有a、b、c,资源池为a1、a2隶属于大区a,资源池b1、b2、b3隶属于大区b,资源池c1、c2隶属于大区c,在每一个逻辑大区中,选择一个资源池作为日志服务的管理节点,比如a1,b1,c1来部署日志服务,同时大区a作为管理大区,会作为我们日志服务的web入口,并且会存放日志服务的元信息数据。

4.根据权利要求3所述的一种应用于多资源池的日志处理方法,其特征在于:所述日志服务包括log-agent模块和log-gateway模块,所述log-agent模块部署在所有资源池的物理机、k8s宿主机节点,上报日志,所述log-gateway模块作为日志采集的中继,负责将log-agent采集到的日志写入大区中的消息队列中间件,如kafka,部署在每个大区的管理节点a1,b1,c1。

5.根据权利要求4所述的一种应用于多资源池的日志处理方法,其特征在于:所述日志服务还包括log-web模块和log-api模块,所述log-web模块作为日志服务的前端服务,部署在大区a的资源池a1中,所述log-api模块作为日志服务后端的api网关,负责管理大区与业务大区之间的路由,部署在大区a的...

【专利技术属性】
技术研发人员:杨阳王翔宇张志华闫明彭晓君崔任东
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1