基于容器平台的日志聚合方法及装置制造方法及图纸

技术编号:24251423 阅读:99 留言:0更新日期:2020-05-22 23:30
本发明专利技术公开了一种基于容器平台的日志聚合方法及装置,所述方法应用于基于容器平台实现的集群中,所述集群包括至少一个节点,所述方法包括:采集每个节点的日志数据,压缩打包并附加标识信息后发送给每个日志处理单元;每个日志处理单元根据所述标识信息,处理对应自身处理级别的日志数据压缩包,得到待聚合的日志数据;日志聚合单元根据待聚合的日志数据中定位标识,将来自不同日志处理单元且属于相同应用的待聚合的日志数据进行聚合,得到聚合日志数据;对所述聚合日志数据进行分类存储以供调用访问。本发明专利技术实施例提供的基于容器平台的日志聚合方法及装置,能够降低了容器平台的运维成本,提高了容器平台的可用性以及拓展性。

Method and device of log aggregation based on container platform

【技术实现步骤摘要】
基于容器平台的日志聚合方法及装置
本专利技术涉及计算机
,尤指一种基于容器平台的日志聚合方法及装置。
技术介绍
随着容器技术的不断发展,容器化的应用带来了越来越多实际好处。相较于传统应用,容器化的应用容易自动化部署、可以在同一环境同时运行多个实例而互不影响、新版本自动化升级发布、更少的外部环境依赖以及易于横向延展以应对流量高峰情况,因此越来越多的企业开始发展容器技术,将更多的IT服务进行容器化改造。与此同时,针对急剧增长的容器运行需求,容器治理技术应用而生,经过多年的发展与竞争,Kubernetes成为容器治理平台的业界事实标准。Kubernetes通过容器运行状态探针来保证容器的平稳运行,同时通过调度算法来保证集群的负载均衡。Kubernetes不仅可以使容器应用根据实时负载情况进行动态延展保证服务稳定,也提供了容器应用的灰度发布能力,大大提高了集群的使用效率同时降低了企业的运维成本。Kubernetes提供的容器编排治理能力能有效保证运行在其上的应用层服务的负载性能稳定,但同时也会带来一些影响。第一是部署应用的影响,在本文档来自技高网...

【技术保护点】
1.一种基于容器平台的日志聚合方法,其特征在于,所述方法应用于基于容器平台实现的集群中,所述集群包括至少一个节点,所述方法包括:/n采集每个节点的日志数据,压缩打包并附加标识信息后发送给每个日志处理单元;/n每个日志处理单元根据所述标识信息,处理对应自身处理级别的日志数据压缩包,得到待聚合的日志数据;/n日志聚合单元根据待聚合的日志数据中定位标识,将来自不同日志处理单元且属于相同应用的待聚合的日志数据进行聚合,得到聚合日志数据;/n对所述聚合日志数据进行分类存储以供调用访问。/n

【技术特征摘要】
1.一种基于容器平台的日志聚合方法,其特征在于,所述方法应用于基于容器平台实现的集群中,所述集群包括至少一个节点,所述方法包括:
采集每个节点的日志数据,压缩打包并附加标识信息后发送给每个日志处理单元;
每个日志处理单元根据所述标识信息,处理对应自身处理级别的日志数据压缩包,得到待聚合的日志数据;
日志聚合单元根据待聚合的日志数据中定位标识,将来自不同日志处理单元且属于相同应用的待聚合的日志数据进行聚合,得到聚合日志数据;
对所述聚合日志数据进行分类存储以供调用访问。


2.根据权利要求1所述的方法,其特征在于,所述采集每个节点的日志数据,包括:
采集每个节点的应用级别日志数据和系统级别日志数据;
当所述节点为管理节点时,还包括采集管理节点的事件级别日志数据。


3.根据权利要求1所述的方法,其特征在于,所述压缩打包并附加标识信息后发送给每个日志处理单元,包括:
压缩打包,并附加包括采集时间戳、节点名称和所属级别的标识信息后发送给每个日志处理单元。


4.根据权利要求1所述的方法,其特征在于,所述日志处理单元的处理级别包括事件级别、应用级别以及系统级别;
相应地,所述每个日志处理单元根据所述标识信息,处理对应自身处理级别的日志数据压缩包,得到待聚合的日志数据,包括:
每个日志处理单元根据所述标识信息中的所属级别,解压缩对应自身处理级别的日志数据压缩包并进行解析,得到携带有定位标识的带聚合的日志数据,所述定位标识包括应用名称以及容器运行池POD名称。


5.根据权利要求1所述的方法,其特征在于,所述将来自不同日志处理单元且属于相同应用的待聚合的日志数据进行聚合,得到聚合日志数据,包括:
将来自不同日志处理单元且属于相同应用的带聚合的日志数据进行聚合,得到携带有格式为namespaceid_resourceid_level的聚合标识的聚合日志数据。


6.一种基于容器平台的日志聚合装置,其特征在于,所述装置应用于容器平台...

【专利技术属性】
技术研发人员:赖新明邓应强舒南飞王志刚林文辉
申请(专利权)人:航天信息股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1