管理日志的方法、装置和存储介质制造方法及图纸

本发明专利技术提供一种管理日志的方法、装置和存储介质。该方法包括：采集步骤，采集多个容器的多个日志和与所述多个日志分别一一对应的多个第一标签，每个第一标签包含多个标签项；过滤步骤，对所述多个日志中的每个日志的所述第一标签项进行过滤，得到所述多个日志和与所述多个日志分别一一对应的多个第二标签，每个第二标签包含所述多个标签项中的部分标签项；自定义步骤，根据自定义标签项，从所述多个日志中取出所述第二标签包含所述自定义标签项的部分日志。

【技术实现步骤摘要】
管理日志的方法、装置和存储介质
本专利技术涉及管理日志的方法、装置和存储介质。
技术介绍
Kubernetes(k8s)是一种容器管理系统，越来越多的应用将通过Kubernetes以容器的方式在开发、测试和生产环境中运行。Kubernetes让管理大规模的容器变得容易，但是它也有很陡峭的学习曲线。为了解决Kubernetes的管理问题，目前有很多的产品和服务推出：AWS、Azure、Google、UCloud、阿里云、腾讯云等主流公有云提供的是基于Kubernetes的容器服务。无论你采用何种方式管理基于Kubernetes的容器集群，一个基础的需求是：当出现问题的时候，要有有效的容器日志分析功能，帮助快速定位问题的根源，发现数据价值，提高工作效率。面对像Kubernetes这样的基础架构，整个容器集群上面运行着指数级增长的容器应用，容器日志必须要做集中处理和打标签才能有效分析。目前,针对Kubernetes的日志收集有许多种开源方案，Kubernetes官方提供了一个Elasticsearch附加组件来实现容器集群的日志管理。另外，还有一种基于Filebeat来自动收集Kubernetes管理的容器的日志的分析系统，通过运行在节点上的Filebeat收集日志，并汇总到统一的Redis集群中。然而，上述的日志解决方案都是基于单用户需求的，并没有考虑到Kubernetes可以是面向多个不同用户的，如果用户想自定义日志服务，做日志数据挖掘、监测日志，或者使用不同的可视化日志工具，那么上述的日志解决方案都不能满足用户的需求。同时上述日志解决方案都没有做日志监测，没有通知Kubernetes管理员的机制，这将给Kubernetes系统的稳定性带来风险。
技术实现思路
本专利技术提供一种管理日志的方法，该方法包括：采集步骤，采集多个容器的多个日志和与所述多个日志分别一一对应的多个第一标签，每个第一标签包含多个标签项；过滤步骤，对所述多个日志中的每个日志的所述第一标签项进行过滤，得到所述多个日志和与所述多个日志分别一一对应的多个第二标签，每个第二标签包含所述多个标签项中的部分标签项；自定义步骤，根据自定义标签项，从所述多个日志中取出所述第二标签包含所述自定义标签项的部分日志。其中，所述多个标签项包括管理所述多个容器的系统的一个以上的系统标签项以及用户添加的一个以上的用户标签项。其中，所述部分标签项是所述用户关心的标签项，包括所述一个以上的用户标签项和所述一个以上的系统标签项中的部分系统标签项。其中，所述过滤步骤进一步包括：根据所述第二标签中的预定标签项，对所述多个日志进行分类，得到分类后的多个日志。其中，所述方法进一步包括：存储步骤，存储所述分类后的多个日志。其中，所述方法进一步包括：监测步骤，对存储的所述分类后的多个日志进行监测，当监测到预定出错条件时，发出预警。本专利技术还提供一种管理日志的装置，该装置包括多个容器并且包括：一个以上的采集单元，采集所述多个容器的多个日志和与所述多个日志分别一一对应的多个第一标签，每个第一标签包含多个标签项；过滤单元，对所述多个日志中的每个日志的所述第一标签项进行过滤，得到所述多个日志和与所述多个日志分别一一对应的多个第二标签，每个第二标签包含所述多个标签项中的部分标签项；自定义单元，根据自定义标签项，从所述多个日志中取出所述第二标签包含所述自定义标签项的部分日志。其中，所述多个标签项包括管理所述多个容器的系统的一个以上的系统标签项以及用户添加的一个以上的用户标签项。其中，所述部分标签项是所述用户关心的标签项，包括所述一个以上的用户标签项和所述一个以上的系统标签项中的部分系统标签项。其中，所述过滤单元根据所述第二标签中的预定标签项，对所述多个日志进行分类，得到分类后的多个日志。其中，所述装置进一步包括：存储单元，存储所述分类后的所述多个日志。其中，所述装置进一步包括：监测单元，对存储的所述分类后的所述多个日志进行监测，当监测到预定出错条件时，发出预警。其中，所述一个以上的采集单元中每个采集单元采集与其处于同一物理机中的容器的日志和标签。本专利技术还提供一种非易失性存储介质，在所述非易失性存储介质上存储有管理日志的程序，所述程序被计算机执行以实现管理日志的方法，该程序包括：采集指令，采集多个容器的多个日志和与所述多个日志分别一一对应的多个第一标签，每个第一标签包含多个标签项；过滤指令，对所述多个日志中的每个日志的所述多个标签项进行过滤，得到所述多个日志和与所述多个日志分别一一对应的多个第二标签，每个第二标签包含所述多个标签项中的部分标签项；自定义指令，根据自定义标签项，从所述多个日志中取出所述部分标签项包含所述自定义标签项的部分日志。通过本专利技术，不同的用户可以通过自定义的方式获取自定义日志服务，同时还可以确保系统的稳定性。附图说明图1是根据本专利技术第一实施例的管理日志的装置的结构图；图2是根据本专利技术第一实施例的管理日志的方法的流程图；图3是根据本专利技术第二实施例的管理日志的装置的结构图；图4是根据本专利技术第二实施例的管理日志的方法的流程图。具体实施方式下面结合附图，对本专利技术的实施例进行详细说明。第一实施例图1是根据本专利技术第一实施例的管理日志的装置1a的结构图。如图1所示，该装置1a包括多个容器101a、101b、101c、一个以上的采集单元102a、102b、过滤单元103和自定义单元104。为了示例，图1中只显示了容器101a、101b、101c和采集单元102a、102b，但是容器和采集单元的个数可以是任意个，而不受限制。本例中，容器101a、101b和采集单元102a位于同一台物理机(例如，图未视的物理机a)中，容器101c和采集单元102b位于同一台物理机(例如，图未视的物理机b)中。图2是根据本专利技术第一实施例的管理日志的方法的流程图，下面结合图1和图2具体说明本专利技术的第一实施例。在采集步骤S21，采集单元102a、102b采集容器101a、101b、101c的3个日志loga、logb、logc和与3个日志分别一一对应的3个第一标签Ma、Mb、Mc，每个第一标签包含多个标签项。其中，每个采集单元采集与其在同一物理机上的容器的日志和标签。例如，采集单元102a采集与其在同一物理机上的容器101a的日志loga、第一标签Ma以及容器102b的日志logb、第一标签Mb；采集单元102b采集与其在同一物理机上的容器101c的日志logc、第一标签Mc。其中，每个第一标签包含多个标签项，多个标签项包括管理容器101a、101b、101c的系统的一个以上的系统标签项以及用户添加的一个以上的用户标签项。该系统例如是现有的k8s系统，一个以上的系统标签项例如是命名空间(namespace)、时间等等，一个以上的用户标签项例如是应用名称等等。其中，该装置1a还包括应用程序接口服务器(APIserver)107，在APIserver107上存储有与每个容器的标识符(ID)对应的第一标签。采集单元102a采集容器101a的日志loga、IDa以及容器102b的日志logb、IDb，采集单元102b采集容器101c的日志logc、IDc。采集单元102a将IDa、IDb发送给APIserver107，并本文档来自技高网...

【技术保护点】
1.一种管理日志的方法，其特征在于，所述方法包括：采集步骤，采集多个容器的多个日志和与所述多个日志分别一一对应的多个第一标签，每个第一标签包含多个标签项；过滤步骤，对所述多个日志中的每个日志的所述第一标签项进行过滤，得到所述多个日志和与所述多个日志分别一一对应的多个第二标签，每个第二标签包含所述多个标签项中的部分标签项；自定义步骤，根据自定义标签项，从所述多个日志中取出所述第二标签包含所述自定义标签项的部分日志。

【技术特征摘要】
1.一种管理日志的方法，其特征在于，所述方法包括：采集步骤，采集多个容器的多个日志和与所述多个日志分别一一对应的多个第一标签，每个第一标签包含多个标签项；过滤步骤，对所述多个日志中的每个日志的所述第一标签项进行过滤，得到所述多个日志和与所述多个日志分别一一对应的多个第二标签，每个第二标签包含所述多个标签项中的部分标签项；自定义步骤，根据自定义标签项，从所述多个日志中取出所述第二标签包含所述自定义标签项的部分日志。2.如权利要求1所述的方法，其特征在于，所述多个标签项包括管理所述多个容器的系统的一个以上的系统标签项以及用户添加的一个以上的用户标签项。3.如权利要求2所述的方法，其特征在于，所述部分标签项是所述用户关心的标签项，包括所述一个以上的用户标签项和所述一个以上的系统标签项中的部分系统标签项。4.如权利要求1-3中任一项所述的方法，其特征在于，所述过滤步骤进一步包括：根据所述第二标签中的预定标签项，对所述多个日志进行分类，得到分类后的多个日志。5.如权利要求4所述的方法，其特征在于，所述方法进一步包括：存储步骤，存储所述分类后的多个日志。6.如权利要求5所述的方法，其特征在于，所述方法进一步包括：监测步骤，对存储的所述分类后的多个日志进行监测，当监测到预定出错条件时，发出预警。7.一种管理日志的装置，其特征在于，所述装置包括多个容器并且包括：一个以上的采集单元，采集所述多个容器的多个日志和与所述多个日志分别一一对应的多个第一标签，每个第一标签包含多个标签项；过滤单元，对所述多个日志中的每个日志的所述第一标签项进行过滤，得到所述多个日志和与所述多个日志分别一一对应的多个第二标签，每个第二标签包含所述多个标签...

【专利技术属性】
技术研发人员：舒梦辉，高鹏，张苗磊，叶理灯，
申请(专利权)人：优刻得科技股份有限公司，
类型：发明
国别省市：上海,31