一种云平台日志处理方法及系统技术方案

本申请公开了一种云平台日志处理方法及系统，该方法包括：将云平台中任一微服务组件的日志处理过程定义为一条流水线，并在任一流水线上按照日志处理过程添加多个处理节点，且任一处理节点可设置于不同的流水线中；扫描云平台中的所有流水线，获取流水线信息；根据流水线信息，执行任一流水线，输出任一流水线中所有处理节点的处理结果。该系统包括：流水线和处理节点定义模块、扫描模块以及执行模块。通过本申请，能够有效提高日志处理的灵活性，提高日志系统之间的兼容性和适应性。提高日志系统之间的兼容性和适应性。提高日志系统之间的兼容性和适应性。

【技术实现步骤摘要】
一种云平台日志处理方法及系统


[0001]本申请涉及日志处理
，特别是涉及一种云平台日志处理方法及系统。

技术介绍

[0002]随着信息技术的发展，电子化信息系统越来越向微服务和分布式的方向发展。相应地，微服务和分布式的电子化信息系统虽然能够应对用户复杂的需求，但同时也给运维带来更大的挑战，尤其是系统出现问题的时候，运维人员需要根据系统的日志快速定位问题，这就需要集中式的日志存储平台收集各个微服务组件的日志，并对其进行统一管理。因此，如何集中式日志存储平台上的日志进行管理是个重要的技术问题。
[0003]目前，集中式日志存储平台的一般处理过程是日志采集、日志处理、日志存储和日志展示。日志从微服务系统的组件打印出来之后，可能打印到系统的控制台或者存储到系统的某个文件中，也有可能打印到journal系统中或系统日志中。而且各个微服务组件打印的日志格式各种各样。处理完成之后的日志很有可能要存储到不同的地方，比如有的系统需要发送到消息队列中，有的需要存储到文件中，有的需要存到数据库中等等，很多日志系统针对特定系统的特定需求开发。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种云平台日志处理方法，其特征在于，所述方法包括：将云平台中任一微服务组件的日志处理过程定义为一条流水线，并在任一流水线上按照日志处理过程添加多个处理节点，且任一处理节点可设置于不同的流水线中；扫描云平台中的所有流水线，获取流水线信息，所述流水线信息包括：流水线总数量、流水线编号、任一流水线中处理节点的数量以及每个处理节点在所述任一流水线中对应的节点函数；根据所述流水线信息，执行任一流水线，输出所述任一流水线中所有处理节点的处理结果。2.根据权利要求1所述的一种云平台日志处理方法，其特征在于，根据所述流水线信息，执行任一流水线，输出所述任一流水线中所有处理节点的处理结果的方法，包括：定义任一流水线上的多个处理节点包括：第一处理节点、第二处理节点
……
直到第N处理节点，其中，N为处理节点的数量，且N≥2；所述第一处理节点采集当前日志，并将当前日志封装为一个整体处理结构ELEMENT输出至第二处理节点，所述ELEMENT的元素包括：日志输出时间、当前流水线的流水线编号以及json格式的解析结果；当前处理节点对上一个处理节点输出的ELEMENT进行解析，获取解析结果并输出至下一个处理节点；第N处理节点输出第N
‑
1节点的解析结果。3.根据权利要求2所述的一种云平台日志处理方法，其特征在于，所述当前处理节点对上一个处理节点输出的ELEMENT进行解析，获取解析结果并输出至下一个处理节点，包括：当前处理节点对所有流水线编号进行筛选，获取所述任一流水线的流水线编号；根据所述当前处理节点在所述任一流水线中对应的节点函数和所述任一流水线的流水线编号，修改上一个处理节点的解析结果内容，获取所述当前处理节点的解析结果；将所述日志输出时间、流水线编号以及当前处理节点的解析结果，输出至下一个处理节点。4.根据权利要求...

【专利技术属性】
技术研发人员：贾思瑞，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：