基于链路追踪的服务链日志处理方法、装置和计算机设备制造方法及图纸

本申请揭示了一种基于链路追踪的服务链日志处理方法、装置和计算机设备，其中方法包括：分别对服务链中不同应用进群进行日志数据采集，得到对应的日志数据；对所述日志数据进行格式标准化，得到标准格式的日志数据；通过Kafka中间件将所述标准格式的日志数据全量存储到Hbase数据库中；对数据进行分析处理，得到检索索引数据和统计分析数据；将所述检索索引类数据存入ES集群；将所述统计分析数据存入关系数据库MySQL。本申请通过对日志数据进行采集和数据格式标准化，然后对日志数据进行分析处理，将不同数据类型的日志数据储存在不同的数据库中，能够使运维人员快速识别关键节点数据，根据日志数据中的参数实现服务监控，提高运维效率。

【技术实现步骤摘要】
基于链路追踪的服务链日志处理方法、装置和计算机设备
本申请涉及到通信
，特别是涉及到一种基于链路追踪的服务链日志处理方法、装置和计算机设备。
技术介绍
近年来，微服务架构因其服务间松耦合、可由不同团队不同语言开发以及快速独立部署等特点备受青睐，越来越多企业选择微服务架构进行系统开发或将传统集中式大型系统进行微服务化改造。微服务架构满足了企业对软件系统敏捷开发、高效运转、可伸缩性强等需求，但微服务架构带来的问题也不容忽视。传统的监控系统、日志分析系统都是孤立的，针对当前分布式系统场景，没办法做到全链路层面的日志追踪。同时由于传统的监控系统，无法清晰监控一个业务流程经过的每一个环节、每个服务的执行时长、执行状态、过程参数、上下游服务等信息，导致运维人员处理分布式系统故障时比较困难，需要花费大量时间来理清各服务间调用关系，而且容易出错，使得整体的运维工作效率较低。
技术实现思路
本申请的主要目的为提供一种基于链路追踪的服务链日志处理方法、装置和计算机设备，旨在解决如何实现在分布式微服务系统中实现日志处理、提高运维效率的技术问题。为了实现上述专利技术目的，本申请提出一种基于链路追踪的服务链日志处理方法，包括：分别对服务链中不同应用进群进行日志数据采集，得到对应的日志数据；对所述日志数据进行格式标准化，得到标准格式的日志数据；通过Kafka中间件将所述标准格式的日志数据全量存储到Hbase数据库中；对Kafka中间件中的日志数据进行流处理，得到检索索引数据和统计分析数据；将所述检索索引类数据存入ES集群；将所述统计分析数据存入关系数据库MySQL。进一步地，所述分别对服务链中不同应用进群进行日志数据采集，得到对应的日志数据步骤，包括：通过业务代码调用应用集群的日志输出接口进行日志采集。进一步地，所述分别对服务链中不同应用进群进行日志数据采集，得到对应的日志数据步骤，包括：通过代理Agent实现在不同应用集群的日志埋点，对服务调用过程切面进行拦截，捕获日志数据，完成数据采集。进一步地，所述对所述日志数据进行格式标准化，得到标准格式的日志数据的步骤包括：根据调用链路径关系确定TraceID、SpanID、ParentID，得到日志基本属性；根据调用业务类型确定日志扩展属性；将所述日志基本属性和所述日志扩展属性按照预设的格式保存为所述标准格式的日志数据。进一步地，所述将所述统计分析数据存入关系数据库MySQL的步骤之后还包括：接收来自WEB端的日志查询操作指令；根据所述日志查询操作指令判断所查询的日志数据类型；根据所述日志数据类型在对应的数据库中进行日志数据查询，得到查询结果；将所述查询结果发送到WEB端进行展示。进一步地，所述将所述查询结果发送到WEB端进行展示的步骤包括：根据业务需求，按照服务调用顺序排序进行日志展示，同一个服务调用内产生的日志进一步按时间排序；对于同一业务请求类型，将同一请求类型的不同调用链进行对比；将较长的调用链按其内部服务间的连接关系进行分段，使用预设的聚类算法对该服务调用网络图进行子图划分，使处于同一子图内的服务间连接紧密，不同子图间的服务连接稀疏。进一步地，所述通过Kafka中间件将所述标准格式的日志数据全量存储到Hbase数据库中的步骤之后还包括：对所述标准格式的日志数据进行错误和异常分析；若发现日志错误或日志异常，则向预设的预警信息接收地址发送预警信息。本申请实施例还提供一种基于链路追踪的服务链日志处理装置，包括：采集模块，用于分别对服务链中不同应用进群进行日志数据采集，得到对应的日志数据；标准化模块，用于对所述日志数据进行格式标准化，得到标准格式的日志数据；Kafka模块，用于通过Kafka中间件将所述标准格式的日志数据全量存储到Hbase数据库中；分析处理模块，用于对Kafka中间件中的日志数据进行流处理，得到检索索引数据和统计分析数据；第一执行模块，用于将所述检索索引类数据存入ES集群；第二执行模块，用于将所述统计分析数据存入关系数据库MySQL。本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。本申请的基于链路追踪的服务链日志处理方法、装置和计算机设备，通过对日志数据进行采集和数据格式标准化，然后对日志数据进行分析处理，将不同数据类型的日志数据储存在不同的数据库中，能够使运维人员快速识别关键节点数据，根据日志数据中的参数实现服务监控，提高运维效率。附图说明图1为本申请一实施例的基于链路追踪的服务链日志处理方法的流程示意图；图2为本申请一实施例的基于链路追踪的服务链日志处理装置的结构示意框图；图3为本申请一实施例的计算机设备的结构示意框图。本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。参照图1，本申请实施例中提供一种基于链路追踪的服务链日志处理方法，包括步骤：S1、分别对服务链中不同应用进群进行日志数据采集，得到对应的日志数据；S2、对所述日志数据进行格式标准化，得到标准格式的日志数据；S3、通过Kafka中间件将所述标准格式的日志数据全量存储到Hbase数据库中；S4、对Kafka中间件中的日志数据进行流处理，得到检索索引数据和统计分析数据；S5、将所述检索索引类数据存入ES集群；S6、将所述统计分析数据存入关系数据库MySQL。如上述步骤S1所述，在本实施例中，可以从不同的应用集群(如web集群，接口服务系统群和业务系统集群等)中采集数据，完成分布式系统的日志采集工作。其中应用集群通过服务中间件产生日志并将日志写入日志文件，日志收集器读取该应用集群的日志。应用集群生成日志的操作可以基于disruptor实现并提供标准api(应用程序接口)，通过设置拦截器或者代码嵌入的方式调用api，将日志写入缓冲队列，并异步保存到本地日志文件中。日志收集器将读取的日志写入日志收集器的缓冲队列，如ringbuffer(环形缓冲区)。如上述步骤S2所述，在本实施例中，提出了将日志数据进行格式标准化的过程，通过统一日志数据格式，可以使运维人员能够快速识别关键节点数据。日志数据标准化的过程可以通过统一配置的方式实现，根据配置信息直接生成标准格式的日志数据，也可以通过再次处理的方式实现，本文档来自技高网...

【技术保护点】
1.一种基于链路追踪的服务链日志处理方法，其特征在于，包括：/n分别对服务链中不同应用进群进行日志数据采集，得到对应的日志数据；/n对所述日志数据进行格式标准化，得到标准格式的日志数据；/n通过Kafka中间件将所述标准格式的日志数据全量存储到Hbase数据库中；/n对Kafka中间件中的日志数据进行流处理，得到检索索引数据和统计分析数据；/n将所述检索索引类数据存入ES集群；/n将所述统计分析数据存入关系数据库MySQL。/n

【技术特征摘要】
1.一种基于链路追踪的服务链日志处理方法，其特征在于，包括：
分别对服务链中不同应用进群进行日志数据采集，得到对应的日志数据；
对所述日志数据进行格式标准化，得到标准格式的日志数据；
通过Kafka中间件将所述标准格式的日志数据全量存储到Hbase数据库中；
对Kafka中间件中的日志数据进行流处理，得到检索索引数据和统计分析数据；
将所述检索索引类数据存入ES集群；
将所述统计分析数据存入关系数据库MySQL。


2.根据权利要求1所述的基于链路追踪的服务链日志处理方法，其特征在于，所述分别对服务链中不同应用进群进行日志数据采集，得到对应的日志数据步骤，包括：
通过业务代码调用不同的应用集群的日志输出接口进行日志采集。


3.根据权利要求1所述的基于链路追踪的服务链日志处理方法，其特征在于，所述分别对服务链中不同应用进群进行日志数据采集，得到对应的日志数据步骤，包括：
通过代理Agent实现在不同应用集群的日志埋点，对服务调用过程切面进行拦截，捕获日志数据，完成数据采集。


4.根据权利要求1所述的基于链路追踪的服务链日志处理方法，其特征在于，所述对所述日志数据进行格式标准化，得到标准格式的日志数据的步骤包括：
根据调用链路径关系确定TraceID、SpanID、ParentID，得到日志基本属性；
根据调用业务类型确定日志扩展属性；
将所述日志基本属性和所述日志扩展属性按照预设的格式保存为所述标准格式的日志数据。


5.根据权利要求1所述的基于链路追踪的服务链日志处理方法，其特征在于，所述将所述统计分析数据存入关系数据库MySQL的步骤之后还包括：
接收来自WEB端的日志查询操作指令；
根据所述日志查询操作指令判断所查询的日志数据类型；
根据所述日志数据类型在对应的数据库中进行日志数据查询，得到查询结果；
将所述查询结果发送到...

【专利技术属性】
技术研发人员：王辉，
申请(专利权)人：平安医疗健康管理股份有限公司，
类型：发明
国别省市：上海;31