一种链路追踪数据管理方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供了一种链路追踪数据管理方法、装置、设备及存储介质。本申请实施例提供的技术方案通过获取链路追踪数据，并根据链路追踪数据对应的追踪标识对链路追踪数据进行聚合处理，得到多个链路追踪包数据，从每个链路追踪包数据中获取元数据信息，以及对链路追踪包数据进行压缩得到压缩链路追踪数据，并将压缩链路追踪数据保存至链路追踪数据库，以及将元数据信息保存至元数据索引库，通过对链路追踪数据的预聚合再存储，大幅度降低对数据库的存储压力和计算压力，降低支撑分布式链路追踪系统的运维成本。追踪系统的运维成本。追踪系统的运维成本。

【技术实现步骤摘要】
一种链路追踪数据管理方法、装置、设备及存储介质


[0001]本申请实施例涉及数据存储
，尤其涉及一种链路追踪数据管理方法、装置、设备及存储介质。

技术介绍

[0002]目前大型互联网在线服务主要通过大规模分布式服务器集群来支撑海量用户的并发访问，为了有效利用大规模分布式服务器集群的机器资源、降低服务升级和维护成本，微服务、去中心化架构在分布式服务器领域的得到广泛应用，用户的一次请求通常会被路由到多个微服务的多个分片上进行处理。随着业务复杂度和系统规模的增长，这种分布式的请求处理链路可能会变得非常复杂，整个系统的数据流转过程变得难以理解，难以有针对性的系统性能和稳定性优化，目前一般是通过分布式链路追踪系统进行解决。
[0003]分布式链路追踪系统是在一次用户请求开始时生成一个追踪标识作为唯一的链路追踪标识。请求每路由到一个微服务节点上处理时将会根据埋点生成应用所关注的链路追踪数据。微服务节点间通过远程调用进行通信时会携带包含追踪标识在内的上下文信息，这样一条分布式的请求处理链路会在多个不同的微服务上产生多个同属于一个追踪标识的链路追踪数据，通过收集和处理同一个追踪标识的多个链路追踪数据，分布式链路追踪系统可以做到对分布式请求处理进行调用链路可视化、在线和离线链路分析。
[0004]但是随着应用请求量的增长，整个集群生成的链路追踪数据量也会随之增大，海量的链路追踪数据会对数据库造成极大的存储和计算压力，使得支撑分布式链路追踪系统的运维成本急剧上升。

技术实现思路

[0005]本申请实施例提供一种链路追踪数据管理方法、装置、设备及存储介质，以解决相关技术中海量的链路追踪数据对数据库造成极大的存储和计算压力，使得支撑分布式链路追踪系统的运维成本急剧上升的技术问题，有效降低数据库的存储和计算压力，降低支撑分布式链路追踪系统的运维成本。
[0006]在第一方面，本申请实施例提供了一种链路追踪数据管理方法，包括：
[0007]获取链路追踪数据，不同的所述链路追踪数据对应不同的追踪标识；
[0008]根据所述追踪标识对所述链路追踪数据进行聚合处理得到多个链路追踪包数据；
[0009]从所述链路追踪包数据中获取元数据信息，并对所述链路追踪包数据进行压缩处理得到压缩链路追踪数据；
[0010]将所述压缩链路追踪数据保存至链路追踪数据库，并将所述元数据信息保存至元数据索引库。
[0011]在第二方面，本申请实施例提供了一种链路追踪数据管理装置，包括数据获取模块、数据聚合模块、数据处理模块和数据保存模块，其中：
[0012]所述数据获取模块，配置为获取链路追踪数据，不同的所述链路追踪数据对应不
同的追踪标识；
[0013]所述数据聚合模块，配置为根据所述追踪标识对所述链路追踪数据进行聚合处理得到多个链路追踪包数据；
[0014]所述数据处理模块，配置为从所述链路追踪包数据中获取元数据信息，并对所述链路追踪包数据进行压缩处理得到压缩链路追踪数据；
[0015]所述数据保存模块，配置为将所述压缩链路追踪数据保存至链路追踪数据库，并将所述元数据信息保存至元数据索引库。
[0016]在第三方面，本申请实施例提供了一种链路追踪数据管理设备，包括：存储器以及一个或多个处理器；
[0017]所述存储器，用于存储一个或多个程序；
[0018]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的链路追踪数据管理方法。
[0019]在第四方面，本申请实施例提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的链路追踪数据管理方法。
[0020]在第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行如第一方面所述的链路追踪数据管理方法。
[0021]本申请实施例通过获取链路追踪数据，并根据链路追踪数据对应的追踪标识对链路追踪数据进行聚合处理，得到多个链路追踪包数据，从每个链路追踪包数据中获取元数据信息，以及对链路追踪包数据进行压缩得到压缩链路追踪数据，并将压缩链路追踪数据保存至链路追踪数据库，以及将元数据信息保存至元数据索引库，通过对链路追踪数据的预聚合再存储，大幅度降低对数据库的存储压力和计算压力，降低支撑分布式链路追踪系统的运维成本。
附图说明
[0022]图1是本申请实施例提供的一种链路追踪数据管理方法的流程图；
[0023]图2是本申请实施例提供的第二种链路追踪数据管理方法的流程图；
[0024]图3是本申请实施例提供的第三种链路追踪数据管理方法的流程图；
[0025]图4是本申请实施例提供的一种链路追踪数据管理装置的结构示意图；
[0026]图5是本申请实施例提供的一种链路追踪数据管理设备的结构示意图。
具体实施方式
[0027]为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序
的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时上述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。上述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0028]图1给出了本申请实施例提供的一种链路追踪数据管理方法的流程图，本申请实施例提供的链路追踪数据管理方法可以由链路追踪数据管理装置来执行，该链路追踪数据管理装置可以通过硬件和/或软件的方式实现，并集成在链路追踪数据管理设备中。
[0029]下述以链路追踪数据管理装置执行链路追踪数据管理方法为例进行描述。参考图1，该链路追踪数据管理方法包括：
[0030]S101：获取链路追踪数据，不同的链路追踪数据对应不同的追踪标识。
[0031]本方案提供的链路追踪数据(span数据)可通过对分布式链路追踪系统中的各个微服务进程的链路追踪数据进行埋点监测获取。其中链路追踪数据一般包括追踪标识(traceID)、父节点表示(spanID)、当前节点信息等。
[0032]在相关技术中，分布式链路追踪系统的会在每一次用户请求开始时生成一个traceID作为唯一的对请求链路进行追踪的追踪标识。用户请求每路由到一个微服务节点上处理时将会根据埋点生成应用所关注的链路追踪数据。微服务节点间通过RPC(远程方法调用)进行通信时会携带包含追踪标识在内的上下文信息，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种链路追踪数据管理方法，其特征在于，包括：获取链路追踪数据，不同的所述链路追踪数据对应不同的追踪标识；根据所述追踪标识对所述链路追踪数据进行聚合处理得到多个链路追踪包数据；从所述链路追踪包数据中获取元数据信息，并对所述链路追踪包数据进行压缩处理得到压缩链路追踪数据；将所述压缩链路追踪数据保存至链路追踪数据库，并将所述元数据信息保存至元数据索引库。2.根据权利要求1所述的链路追踪数据管理方法，其特征在于，所述根据所述追踪标识对所述链路追踪数据进行聚合处理得到多个链路追踪包数据，包括：基于设定的数量阈值和/或时间阈值，根据所述追踪标识对所述链路追踪数据进行聚合处理得到多个链路追踪包数据。3.根据权利要求1所述的链路追踪数据管理方法，其特征在于，所述元数据信息包括追踪标识、数据所属接口、请求开始时间、接口响应时长、响应状态、请求所属用户标识中的一种或多种的组合。4.根据权利要求1所述的链路追踪数据管理方法，其特征在于，所述将所述压缩链路追踪数据保存至链路追踪数据库，包括：将所述压缩链路追踪数据保存至链路追踪数据库，由所述链路追踪数据库基于接收到的所述压缩链路追踪数据对应的追踪标识，将接收到的所述压缩链路追踪数据进行关联。5.根据权利要求1所述的链路追踪数据管理方法，其特征在于，所述将所述元数据信息保存至元数据索引库，包括：将所述元数据信息保存至元数据索引库，由所述元数据索引库基于所述元数据信息建立多个维度的元数据信息到追踪标识的倒排索引。6.根据权利要求5所述的链路追踪数据管理方法，其特征在于，所述链路追踪数据管理方法还包括：在接收到基于多个维度的目标元数据信息构建的数据查询请求时，基于所述倒排索引，根据所述目标元数据信息在所述元数据索引库中确定对应的目标追踪...

【专利技术属性】
技术研发人员：章恒，何翔，
申请(专利权)人：有半岛北京信息科技有限公司，
类型：发明
国别省市：