调用链路数据处理方法及装置制造方法及图纸

本申请实施例提供一种调用链路数据处理方法及装置，方法包括：通过第一消息中间件接收链路数据采集端发送的链路信息，并转发至对应的路由节点进行解析，得到跨度信息；根据所述跨度信息中的跟踪编码，通过第二消息中间件将所述跨度信息路由至对应的拓扑关系构建容器进行拓扑聚合，得到对应的拓扑关系和链路MD5值；通过第三消息中间件将所述拓扑关系和所述链路MD5值发送至批量处理节点以批量写入图数据库，并对所述图数据库中的拓扑关系进行图计算，得到拓扑关系调用地图；本申请能够聚合得到准确的拓扑关系，进而提升从业务视角分析问题时的时效性和准确性。

【技术实现步骤摘要】
调用链路数据处理方法及装置
本申请涉及数据处理领域，具体涉及一种调用链路数据处理方法及装置。
技术介绍
微服务时代，业务场景按照领域模型进行了拆分，往往一个完整的业务流程需要经过多个服务间消息通信才最终闭环。大规模分布式集群虽然承载了更大规模的并发量，但是调用链路更加错综复杂。特别是大中台的建设，服务的复用与组合构成了各式各样的业务交易。尤其是业务高峰期会产生大量的链路数据，现有技术无法做到大规模实时拓扑聚合，无法及时高效的对所有调用关系进行分析处理，无法对准确的进行应用治理故障预判等操作，因此难以监控整个业务流程的健康状况。
技术实现思路
针对现有技术中的问题，本申请提供一种调用链路数据处理方法及装置，能够聚合得到准确的拓扑关系，进而提升从业务视角分析问题时的时效性和准确性。为了解决上述问题中的至少一个，本申请提供以下技术方案：第一方面，本申请提供一种调用链路数据处理方法，包括：通过第一消息中间件接收链路数据采集端发送的链路信息，并转发至对应的路由节点进行解析，得到跨度信息；根据所述跨度信息中的跟踪编码，通过第二消息中间件将所述跨度信息路由至对应的拓扑关系构建容器进行拓扑聚合，得到对应的拓扑关系和链路MD5值；通过第三消息中间件将所述拓扑关系和所述链路MD5值发送至批量处理节点以批量写入图数据库，并对所述图数据库中的拓扑关系进行图计算，得到拓扑关系调用地图。进一步地，所述根据所述跨度信息中的跟踪编码，通过第二消息中间件将所述跨度信息路由至对应的拓扑关系构建容器进行拓扑聚合，得到对应的拓扑关系和链路MD5值，包括：通过所述拓扑关系构建容器对具有相同跟踪编码的跨度信息进行拓扑聚合，得到对应的拓扑关系并保存对应的链路MD5值。进一步地，在所述进行拓扑聚合之前，还包括：通过所述拓扑关系构建容器对所述跨度信息进行完整性校验和排序。进一步地，所述通过第三消息中间件将所述拓扑关系和所述链路MD5值发送至批量处理节点以批量写入图数据库，包括：根据所述链路MD5值判断所述拓扑关系是否存在于预设图数据库或预设caffeine缓存中，若否，则将所述拓扑关系写入所述预设图数据库和预设caffeine缓存，否则判定拓扑关系重复。第二方面，本申请提供一种调用链路数据处理装置，包括：链路数据分发模块，用于通过第一消息中间件接收链路数据采集端发送的链路信息，并转发至对应的路由节点进行解析，得到跨度信息；拓扑关系构建模块，用于根据所述跨度信息中的跟踪编码，通过第二消息中间件将所述跨度信息路由至对应的拓扑关系构建容器进行拓扑聚合，得到对应的拓扑关系和链路MD5值；批量处理模块，用于通过第三消息中间件将所述拓扑关系和所述链路MD5值发送至批量处理节点以批量写入图数据库，并对所述图数据库中的拓扑关系进行图计算，得到拓扑关系调用地图。进一步地，所述拓扑关系构建模块包括：拓扑聚合单元，用于通过所述拓扑关系构建容器对具有相同跟踪编码的跨度信息进行拓扑聚合，得到对应的拓扑关系并保存对应的链路MD5值。进一步地，还包括：拓扑聚合预处理单元，用于通过所述拓扑关系构建容器对所述跨度信息进行完整性校验和排序。进一步地，所述批量处理模块包括：去重单元，用于根据所述链路MD5值判断所述拓扑关系是否存在于预设图数据库或预设caffeine缓存中，若否，则将所述拓扑关系写入所述预设图数据库和预设caffeine缓存，否则判定拓扑关系重复。第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的调用链路数据处理方法的步骤。第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的调用链路数据处理方法的步骤。由上述技术方案可知，本申请提供一种调用链路数据处理方法及装置，通过第一消息中间件接收链路数据采集端发送的链路信息，并转发至对应的路由节点进行解析，得到跨度信息；根据所述跨度信息中的跟踪编码，通过第二消息中间件将所述跨度信息路由至对应的拓扑关系构建容器进行拓扑聚合，得到对应的拓扑关系和链路MD5值；通过第三消息中间件将所述拓扑关系和所述链路MD5值发送至批量处理节点以批量写入图数据库，并对所述图数据库中的拓扑关系进行图计算，得到拓扑关系调用地图，本申请能够聚合得到准确的拓扑关系，进而提升从业务视角分析问题时的时效性和准确性。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例中的调用链路数据处理方法的流程示意图；图2为本申请实施例中的调用链路数据处理装置的结构图之一；图3为本申请实施例中的调用链路数据处理装置的结构图之二；图4为本申请实施例中的调用链路数据处理装置的结构图之三；图5为本申请一具体实施例中的调用链路数据处理方法的流程示意图图6为本申请实施例中的电子设备的结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。考虑到现有技术无法做到大规模实时拓扑聚合，无法及时高效的对所有调用关系进行分析处理，无法对准确的进行应用治理故障预判等操作，因此难以监控整个业务流程的健康状况的问题，本申请提供一种调用链路数据处理方法及装置，通过第一消息中间件接收链路数据采集端发送的链路信息，并转发至对应的路由节点进行解析，得到跨度信息；根据所述跨度信息中的跟踪编码，通过第二消息中间件将所述跨度信息路由至对应的拓扑关系构建容器进行拓扑聚合，得到对应的拓扑关系和链路MD5值；通过第三消息中间件将所述拓扑关系和所述链路MD5值发送至批量处理节点以批量写入图数据库，并对所述图数据库中的拓扑关系进行图计算，得到拓扑关系调用地图，本申请能够聚合得到准确的拓扑关系，进而提升从业务视角分析问题时的时效性和准确性。为了能够聚合得到准确的拓扑关系，进而提升从业务视角分析问题时的时效性和准确性，本申请提供一种调用链路数据处理方法的实施例，参见图1，所述调用链路数据处理方法具体包含有如下内容：步骤S101：通过第一消息中间件接收链路数据采集端发送的链路信息，并转发至对应的路由节点进行解析，得到跨度信息。可选的，链路数据采集端将数据发送到第一消息中间件(例如kafka)后，链路数据分发层的路由节点消费链路数据本文档来自技高网...

【技术保护点】
1.一种调用链路数据处理方法，其特征在于，所述方法包括：/n通过第一消息中间件接收链路数据采集端发送的链路信息，并转发至对应的路由节点进行解析，得到跨度信息；/n根据所述跨度信息中的跟踪编码，通过第二消息中间件将所述跨度信息路由至对应的拓扑关系构建容器进行拓扑聚合，得到对应的拓扑关系和链路MD5值；/n通过第三消息中间件将所述拓扑关系和所述链路MD5值发送至批量处理节点以批量写入图数据库，并对所述图数据库中的拓扑关系进行图计算，得到拓扑关系调用地图。/n

【技术特征摘要】
1.一种调用链路数据处理方法，其特征在于，所述方法包括：
通过第一消息中间件接收链路数据采集端发送的链路信息，并转发至对应的路由节点进行解析，得到跨度信息；
根据所述跨度信息中的跟踪编码，通过第二消息中间件将所述跨度信息路由至对应的拓扑关系构建容器进行拓扑聚合，得到对应的拓扑关系和链路MD5值；
通过第三消息中间件将所述拓扑关系和所述链路MD5值发送至批量处理节点以批量写入图数据库，并对所述图数据库中的拓扑关系进行图计算，得到拓扑关系调用地图。


2.根据权利要求1所述的调用链路数据处理方法，其特征在于，所述根据所述跨度信息中的跟踪编码，通过第二消息中间件将所述跨度信息路由至对应的拓扑关系构建容器进行拓扑聚合，得到对应的拓扑关系和链路MD5值，包括：
通过所述拓扑关系构建容器对具有相同跟踪编码的跨度信息进行拓扑聚合，得到对应的拓扑关系并保存对应的链路MD5值。


3.根据权利要求1所述的调用链路数据处理方法，其特征在于，在所述进行拓扑聚合之前，还包括：
通过所述拓扑关系构建容器对所述跨度信息进行完整性校验和排序。


4.根据权利要求1所述的调用链路数据处理方法，其特征在于，所述通过第三消息中间件将所述拓扑关系和所述链路MD5值发送至批量处理节点以批量写入图数据库，包括：
根据所述链路MD5值判断所述拓扑关系是否存在于预设图数据库或预设caffeine缓存中，若否，则将所述拓扑关系写入所述预设图数据库和预设caffeine缓存，否则判定拓扑关系重复。


5.一种调用链路数据处理装置，其特征在于，包括：
链路数据分发模块，用于通过第一消息中间件接收链路数据采集端发送...

【专利技术属性】
技术研发人员：王泽洋，刘慕雨，曹辉健，何旭敏，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11