分布式链路追踪的数据处理方法、装置、设备及存储介质制造方法及图纸

技术编号:43661597 阅读:23 留言:0更新日期:2024-12-13 12:52
本公开实施例涉及一种分布式链路追踪的数据处理方法、装置、设备及存储介质,该方法包括:接收业务请求,处理业务请求将产生的第一追踪数据在本地缓存,构建业务请求的子请求传递给下一跳服务节点,接收下一跳服务节点通过响应消息反馈的第二追踪数据,将第二追踪数据在本地缓存,处理响应消息将产生的第三追踪数据在本地缓存,将从本地缓存中获取第一追踪数据、第二追踪数据和第三追踪数据进行追踪数据拼接生成处理业务请求产生的全链路追踪数据,将全链路追踪数据存储至目标存储设备,实现了在同一节点存储处理业务请求产生的全链路追踪数据,无需各节点分别向日志服务上传追踪数据,避免了各节点对日志服务的依赖。

【技术实现步骤摘要】

本公开涉及数据处理领域,尤其涉及一种分布式链路追踪的数据处理方法、装置、设备及存储介质


技术介绍

1、数据追踪是指通过技术手段对特定数据进行采集、监测和分析的过程,在数据处理领域应用广泛,特别是应用于软件异常定位,能够帮助开发人员快速定位异常发生的具体环节,提高软件系统可靠性。由于数据追踪技术需要获取大量的追踪数据,因此数据传输上报分析占用大量资源,严重时也会影响数据追踪分析的时效性,因此,如何高效且低开销地进行数据追踪是目前继续解决技术问题。


技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种分布式链路追踪的数据处理方法、装置、设备及存储介质。

2、第一方面,本公开实施例提供了一种分布式链路追踪的数据处理方法,所述方法包括:

3、接收业务请求,处理所述业务请求并将产生的第一追踪数据在本地缓存,构建所述业务请求的子请求并传递给下一跳服务节点;

4、接收所述下一跳服务节点通过响应消息反馈的处理所述业务请求的子请求产生的第二追踪数据,并将所述第二追踪数据在本地缓存;

5、处理所述响应消息并将产生的第三追踪数据在本地缓存,从所述本地缓存中获取所述第一追踪数据、所述第二追踪数据和所述第三追踪数据并对其进行追踪数据拼接生成处理所述业务请求产生的全链路追踪数据,将所述全链路追踪数据存储至目标存储设备,用于对所述业务请求处理链路异常分析。

6、一种可选的实施方式中,所述构建所述业务请求的子请求,还包括:

7、构建所述业务请求的子请求,在所述子请求中封装所述业务请求的追踪标识,所述追踪标识随着服务节点处理路径传递,所述追踪标识用于标识与业务请求相关的追踪数据。

8、一种可选的实施方式中,所述将所述全链路追踪数据存储至目标存储设备之前,所述方法还包括:

9、基于所述全链路追踪数据,确定所述业务请求的处理是否满足超时条件;

10、在确定所述业务请求的处理满足超时条件时,再将所述全链路追踪数据存储至目标存储设备。

11、一种可选的实施方式中,所述下一跳服务节点为处理所述业务请求的中间节点,则所述响应消息中的所述第二追踪数据包括所述下一跳服务节点处理所述业务请求的子请求产生的追踪数据和所述下一跳服务节点之后的其他所有服务节点处理所述业务请求的其他子请求分别产生的追踪数据。

12、一种可选的实施方式中,所述方法还包括:

13、在预设时间内未接收到所述下一跳服务节点反馈的响应消息,则向所述目标存储设备上报异常通知,用于通知丢失所述业务请求的其他追踪数据。

14、一种可选的实施方式中,所述下一跳服务节点为处理所述业务请求的终端服务节点,则所述响应消息中的所述第二追踪数据包括所述终端服务节点处理所述业务请求的子请求产生的追踪数据。

15、一种可选的实施方式中,所述终端服务节点用于将未成功反馈至上一跳服务节点的追踪数据直接存储至所述目标存储设备,用于拼接得到处理所述业务请求产生的全链路追踪数据。

16、一种可选的实施方式中,在本地缓存之前,所述方法还包括:

17、根据存储具有对应关系的字符串与编码符号的第一预设映射表对追踪数据进行编码压缩,再将编码压缩后的追踪数据在本地缓存。

18、一种可选的实施方式中,在本地缓存之前,所述方法还包括:

19、根据存储具有对应关系的字符串和编码值的第二预设映射表对追踪数据进行编码压缩,再将编码压缩后的追踪数据在本地缓存,所述编码值为基于对应的字符串进行编码处理后得到的。

20、第二方面,本公开提供了一种分布式链路追踪的数据处理装置,所述装置包括:

21、第一接收模块,用于接收业务请求,处理所述业务请求并将产生的第一追踪数据在本地缓存,处理所述业务请求的子请求并传递给下一跳服务节点;

22、第二接收模块,用于接收所述下一跳服务节点通过响应消息反馈的处理所述业务请求的子请求产生的第二追踪数据,并将所述第二追踪数据在本地缓存;

23、第一存储模块,用于处理所述响应消息并将产生的第三追踪数据在本地缓存,从所述本地缓存中获取所述第一追踪数据、所述第二追踪数据和所述第三追踪数据并对其进行追踪数据拼接生成处理所述业务请求产生的全链路追踪数据,将所述全链路追踪数据存储至目标存储设备,用于对所述业务请求处理链路异常分析。

24、第三方面,本公开实施例还提供了一种电子设备,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现如本公开实施例提供的分布式链路追踪的数据处理方法。

25、第四方面,本公开实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行如本公开实施例提供的分布式链路追踪的数据处理方法。

26、第五方面,本公开提供了一种计算机程序产品,所述计算机程序产品包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现上述的方法。

27、本公开实施例提供的技术方案与现有技术相比具有如下优点:

28、本公开实施例提供的分布式链路追踪的数据处理方法中,首先,接收业务请求,处理业务请求并将产生的第一追踪数据在本地缓存,构建业务请求的子请求并传递给下一跳服务节点,接收下一跳服务节点通过响应消息反馈的处理业务请求的子请求产生的第二追踪数据,并将第二追踪数据在本地缓存,处理响应消息并将产生的第三追踪数据在本地缓存,从本地缓存中获取第一追踪数据、第二追踪数据和第三追踪数据并对其进行追踪数据拼接生成处理业务请求产生的全链路追踪数据,将全链路追踪数据存储至目标存储设备,用于对业务请求处理链路异常分析。

29、本公开实施例通过将处理业务请求所产生的第一追踪数据在本地缓存,将下一跳服务节点通过响应消息反馈的处理业务请求的子请求产生的第二追踪数据在本地缓存,以及将处理响应消息产生的第三追踪数据在本地缓存的方式,实现了在同一节点统一存储处理该业务请求产生的全链路追踪数据,无需各节点单独向日志服务上传各自的追踪数据,有效避免了各节点对日志服务强依赖的系统设计。利用本公开实施例提供的分布式链路追踪的数据处理方法,能够实现业务请求的数据追踪,从而有助于快速定位问题。

本文档来自技高网...

【技术保护点】

1.一种分布式链路追踪的数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述构建所述业务请求的子请求,包括:

3.根据权利要求1所述的方法,其特征在于,所述将所述全链路追踪数据存储至目标存储设备之前,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述下一跳服务节点为处理所述业务请求的中间节点,则所述响应消息中的所述第二追踪数据包括所述下一跳服务节点处理所述业务请求的子请求产生的追踪数据和所述下一跳服务节点之后的其他所有服务节点处理所述业务请求的其他子请求分别产生的追踪数据。

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述下一跳服务节点为处理所述业务请求的终端服务节点,则所述响应消息中的所述第二追踪数据包括所述终端服务节点处理所述业务请求的子请求产生的追踪数据。

7.根据权利要求6所述的方法,其特征在于,所述终端服务节点用于将未成功反馈至上一跳服务节点的追踪数据直接存储至所述目标存储设备,用于拼接得到处理所述业务请求产生的全链路追踪数据。

8.根据权利要求1所述的方法,其特征在于,在本地缓存之前,所述方法还包括:

9.根据权利要求1所述的方法,其特征在于,在本地缓存之前,所述方法还包括:

10.一种分布式链路追踪的数据处理装置,其特征在于,所述装置包括:

11.一种电子设备,其特征在于,所述电子设备包括:

12.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-9中任一所述的分布式链路追踪的数据处理方法。

13.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现如权利要求1-9任一项所述的方法。

...

【技术特征摘要】

1.一种分布式链路追踪的数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述构建所述业务请求的子请求,包括:

3.根据权利要求1所述的方法,其特征在于,所述将所述全链路追踪数据存储至目标存储设备之前,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述下一跳服务节点为处理所述业务请求的中间节点,则所述响应消息中的所述第二追踪数据包括所述下一跳服务节点处理所述业务请求的子请求产生的追踪数据和所述下一跳服务节点之后的其他所有服务节点处理所述业务请求的其他子请求分别产生的追踪数据。

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述下一跳服务节点为处理所述业务请求的终端服务节点,则所述响应消息中的所述第二追踪数据包括所述终端服务节点处理所述业务请求的子请求产生的追踪数据。

...

【专利技术属性】
技术研发人员:谢羽苗涵赵绪言
申请(专利权)人:北京火山引擎科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1