【技术实现步骤摘要】
一种数据处理的方法、装置和存储介质
本申请涉及互联网
,尤其涉及一种数据处理的方法、装置和存储介质。
技术介绍
随着微服务架构的流行,服务按照不同的维度进行拆分,一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器,横跨多个不同的数据中心。因此,就需要一些可以帮助理解系统行为、用于分析性能问题的工具,以便发生故障的时候,能够快速定位和解决问题。因此,分布式全链路监控应用而生。具体的,分布式全链路监控的方式就是记录用户的所有请求、每一条请求经过的所有服务、以及路径中的参数等其它信息。为了方便寻找出问题的链路,目前大多数公司都采用全采样的模式采集数据,但若在流量很大时,全部记录会造成公司巨大的存储压力与存储成本。另外,若在各个节点采用随机采样的方式,可能会造成用户请求链路的残缺,遗漏一些异常链路。
技术实现思路
本申请实施例提供了一种数据处理的方法,克服了分布式链路中在各个节点进行随机采样,形成 ...
【技术保护点】
1.一种数据处理的方法,其特征在于,包括:/n将接收到的用户请求中携带的采样标识赋值为无效值,其中,所述无效值不同于用于触发所述服务采集运行数据并返回所述采样标识的有效值;/n在所述用户请求沿调用链路的顺序调用所述服务的期间内,监听在所述调用链路中的各链路节点被调用的所述服务的运行状态;/n当监听到在任意所述链路节点被调用的所述服务的所述运行状态为异常时,将所述采样标识修改为所述有效值,以利用被修改为所述有效值的所述采样标识在所述调用链路中的传递,触发所述调用链路中以所述运行状态为异常的所述服务为起始的运行数据的采集上报。/n
【技术特征摘要】
1.一种数据处理的方法,其特征在于,包括:
将接收到的用户请求中携带的采样标识赋值为无效值,其中,所述无效值不同于用于触发所述服务采集运行数据并返回所述采样标识的有效值;
在所述用户请求沿调用链路的顺序调用所述服务的期间内,监听在所述调用链路中的各链路节点被调用的所述服务的运行状态;
当监听到在任意所述链路节点被调用的所述服务的所述运行状态为异常时,将所述采样标识修改为所述有效值,以利用被修改为所述有效值的所述采样标识在所述调用链路中的传递,触发所述调用链路中以所述运行状态为异常的所述服务为起始的运行数据的采集上报。
2.根据权利要求1所述的方法,其特征在于,在所述将接收到的用户请求中携带的采样标识赋值为无效值的步骤之前,所述方法进一步包括:
根据采样配置率,确定接收到的所述用户请求意图调用的所述服务的采样空闲水平;
当确定的采样空闲水平不低于预设阈值时,产生用于为采样标识赋值的随机数,其中,所述随机数包括所述无效值和所述有效值。
3.根据权利要求1所述的方法,其特征在于,所述在接收到所述用户请求时,所述用户请求生成唯一请求标识,所述唯一请求标识用于:
由所述用户请求携带所述唯一请求标识,沿调用链路顺序在各个所述链路节点间传递,并在上报的所述运行数据中携带所述唯一请求标识。
4.根据权利要求1所述的方法,其特征在于,所述触发所述调用链路中以所述运行状态为异常的所述服务为起始的运行数据的采集上报的步骤包括:
修改调用所述服务的至少一个调用组件的字节码,并在所述调用组件中添加用于监控所述运行数据的监控信息。
5.根据权利要求3所述的方法,其特征在于,在所述触发所述调用链路中以所述运行状态为异常的所述服务为起始的运行数据的采集上报的步骤之后,所述方法进一步包括:<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。