【技术实现步骤摘要】
链路数据的跟踪方法、装置、设备及存储介质
本专利技术涉及大数据的数据处理领域,尤其涉及一种链路数据的跟踪方法、装置、设备及存储介质。
技术介绍
随着微服务架构技术的发展,微服务架构所涉及的服务接口数量也越来越多,但由于微服务架构本身的特性,会存在调用失败、调用过程响应很慢和快速分析业务处理中的响应慢等问题,为了解决这些问题,采用了链路追踪技术。目前的链路追踪,一般都是字节码增强方式。但是,字节码增强方式会拦截所有的方法,且拦截过滤的数据量大,无效冗余数据较多,拦截过滤范围广泛,缺乏针对性,因而,链路追踪的定位准确性低。
技术实现思路
本专利技术提供一种链路数据的跟踪方法、装置、设备及存储介质,用于提高链路追踪的定位准确性。本专利技术第一方面提供了一种链路数据的跟踪方法,包括:通过预置的监控系统客户端,对业务应用服务的调用参数进行抓取并上报至预置进程,得到已上报链路数据;通过所述预置进程,对所述上已报链路数据进行标准化处理,并将标准化处理后的已上报链路数据存储至预置的卡夫卡系 ...
【技术保护点】
1.一种链路数据的跟踪方法,其特征在于,所述链路数据的跟踪方法包括:/n通过预置的监控系统客户端,对业务应用服务的调用参数进行抓取并上报至预置进程,得到已上报链路数据;/n通过所述预置进程,对所述已上报链路数据进行标准化处理,并将标准化处理后的已上报链路数据存储至预置的卡夫卡系统,得到已存储链路数据;/n通过预置的分布式实时大数据处理框架,对所述已存储链路数据进行调用链聚合处理并存储至所述卡夫卡系统,得到聚合数据,所述聚合数据包括调用链的数据、调用分析的数据、调用趋势的数据、网关异常数据和接口依赖数据;/n调用预置的收集器,对所述卡夫卡系统的已存储链路数据和聚合数据进行采集 ...
【技术特征摘要】
1.一种链路数据的跟踪方法,其特征在于,所述链路数据的跟踪方法包括:
通过预置的监控系统客户端,对业务应用服务的调用参数进行抓取并上报至预置进程,得到已上报链路数据;
通过所述预置进程,对所述已上报链路数据进行标准化处理,并将标准化处理后的已上报链路数据存储至预置的卡夫卡系统,得到已存储链路数据;
通过预置的分布式实时大数据处理框架,对所述已存储链路数据进行调用链聚合处理并存储至所述卡夫卡系统,得到聚合数据,所述聚合数据包括调用链的数据、调用分析的数据、调用趋势的数据、网关异常数据和接口依赖数据;
调用预置的收集器,对所述卡夫卡系统的已存储链路数据和聚合数据进行采集,得到目标链路数据;
将所述目标链路数据存储至预置的搜索引擎集群节点,得到链路跟踪数据。
2.根据权利要求1所述的链路数据的跟踪方法,其特征在于,所述通过预置的分布式实时大数据处理框架,对所述已存储链路数据进行调用链聚合处理并存储至所述卡夫卡系统,得到聚合数据,所述聚合数据包括调用链的数据、调用分析的数据、调用趋势的数据、网关异常数据和接口依赖数据,包括:
通过预置的分布式实时大数据处理框架中的组件,对所述已存储链路数据进行分类和统计分析,得到已分析链路数据;
生成所述已分析链路数据对应的初始链路树,并对所述初始链路树进行索引添加处理和序列化处理,得到序列数据,并将所述序列数据存储至所述卡夫卡系统,得到聚合数据,所述聚合数据包括调用链的数据、调用分析的数据、调用趋势的数据、网关异常数据和接口依赖数据。
3.根据权利要求2所述的链路数据的跟踪方法,其特征在于,所述通过预置的分布式实时大数据处理框架中的组件,对所述已存储链路数据进行分类和统计分析,得到已分析链路数据,包括:
通过预置的分布式实时大数据处理框架中的组件,基于预设的滑动窗口,对所述已存储链路数据进行滑动读取,得到窗口链路数据;
获取所述窗口链路数据的调用链路身份标识号,并按照所述调用链路身份标识号,对所述窗口链路数据进行分类,得到待聚合链路数据;
对所述待聚合链路数据进行统计分析得到已分析数据,并将所述待聚合链路数据和所述已分析数据确定为已分析链路数据。
4.根据权利要求2所述的链路数据的跟踪方法,其特征在于,所述生成所述已分析链路数据对应的初始链路树,并对所述初始链路树进行索引添加处理和序列化处理,得到序列数据,并将所述序列数据存储至所述卡夫卡系统,得到聚合数据,所述聚合数据包括调用链的数据、调用分析的数据、调用趋势的数据、网关异常数据和接口依赖数据,包括:
通过预置的拓扑结构,生成所述已分析链路数据对应的初始链路树,并生成预置搜索引擎的存入索引时间;
获取所述初始链路树的对象,将所述存入索引时间添加至所述对象,并对添加后的对象进行对象简谱序列化,得到目标链路树;
将所述目标链路树存储至所述卡夫卡系统,得到聚合数据,所述聚合数据包括调用链的数据、调用分析的数据、调用趋势的数据、网关异常数据和接口依赖数据。
5.根据权利要求1所述的链路数据的跟踪方法,其特征在于,所述通过预置的监...
【专利技术属性】
技术研发人员:闫磊,
申请(专利权)人:康键信息技术深圳有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。