分布式链路错慢日志快速采集与过滤方法、系统及介质技术方案

本发明专利技术提供一种分布式链路错慢日志快速采集与过滤方法、系统及介质，包括：提取指定时间范围内的日志数据；将日志数据存放于环形缓冲区，写指针指向缓冲区区块；对日志数据逐条判断status状态为非200，则记录为状态非200日志；将状态非200日志的字段traceId存放于错慢日志traceId集合S1中；读取环形缓冲区中的读指针所指区块及指针前后区块日志数据，读取集合S1的问题traceId数据D1；若S1和D1数据的traceId相匹配，即标记为问题链路日志数据；将问题链路日志数据取出并存放于错慢日志集合L1中；对错慢日志集合L1数据使用归并排序法对traceId字段id从小到大进行排序得到集合R1；对集合R1使用归并排序法对time字段时间从先到后进行排序得到集合R2；将集合R2进行错慢日志链路上报。志链路上报。志链路上报。

【技术实现步骤摘要】
分布式链路错慢日志快速采集与过滤方法、系统及介质


[0001]本专利技术涉及分布式链路
，具体地，涉及一种分布式链路错慢日志快速采集与过滤方法、系统及介质。

技术介绍

[0002]为了应对各种复杂的业务，系统架构也从单机大型软件演化成微服务架构。微服务构建在不同的软件集上，这些软件模块可能是由不同团队开发的，可能使用不同的编程语言来实现，还可能发布在多台服务器上。因此，如果一个服务出现问题，可能导致几十个服务都出现异常。分布式追踪系统可以记录请求范围内的信息，包括用户在页面的一次点击发送请求，这个请求的所有处理过程，比如经过多少个服务，每个服务的耗时和异常情况。
[0003]分布式链路系统记录请求范围内的信息，采集链路数据越多，成本越多，任何节点出现错慢日志时，需要把该请求所有链路数据采集，即使其他链路数据在这条链路节点数据之前还是之后，即使其他链路数据在多个节点。目前业界普遍的采样都是按照这个方式，比如固定比例采样，蓄水池采样，混合采样。
[0004]上述的采样可以保证整个调用链的完整性，但是这样采样也带来两个问题：...

【技术保护点】

【技术特征摘要】
1.一种分布式链路错慢日志快速采集与过滤方法，其特征在于，包括：步骤1：从多个服务器的日志文件中提取指定时间范围内的日志数据；步骤2：将所述日志数据存放于环形缓冲区，所述环形缓冲区中的写指针指向缓冲区区块；步骤3：对所述日志数据逐条判断status状态是否为非200；若是，则记录为状态非200日志；步骤4：将所述状态非200日志的字段traceId存放于错慢日志traceId集合S1中；步骤5：读取环形缓冲区中的读指针所指区块及指针前后区块日志数据，读取所述集合S1的问题traceId数据D1；对比所述S1和D1数据的traceId是否匹配；如匹配，即标记为问题链路日志数据；步骤6：将所述问题链路日志数据取出并存放于错慢日志集合L1中；步骤7：对所述错慢日志集合L1数据使用归并排序法对traceId字段id从小到大进行排序得到集合R1；对所述集合R1使用归并排序法对time字段时间从先到后进行排序得到集合R2；步骤8：将所述集合R2进行错慢日志链路上报。2.根据权利要求1所述的分布式链路错慢日志快速采集与过滤方法，其特征在于，所述步骤1包括：步骤1.1：统计历史请求数据，获取单次请求的最长请求时长T1；步骤1.2：将所述最长请求时长T1*1.2确定为翻滚移动窗口时间宽度T2；步骤1.3：从多服务器的日志文件中，同时提取时间范围为(n
‑
1)T2
‑
n*T2的日志数据，记录为第n批次日志数据。3.根据权利要求1所述的分布式链路错慢日志快速采集与过滤方法，其特征在于，所述步骤2包括：步骤2.1：配置环形缓冲区；步骤2.2：初始化环形缓冲区日志数据写、读指针；步骤2.3：将所述日志数据，依次存放于写指针所指区块中，随后写指针指向下一区块。4.根据权利要求1所述的分布式链路错慢日志快速采集与过滤方法，其特征在于，所述步骤5包括：步骤5.1：读取读指针前一区块、读指针所指区块、读指针后一区块的区块日志数据；步骤5.2：读取所述错慢日志traceId集合S1的问题traceId数据D1；步骤5.3：使用对比程序，对比缓冲区所述错慢日志traceId集合S1和所述问题traceId数据D1，若匹配，即标记为问题链路日志数据。5.一种分布式链路错慢日志快速采集与过滤系统，其特征在于，包括：模块1：从多个...

【专利技术属性】
技术研发人员：刘锦鸣，黄扬，
申请(专利权)人：兴业数字金融服务上海股份有限公司，
类型：发明
国别省市：