一种业务日志全链路跟踪方法及系统技术方案

本发明专利技术涉及一种业务日志全链路跟踪方法及系统，所述的方法包括以下步骤：S1：获取业务日志；S2：对业务日志进行染色处理，将染色处理后的业务日志送入日志队列Kafka中；S3：监听日志队列Kafka中的业务日志，并对日志队列Kafka中的业务日志进行抽取及清洗；S4：实时对日志队列Kafka进行守护线程，将日志队列Kafka异常时的日志暂存，并在日志队列Kafka恢复正常时将暂存的日志推送至日志队列Kafka；S5：储存清洗后的业务日志数据。与现有技术相比，本发明专利技术基于染色处理方法实现业务日志的全链路跟踪，提高业务日志的查询效率，针对日志队列Kafka设置守护线程，提高业务日志处理的稳定性。

【技术实现步骤摘要】
一种业务日志全链路跟踪方法及系统
本专利技术涉及一种业务日志跟踪领域，尤其是涉及一种业务日志全链路跟踪方法及系统。
技术介绍
随着系统业务功能的丰富和拓展，业务系统的使用过程中会产生大量的日志数据，需要通过日志组件对日志数据进行处理。现有的日志组件，只能解决日志进行归集问题，或只能针对某一场景进行追踪标记，不能将标记字段进行服务间的传递。如果微服务中任一环节出现问题，要准确追踪到问题所在，就只能分段查询各节点业务日志来追踪出现问题的业务追踪链，费时费力。并且现有的日志队列Kafka中守护线程机不完善，不能在日志队列Kafka出现异常时及时进行处理，进一步导致日志组件出现异常。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种业务日志全链路跟踪方法及系统。本专利技术的目的可以通过以下技术方案来实现：一种业务日志全链路跟踪方法，包括以下步骤：S1：获取业务日志；S2：对业务日志进行染色处理，将染色处理后的业务日志送入日志队列Kafka中；S3：监听日志队列Kafk本文档来自技高网...

【技术保护点】
1.一种业务日志全链路跟踪方法，其特征在于，包括以下步骤：/nS1：获取业务日志；/nS2：对业务日志进行染色处理，将染色处理后的业务日志送入日志队列Kafka中；/nS3：监听日志队列Kafka中的业务日志，并对日志队列Kafka中的业务日志进行抽取及清洗；/nS4：实时对日志队列Kafka进行守护线程，将日志队列Kafka异常时的日志暂存，并在日志队列Kafka恢复正常时将暂存的日志推送至日志队列Kafka；/nS5：储存清洗后的业务日志数据。/n

【技术特征摘要】
1.一种业务日志全链路跟踪方法，其特征在于，包括以下步骤：
S1：获取业务日志；
S2：对业务日志进行染色处理，将染色处理后的业务日志送入日志队列Kafka中；
S3：监听日志队列Kafka中的业务日志，并对日志队列Kafka中的业务日志进行抽取及清洗；
S4：实时对日志队列Kafka进行守护线程，将日志队列Kafka异常时的日志暂存，并在日志队列Kafka恢复正常时将暂存的日志推送至日志队列Kafka；
S5：储存清洗后的业务日志数据。


2.根据权利要求1所述的一种业务日志全链路跟踪方法，其特征在于，所述的步骤S3中基于logstash对日志队列Kafka进行监听、抽取和清洗。


3.根据权利要求1所述的一种业务日志全链路跟踪方法，其特征在于，所述步骤S4具体包括：
S41：间隔扫描日志队列Kafka的Failover文件，判断Kafka的健康状态，若健康状态为异常，进入步骤S42，否则返回S41继续扫描；
S42：将Kafka中的业务日志送入本地日志存储器，进入步骤S43；
S43：间隔扫描日志队列Kafka的Failover文件，判断Kafka的健康状态，若健康状态为异常，返回S43重新扫描，否则进入步骤S44；
S44：将本地日志存储器中的日志通过日志队列Kafka的远程服务投递至日志队列Kafka中。


4.根据权利要求1所述的一种业务日志全链路跟踪方法，其特征在于，所述的方法还包括步骤S6：利用kibana对业务日志进行可视化展示。


5.根据权利要求1所述的一种业务日志全链路跟踪方法，其特征在于，所述的步骤S2采用链路跟踪染色技术分别对业务日志的技术组件在交互时...

【专利技术属性】
技术研发人员：李虎，曾毅峰，俞敏，徐朋兵，
申请(专利权)人：上海浦东发展银行股份有限公司，
类型：发明
国别省市：上海;31