一种应用于业务中台的消息链路跟踪监控方法和系统技术方案

本发明专利技术公开了一种应用于业务中台的消息链路跟踪监控方法和系统，该方法包括：网关接收第三方系统输入的数据，将数据保存至日志中心，并将第三方系统输入的数据解析成当前系统内部需要的数据格式，解析完成后，通过MQ将解析成功的数据和链路ID发送给业务中心，并在日志中心中保存MQ发送日志，业务中心消费到数据，并根据数据处理完对应的业务之后，保存MQ消费日志至日志中心，同时通过MQ将链路ID和数据传给下个业务中心去处理，下个业务中心在处理完对应的业务之后，同样保存MQ消费日志至日志中心。本发明专利技术通过链路ID调用MQ日志，即可查看日志中心中所有的MQ日志，快速定位故障位置，并解决问题。

【技术实现步骤摘要】
一种应用于业务中台的消息链路跟踪监控方法和系统
本专利技术涉及数据监控
，具体涉及一种应用于业务中台的消息链路跟踪监控方法和系统。
技术介绍
一个系统除了内部之间数据流，很多情况避免不了与第三方系统打交道。特别是两个系统之间数据传输频繁的时候，如果没有一个数据链路跟踪工具的话，数据链路一旦出现报错，很难排查到问题。此外，在分布式、微服务的系统架构中，分布式微服务架构系统会按照维度的不同拆分出多个服务，一次请求就会涉及到多个服务，服务和服务之间为了解耦还会用到消息中间件进行通信。所以，在复杂的微服务架构系统中，几乎每一个前端请求都会形成一个复杂的分布式服务调用链路，形成类似多系统之间交互。因此，行业内急需研发一个用于消息链路跟踪的工具或者方法，以便发生故障的时候，能够快速定位和解决问题。
技术实现思路
本专利技术的目的是为了克服以上现有技术存在的不足，提供了一种快速定位故障位置的应用于业务中台的消息链路跟踪监控方法和系统。本专利技术的目的通过以下的技术方案实现：一种应用于业务中台的消息链路跟踪监控方法，包括：网关接收第三方系统输入的数据，将数据保存至日志中心，并将第三方系统输入的数据解析成当前系统内部需要的数据格式，解析完成后，通过MQ将解析成功的数据和链路ID发送给业务中心，并在日志中心中保存MQ发送日志，业务中心消费到数据，并根据数据处理完对应的业务之后，保存MQ消费日志至日志中心，同时通过MQ将链路ID和数据传给下个业务中心去处理，下个业务中心在处理完对应的业务之后，同样保存MQ消费日志至日志中心，同时通过MQ将链路ID和数据传给下下个业务中心去处理，直至链路中所有的业务中心处理完对应的业务，同时保存对应MQ消费日志至日志中心，其中MQ消费日志包括对应的业务中心名和业务中心根据接收的数据处理业务的成功失败情况；当发生故障，通过链路ID调用MQ日志，即可查看日志中心中所有的MQ日志，快速定位故障位置，其中MQ日志包括MQ发送日志和MQ消费日志。优选地，应用于业务中台的消息链路跟踪监控方法还包括展示日志，让数据监控可视化，同时运维人员根据展示的监控日志对数据进行重新消费；优选地，日志中心采用MongoDB存储数据和MQ消费日志。优选地，网关通过接口还接收第三方系统输入的链路ID。优选地，MQ消费日志还包括业务主键，接口名称。一种应用于业务中台的消息链路跟踪监控系统，包括：网关、日志中心和业务中心；业务中心的个数为N；网关，用于接收第三方系统输入的数据，并将第三方系统输入的数据解析成当前系统内部需要的数据格式，并将第三方系统输入的原始数据在日志中心保存为快照；日志中心，用于记录了每个节点之间数据流转的日志记录，节点包括网关和不同的业务中心；日志记录包括MQ消费日志；业务中心，用于根据接收的数据处理对应的业务，数据处理完对应的业务之后，保存MQ消费日志至日志中心，同时通过MQ将链路ID和数据传给下个业务中心去处理。优选地，应用于业务中台的消息链路跟踪监控系统还包括：管理端；管理端，用于展示日志，让数据监控可视，同时运维人员根据展示的监控日志对数据进行重新消费；优选地，管理端，还用于通过重新消费按钮重新消费第三方系统输入的数据或者向第三方系统重新发送日志。本专利技术相对于现有技术具有如下优点：1、当数据在不同节点之间传输和处理时，会把链路ID和数据传给下个业务中心去处理，同时将每个节点之间数据流转的日志记录保存在日志中心，当发生故障，通过链路ID调用MQ日志，即可查看日志中心中所有的MQ日志，快速定位故障位置，并解决问题。2、数据链路可视化：从第三方下发数据到企业系统(当前系统)，再到企业系统内部之间流转，特别是在复杂的分布式微服务架构下，整个链路是非常错综复杂的。本专利技术可以把复杂的链路通过界面可视化的形式展现出来，开发者就很容易看清楚数据流向和各个链路节点的状态变化。3、契合当下流行的中台、微服务架构：本监控方法从设计开始就是为中台、微服务架构设计的，对目前大多数系统都是无缝对接的。4、代码侵入性小，本专利技术的核心就是日志收集，日志收集都是通过切面统一实现的，所以不需要在各个业务代码中添加日志收集代码。而负责日志收集日志中心是独立的服务，所以对代码的侵入性小，可即插即用。5、高性能、实时性：由于日志存储不是常规的事务性数据库，而是采用了高性能，实时性强的MongoDB。由于监控日志会从海量的数据中查询，而且对实时性也有较高要求，所以非常的贴合。附图说明构成本申请的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术的应用于业务中台的消息链路跟踪监控系统的内部架构和数据流图。图2为本专利技术的当前系统下发数据至第三方系统的时序图。图3为某集团公司SAP集成数据监控的截图。图4为某集团公司SAP集成数据监控的另一截图。具体实施方式下面结合附图和实施例对本专利技术作进一步说明。参见图1-2，一种应用于业务中台的消息链路跟踪监控系统，包括：网关、日志中心和业务中心；业务中心的个数为N；网关，用于接收第三方系统输入的数据，并将第三方系统输入的数据解析成当前系统内部需要的数据格式，并将第三方系统输入的原始数据在日志中心保存为快照；网关是与第三方系统交互的出入口，所有请求和数据传输都必须经过网关。由于第三方系统传输数据格式可能不一样，甚至传输协议也不一样，所以网关需要对接收的数据进行解析，根据实际需求还可以加入权限管理。日志中心，用于记录了每个节点之间数据流转的日志记录，节点包括网关和不同的业务中心；日志记录包括MQ消费日志；本方案采用是MongoDB作为数据存储，日志中心主要记录了每个节点(业务中心)之间数据流转的日志记录。日志中心会对外提供日志保存，修改，查询等一些API接口。日志中心是完全独立的服务，可达到即插即用，对代码的侵入性小，所以不同应用层级都可以调用。业务中心，用于根据接收的数据处理对应的业务，数据处理完对应的业务之后，保存MQ消费日志至日志中心，同时通过MQ将链路ID和数据传给下个业务中心去处理。业务中心一般有多个，可以按不同的维度拆分，各业务中心相对独立，每个业务中心一般只提供自己领域下一些业务能力，不一般不会直接互相调用。所以业务中心之间一般会通过消息中间件解耦。一般数据收集都在数据发送和接收的时候进行数据采集。但是不能把收集埋点的代码过多侵入到业务代码中。数据传输过程中无非是正常传递下去，或者是某个环节出现异常而中断。所以只需要在消息发出去之前和消息收到之后进行收集即可。可以通过切面编程方式进行统一处理，减少了重复代码，而且对业务代码侵入性小。需要说明的是，本方案应用于业务中台的多系统之间，目的是进行消息链路跟踪监控。在本实施例，用于多系统之间的消息链路跟踪监控系统，还包括：管理端；管理端，用于展示日志本文档来自技高网...

【技术保护点】
1.一种应用于业务中台的消息链路跟踪监控方法，其特征在于，包括：/n网关接收第三方系统输入的数据，将数据保存至日志中心，并将第三方系统输入的数据解析成当前系统内部需要的数据格式，解析完成后，通过MQ将解析成功的数据和链路ID发送给业务中心，并在日志中心中保存MQ发送日志，业务中心消费到数据，并根据数据处理完对应的业务之后，保存MQ消费日志至日志中心，同时通过MQ将链路ID和数据传给下个业务中心去处理，下个业务中心在处理完对应的业务之后，同样保存MQ消费日志至日志中心，同时通过MQ将链路ID和数据传给下下个业务中心去处理，直至链路中所有的业务中心处理完对应的业务，同时保存对应MQ消费日志至日志中心，其中MQ消费日志包括对应的业务中心名和业务中心根据接收的数据处理业务的成功失败情况；/n当发生故障，通过链路ID调用MQ日志，即可查看日志中心中所有的MQ日志，快速定位故障位置，其中MQ日志包括MQ发送日志和MQ消费日志。/n

【技术特征摘要】
1.一种应用于业务中台的消息链路跟踪监控方法，其特征在于，包括：
网关接收第三方系统输入的数据，将数据保存至日志中心，并将第三方系统输入的数据解析成当前系统内部需要的数据格式，解析完成后，通过MQ将解析成功的数据和链路ID发送给业务中心，并在日志中心中保存MQ发送日志，业务中心消费到数据，并根据数据处理完对应的业务之后，保存MQ消费日志至日志中心，同时通过MQ将链路ID和数据传给下个业务中心去处理，下个业务中心在处理完对应的业务之后，同样保存MQ消费日志至日志中心，同时通过MQ将链路ID和数据传给下下个业务中心去处理，直至链路中所有的业务中心处理完对应的业务，同时保存对应MQ消费日志至日志中心，其中MQ消费日志包括对应的业务中心名和业务中心根据接收的数据处理业务的成功失败情况；
当发生故障，通过链路ID调用MQ日志，即可查看日志中心中所有的MQ日志，快速定位故障位置，其中MQ日志包括MQ发送日志和MQ消费日志。


2.根据权利要求1所述的应用于业务中台的消息链路跟踪监控方法，其特征在于，还包括展示日志，让数据监控可视化，同时运维人员根据展示的监控日志对数据进行重新消费。


3.根据权利要求1所述的应用于业务中台的消息链路跟踪监控方法，其特征在于，日志中心采用MongoDB存储数据和MQ消费日志。


4.根据权...

【专利技术属性】
技术研发人员：包志刚，段彩霞，汪健，崔国家，蔡信实，
申请(专利权)人：杭州云徙科技有限公司，
类型：发明
国别省市：浙江;33