全链路监控系统数据收集方法、推送方法及相关设备技术方案

本公开是关于一种全链路监控系统数据收集方法、推送方法及相关设备，属于计算机技术领域，该方法包括：接收预设数据转化组件集群订阅的消息话题；根据所述消息话题的订阅情况，为所述数据转化组件集群中每个数据转化组件分配对应的消息分区；接收用户终端推送的不同话题的链路追踪消息；根据所述消息分区的情况，将所述不同话题的链路追踪消息推送到每个话题对应的数据转化组件，以使得所述数据转化组件将所述链路追踪消息推送到全链路监控系统数据收集组件。本公开实现不侵入原有架构功能模块的情况下，可以满足既有用户的数据接入方式的适配需求，也能缓解原有架构下数据缓存队列面对业务峰值时的容量压力。

Data collection method, push method and related equipment of the whole link monitoring system

【技术实现步骤摘要】
全链路监控系统数据收集方法、推送方法及相关设备
本公开涉及计算机
，具体而言，涉及一种全链路监控系统数据收集方法、推送方法及相关设备。
技术介绍
目前分布式系统越做越大，服务规模也越来越复杂，为了减轻运维压力、提高排错能力，分布式系统的全链路监控系统就显得尤为重要。分布式全链路监控系统如jaeger是基于例如opentracing协议的监控系统，它能在请求的上下文传递中兼容某种协议。当用户的系统在运营的过程中，会产生非常多的追踪信息，而这些追踪信息可以帮助用户了解到系统内各个组件间的使用状况。用户可以在自己的业务系统中，在接口调用时，将相关的追踪信息上报到分布式全链路监控系统中。现有技术中，分布式全链路监控系统可以在请求的上下文中兼容zipkin等协议，但是，对于已经接入zipkin等协议的用户，分布式全链路监控系统在数据上报的方式上并不能直接适配，需要用户修改已有的代码和链路数据上报方式的配置，并且面对用户在业务峰值时上报的海量数据，分布式全链路监控系统自有的数据收集组件的缓冲队列容量难以满足业务峰值时的数据负载。<br>需要说明的是，本文档来自技高网...

【技术保护点】
1.一种全链路监控系统数据收集方法，其特征在于，包括：/n接收预设数据转化组件集群订阅的消息话题；/n根据所述消息话题的订阅情况，为所述数据转化组件集群中每个数据转化组件分配对应的消息分区；/n接收用户终端推送的不同话题的链路追踪消息；/n根据所述消息分区的情况，将所述不同话题的链路追踪消息推送到每个话题对应的数据转化组件，以使得所述数据转化组件将所述链路追踪消息推送到全链路监控系统数据收集组件。/n

【技术特征摘要】
1.一种全链路监控系统数据收集方法，其特征在于，包括：
接收预设数据转化组件集群订阅的消息话题；
根据所述消息话题的订阅情况，为所述数据转化组件集群中每个数据转化组件分配对应的消息分区；
接收用户终端推送的不同话题的链路追踪消息；
根据所述消息分区的情况，将所述不同话题的链路追踪消息推送到每个话题对应的数据转化组件，以使得所述数据转化组件将所述链路追踪消息推送到全链路监控系统数据收集组件。


2.根据权利要求1所述的方法，其特征在于，所述数据转化组件将所述链路追踪消息推送到全链路监控系统数据收集组件，包括：
每个数据转化组件将接收到的所述链路追踪消息反序列化为预定协议的链路消息结构体；
将所述链路消息结构体推送到全链路监控系统数据收集组件。


3.根据权利要求1所述的方法，其特征在于，所述根据所述消息话题的订阅情况，为所述数据转化组件集群中每个数据转化组件分配对应的消息分区，包括：
获取数据转化组件集群中每个数据转化组件订阅的消息话题；
基于重平衡算法进行消息分区重平衡，得到每个所述消息话题对应的消息分区；
根据所述数据转化组件集群中每个数据转化组件对应的消息话题，为每个数据转化组件分配对应话题的消息分区。


4.根据权利要求1所述的方法，其特征在于，在所述根据所述消息分区的情况，将所述不同话题的链路追踪消息推送到每个话题对应的数据转化组件，以使得所述数据转化组件将所述链路追踪消息推送到全链路监控系统数据收集组件之后，所述方法还包括：
全链路监控系统数据收集组件将所述链路追踪消息的数据存储到消息缓冲队列中，以使得全链路监控系统的数据处理线程将所述链路追踪消息的数据存储到内存。


5.根...

【专利技术属性】
技术研发人员：李铭路，
申请(专利权)人：深圳平安通信科技有限公司，
类型：发明
国别省市：广东;44