一种通用可扩展的追踪业务全链路的监控方法及系统技术方案

本发明专利技术属于数据处理技术领域，涉及业务全链路的监控系统及方法。一种通用可扩展的追踪业务全链路的监控方法，包括如下步骤：规划需要监控的关键业务，梳理每个关键业务涉及的上下游各个节点的业务信息；注册业务监控数据，包括：业务元数据标识、业务元数据名称、业务元数据展现顺序、业务元数据查询条件显示名称、业务元数据查询条件关联关系；每个业务节点将需要监控的业务数据进行上报；实时收集各个节点上报的业务监控数据，集中缓存；将集中缓存的业务监控数据，转储到业务监控数据的最终存储介质；展示业务全链路。本发明专利技术提供了一种通用可扩展的追踪业务全链路的监控系统及方法，能够以全局视角查看关键业务流转的每个业务节点，以及每个业务节点的执行状态，从而为快速发现业务问题、定位业务问题提供了有力的技术支撑。

A general and extensible monitoring method and system for the whole link of tracking service

【技术实现步骤摘要】
一种通用可扩展的追踪业务全链路的监控方法及系统
本专利技术属于数据处理
，涉及业务全链路的监控方法及系统。
技术介绍
随着云计算大数据技术的日益普及，分布式技术快速发展，微服务大行其道，业务系统规模及调用关系日益复杂，监控数据已成为一种大数据（以下简称“监控大数据”），虽然出现了很多针对系统指标（CPU、内存、网络、磁盘IO等）等监控大数据进行监控的系统，也出现了一些针对单业务系统等监控大数据进行监控的系统，但单系统监控的问题是看不到业务链路的全景，上下游协同成本非常高，因此针对业务系统进行业务维度的全链路监控越来越迫切。中国专利技术专利申请201710202040.8公开一种在业务链路中监控订单的方法及装置。该公开文件采集订单信息在业务链路中各业务节点之间的流转时间，并根据所采集的订单信息在业务链路中各业务节点之间的流转时间和依据所采集的订单信息锁定的商品的库存数量，检测与所采集的订单信息相关联的采购订单是否满足销售需求；当与所采集的订单信息相关联的采购订单不满足销售需求时，触发告警流程。上述装置及方法仅适用于O2O业务中的全链路监控，并且限定订单信息至少包括订单号和商品编码，不具有通用性，可扩展性差。中国专利申请201710766161.5公开一种中大型业务系统的全链路性能监控方法及系统。该公开文件对业务系统进行采集；工作人员对采集到的业务系统进行分析，提取业务系统链路上的各个业务节点；根据所述业务节点的属性对监控系统进行数据配置和制定预警规则；根据配置的数据对各个业务节点进行监控，监控各个业务节点的性能参数，将所述各个业务节点的性能参数汇总并记录至数据库，对性能数据进行统计并以图表的形式展现给工作人员，如果触发制定的预警信息则向工作人员推送异常信息。该申请采用模拟登录的方式获得其他业务系统的数据，并且需要人工参与，通用性不强，可扩展性差。业务全链路监控就是要从业务的视角出发，监控整个业务流程的流转状况及健康状况，无需切换多个业务系统，直观查看全局和上下游业务状况，方便快速发现问题、定位问题。现有技术中关于该技术尚未发现相关报道。
技术实现思路
本专利技术的目的是解决传统单业务系统只能垂直纵向监控本业务系统的指标，无法提供全局视角、水平横向监控关联的上下游业务指标的问题，提供一种通用可扩展的追踪业务全链路的监控系统及方法。本专利技术解决其技术问题采用的技术方案是：一种通用可扩展的追踪业务全链路的监控方法，包括如下步骤：规划需要监控的关键业务，梳理每个关键业务涉及的上下游各个节点的业务信息；注册业务监控数据，包括：业务元数据标识、业务元数据名称、业务元数据展现顺序、业务元数据查询条件显示名称、业务元数据查询条件关联关系；每个业务节点将需要监控的业务数据进行上报；实时收集各个节点上报的业务监控数据，集中缓存；将集中缓存的业务监控数据，转储到业务监控数据的最终存储介质；展示业务全链路。作为本专利技术的优选方式，所述每个节点的业务信息包括：业务名称、描述、查询条件名称、上下文信息。作为本专利技术的优选方式，所述每个业务节点需要监控的业务数据包括：监控数据上报时间、业务元数据标识、业务元数据查询条件值、业务节点名称、业务节点描述、业务节点执行状态、业务节点执行时的上下文信息、业务节点执行时的异常信息。作为本专利技术的优选方式，在指定查询条件下，每个关键业务以时间轴升序方式展示该关键业务实际经过的业务节点、每个业务节点的执行状态、上下文信息、异常信息。本专利技术还提供了一种通用可扩展的追踪业务全链路的监控系统，包括：业务监控管理模块、监控SDK、监控Agent、存储模块和展示模块；所述的业务监控管理模块用于注册和管理业务监控数据；所述的监控SDK用于收集业务监控数据，并将收集的数据上报；所述的监控Agent用于接收所述监控SDK上报的业务监控数据，并将业务监控数据发送到存储模块；所述的存储模块用于储存业务监控数据；所述的展示模块用于展示业务全链路的监控情况。作为本专利技术的优选方式，所述的业务监控数据包括：业务元数据标识、业务元数据名称、业务元数据展现顺序、业务元数据查询条件显示名称、业务元数据查询条件间的关联关系。作为本专利技术的优选方式，所述的存储模块包括Kafka集群、转储插件和全文搜索引擎Elasticsearch；所述Kafka集群用于缓存监控Agent发送的业务监控数据；所述的转储插件用于将缓存在Kafka集群中的业务监控数据转储到所述全文搜索引擎Elasticsearch中；全文搜索引擎Elasticsearch作为业务监控数据的最终存储介质，用于查询业务全链路数据。作为本专利技术的优选方式，所述的展示模块用于展现关键业务，以及每个关键业务下的查询条件，以时间轴升序方式展示该关键业务实际经过的每个业务节点，以及业务节点对应的执行状态、上下文信息、异常信息。本专利技术提供了一种通用可扩展的追踪业务全链路的监控系统及方法，能够以全局视角查看关键业务流转的每个业务节点，以及每个业务节点的执行状态，从而为快速发现业务问题、定位业务问题提供了有力的技术支撑。附图说明图1是本专利技术实施例的通用可扩展的追踪业务全链路的监控系统框架图；图2是本专利技术实施例的通用可扩展的追踪业务全链路的监控方法流程图。具体实施方式为了便于理解本专利技术，下面结合附图和具体实施例，对本专利技术进行更详细的说明。附图中给出了本专利技术的较佳的实施例。但是，本专利技术可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本专利技术的公开内容的理解更加透彻全面。实施例1：通用可扩展的追踪业务全链路的监控系统，如图1所示，包括业务监控数据管理模块、监控SDK、监控Agent、存储模块和展示模块；其中，（1）业务监控数据管理模块用于注册和管理业务元数据的注册信息：业务元数据标识、业务元数据名称、业务元数据展现顺序、业务元数据查询条件显示名称、业务元数据查询条件间的关联关系等；（2）监控SDK，部署在每个机器上，用于收集各个业务节点的业务监控数据，业务系统通过埋点的方式调用该监控SDK。（3）监控Agent，部署在每个机器上，用于收集监控SDK上报的业务监控数据；并将监控数据发送到高性能消息队列集群Kafka。（4）高性能消息队列集群Kafka，用于缓存业务监控数据，解耦并缓冲监控Agent和最终业务监控数据存储介质。（5）转储插件，基于Flume的海量业务监控数据转储插件，用于将缓存在高性能消息队列集群Kafka中的业务监控数据，转储到全文搜索引擎Elasticsearch中。（6）全文搜索引擎Elasticsearch，作为业务监控数据的最终存储介质，Elasticsearch提供强大的索引功能，能够高效查询业务全链路数据。（7）展示模块，用于灵活可扩展的展现关键业务，以及每个关键业务下的查询条件，以时间轴升序方式展本文档来自技高网...

【技术保护点】
1.一种通用可扩展的追踪业务全链路的监控方法，其特征在于，包括如下步骤：/n规划需要监控的关键业务，梳理每个关键业务涉及的上下游各个节点的业务信息；/n注册业务监控数据，包括：业务元数据标识、业务元数据名称、业务元数据展现顺序、业务元数据查询条件显示名称、业务元数据查询条件关联关系；/n每个业务节点将需要监控的业务数据进行上报；/n实时收集各个节点上报的业务监控数据，集中缓存；/n将集中缓存的业务监控数据，转储到业务监控数据的最终存储介质；/n展示业务全链路。/n

【技术特征摘要】
1.一种通用可扩展的追踪业务全链路的监控方法，其特征在于，包括如下步骤：
规划需要监控的关键业务，梳理每个关键业务涉及的上下游各个节点的业务信息；
注册业务监控数据，包括：业务元数据标识、业务元数据名称、业务元数据展现顺序、业务元数据查询条件显示名称、业务元数据查询条件关联关系；
每个业务节点将需要监控的业务数据进行上报；
实时收集各个节点上报的业务监控数据，集中缓存；
将集中缓存的业务监控数据，转储到业务监控数据的最终存储介质；
展示业务全链路。


2.根据权利要求1所述的通用可扩展的追踪业务全链路的监控方法，其特征在于，所述每个节点的业务信息包括：业务名称、描述、查询条件名称、上下文信息。


3.根据权利要求1所述的通用可扩展的追踪业务全链路的监控方法，其特征在于，所述每个业务节点需要监控的业务数据包括：监控数据上报时间、业务元数据标识、业务元数据查询条件值、业务节点名称、业务节点描述、业务节点执行状态、业务节点执行时的上下文信息、业务节点执行时的异常信息。


4.根据权利要求1所述的通用可扩展的追踪业务全链路的监控方法，其特征在于，在指定查询条件下，每个关键业务以时间轴升序方式展示该关键业务实际经过的业务节点、每个业务节点的执行状态、上下文信息、异常信息。


5.一种通用可扩展的追踪业务全链路的监控系统，其特征在于，包括：业务监控管...

【专利技术属性】
技术研发人员：刘桂海，陈忠强，黄伟，鞠强，魏亮，周国庆，
申请(专利权)人：青岛特来电云科技有限公司，青岛特来电新能源科技有限公司，
类型：发明
国别省市：山东;37