一种应用监控链路的可视化处理方法、装置及存储介质制造方法及图纸

本公开关于一种应用监控链路的可视化处理方法、装置及存储介质。该方法包括：根据预先配置的告警规则，对获取的监控数据进行处理，判断所述监控数据是否触发告警信息，所述告警信息中包含与单个完整监控链路唯一对应的跟踪标识；若触发告警信息，则根据所述告警信息中的跟踪标识获取触发所述告警信息的完整监控链路；可视化展示所述告警信息对应的完整监控链路。本公开实施例对数据从收集的源头到数据处理再到目标数据产生的整个流程进行标记和数据关联，对数据的追踪相比于对节点进行追踪能够更准确地分析出异常原因，回溯的效率也更高，实现追溯完整监控链路与快速判障。实现追溯完整监控链路与快速判障。实现追溯完整监控链路与快速判障。

【技术实现步骤摘要】
一种应用监控链路的可视化处理方法、装置及存储介质


[0001]本公开涉及应用监控
，具体涉及一种应用监控链路的可视化处理方法、装置及存储介质，以实现应用监控链路可视化。

技术介绍

[0002]应用系统在线上应用时通常需要对其运行状态进行监控，以及时发现运行过程中出现的异常。
[0003]现有中常用的应用监控解决方案主要包括Prometheus和Zabbix两种，其两者均利用数据库存储采集到的数据，因此其性能和功能也受到了一定的限制。Zabbix采用的关系数据库极大地限制了自身的采集性能，Prometheus采用自研的高性能时序数据库虽然能够实现每秒千万级的数据存储，但不支持对大量历史数据的存储与查询。此外，现有的应用监控方案可采集、处理和存储的数据类型有限且不易扩展，Prometheus仅可采集指标型数据，只支持性能和可用性监控，并不具备日志监控等功能；Zabbix则更适合监控物理机环境，针对云环境的监控有限。现有的应用监控解决方案均是对采集到的数据进行分析整理，在符合告警规则的情况下，触发告警。该过程建立了监控源数据(输入应用监控系统的数据)到告警信息(从应用监控系统输出)的单向链路，异常的指标数据会触发告警，运维人员通过告警信息可获知应用系统的出现的异常情况。但同一异常情况可能是由不同的异常引起，仅根据现有的应用监控解决方案建立的单向通路，无法从告警信息回溯监控源数据，从而给快速排查解决应用问题带来了困难。

技术实现思路

[0004]本公开提供一种应用监控链路的可视化处理、装置及存储介质，可以在确保监控链路流程正常运行的情况下，通过对源数据和目标数据进行标记并建立关联关系的方法，实现数据链路的可追溯及可视化。本公开的技术方案包括如下：
[0005]根据本公开实施例的第一方面，提供一种应用监控链路的可视化处理方法，包括：
[0006]根据预先配置的告警规则，对获取的监控数据进行处理，判断所述监控数据是否触发告警信息，所述告警信息中包含与单个完整监控链路唯一对应的跟踪标识；
[0007]若触发告警信息，则根据所述告警信息中的跟踪标识获取触发所述告警信息的完整监控链路；所述完整监控链路包括从监控源数据到告警信息的监控链路，在所述完整监控链路中，根据所述监控数据在节点的转换信息确定从所述节点划分出的转换节点，并使用统一的数据存储对象记录单条完整监控链路中当前转换节点的监控数据与下一个转换节点之间的转换规则及关联关系，所述关联关系包括监控数据在转换节点间进行转换的原因数据；
[0008]可视化展示所述告警信息对应的完整监控链路。
[0009]所述方法的另一个实施例中，所述根据预先配置的告警规则，对获取的监控数据进行处理，判断所述监控数据是否触发告警信息，包括：
[0010]获取用户在配置平台前端配置的告警规则；
[0011]控制配置平台后端将包括所述配置规则的配置信息存入第一数据库，并将所述配置信息同步到第二数据库，所述第一数据库的类型为关系型数据库，所述第二数据库的类型为列式数据库管理系统；
[0012]控制配置平台后端根据所述配置信息生成分布式定时任务，所述分布式定时任务用于定时采集监控源数据，并基于采集的监控源数据生成数据关联对象后存入分布式消息系统；
[0013]实时监听所述分布式消息系统中的数据关联对象，当所述数据关联对象被消费时，对获取的监控数据进行处理，判断所述监控数据是否触发告警信息。
[0014]所述方法的另一个实施例中，所述实时监听所述分布式消息系统中的数据关联对象，当所述数据关联对象被消费时，对获取的监控数据进行处理，包括：
[0015]基于对所述数据关联对象的分析结果，构造关联关系对象，将所述关联关系对象、源数据或结果数据分别转换为统一的数据中转对象；
[0016]将所述数据中转对象存入所述分布式消息系统中的数据存储主题；
[0017]当所述数据关联对象包含结果数据时，抽取出数据关联对象中记录的结果数据、主题的名称，将结果数据转换为数据实体对象并存入所述分布式消息系统中的对应的主题；所示主题的包括业务数据分类和告警消息分类，不同的分类的若干主题有各自对应的主题的名称；
[0018]实时监听所述分布式消息系统中的数据存储主题，当所述数据中转对象被消费时，将与消费所述数据中转对象相关联的信息存入所述第二数据库。
[0019]所述方法的另一个实施例中，还包括：
[0020]实时监听所述分布式消息系统中业务数据分类下的主题；
[0021]当所述数据实体对象被消费时，获取对数据实体对象执行业务逻辑处理后得到的结果数据；
[0022]基于所述结果数据生成下一个转换节点的数据关联对象，并将所述数据关联对象存入所述分布式消息系统中的关联关系主题。
[0023]所述方法的另一个实施例中，还包括：
[0024]实时监听所述分布式消息系统中告警消息分类下的主题；
[0025]所述触发告警信息包括：当所述数据中转对象被消费时，若所述监控数据满足所述告警规则时，则触发告警信息；
[0026]所述可视化展示所述告警信息对应的完整监控链路包括：绘制所述告警信息的完整监控链路；可视化展示绘制的所述完整监控链路。
[0027]所述方法的另一个实施例中，所述绘制所述告警信息的完整监控链路包括：
[0028]基于与告警信息对应的跟踪标识获取触发所述告警信息的监控链路所涉及到的关联关系对象，包括：从监控链路的开始节点数据关联对象开始往下一个转换节点遍历，直至结果数据为空的数据关联对象为止所形成的序列作为所述告警信息的完整监控链路。
[0029]所述方法的另一个实施例中，还包括：
[0030]定时同步所述第一数据库中存储的配置信息。
[0031]所述方法的另一个实施例中，监控链路中任一节点的数据以二元组(u,v)的形式
记录流转到当前节点的数据的源数据和当前节点的数据。
[0032]根据本公开实施例的第二方面，还供一种应用监控链路的可视化处理装置，包括：
[0033]监控数据获取模块，用于根据预先配置的告警规则，对获取的监控数据进行处理，判断所述监控数据是否触发告警信息，所述告警信息中包含与单个完整监控链路唯一对应的跟踪标识；
[0034]链路分析处理模块，用于若触发告警信息，则根据所述告警信息中的跟踪标识获取触发所述告警信息的完整监控链路；所述完整监控链路包括从监控源数据到告警信息的监控链路，在所述完整监控链路中，根据所述监控数据在节点的转换信息确定从所述节点划分出的转换节点，并使用统一的数据存储对象记录单条完整监控链路中当前转换节点的监控数据与下一个转换节点之间的转换规则及关联关系，所述关联关系包括监控数据在转换节点间进行转换的原因数据；
[0035]链路展示模块，用于可视化展示所述告警信息对应的完整监控链路。
[0036]本公开实施例的第三方面，还提供一种计算机设备，包括：...

【技术保护点】

【技术特征摘要】
1.一种应用监控链路的可视化处理方法，其特征在于，包括：根据预先配置的告警规则，对获取的监控数据进行处理，判断所述监控数据是否触发告警信息，所述告警信息中包含与单个完整监控链路唯一对应的跟踪标识；若触发告警信息，则根据所述告警信息中的跟踪标识获取触发所述告警信息的完整监控链路；所述完整监控链路包括从监控源数据到告警信息的监控链路，在所述完整监控链路中，根据所述监控数据在节点的转换信息确定从所述节点划分出的转换节点，并使用统一的数据存储对象记录单条完整监控链路中当前转换节点的监控数据与下一个转换节点之间的转换规则及关联关系，所述关联关系包括监控数据在转换节点间进行转换的原因数据；可视化展示所述告警信息对应的完整监控链路。2.根据权利要求1所述的方法，其特征在于，所述根据预先配置的告警规则，对获取的监控数据进行处理，判断所述监控数据是否触发告警信息，包括：获取用户在配置平台前端配置的告警规则；控制配置平台后端将包括所述配置规则的配置信息存入第一数据库，并将所述配置信息同步到第二数据库，所述第一数据库的类型为关系型数据库，所述第二数据库的类型为列式数据库管理系统；控制配置平台后端根据所述配置信息生成分布式定时任务，所述分布式定时任务用于定时采集监控源数据，并基于采集的监控源数据生成数据关联对象后存入分布式消息系统；实时监听所述分布式消息系统中的数据关联对象，当所述数据关联对象被消费时，对获取的监控数据进行处理，判断所述监控数据是否触发告警信息。3.根据权利要求2所述的方法，其特征在于，所述实时监听所述分布式消息系统中的数据关联对象，当所述数据关联对象被消费时，对获取的监控数据进行处理，包括：基于对所述数据关联对象的分析结果，构造关联关系对象，将所述关联关系对象、源数据或结果数据分别转换为统一的数据中转对象；将所述数据中转对象存入所述分布式消息系统中的数据存储主题；当所述数据关联对象包含结果数据时，抽取出数据关联对象中记录的结果数据、主题的名称，将结果数据转换为数据实体对象并存入所述分布式消息系统中的对应的主题；所示主题的包括业务数据分类和告警消息分类，不同的分类的若干主题有各自对应的主题的名称；实时监听所述分布式消息系统中的数据存储主题，当所述数据中转对象被消费时，将与消费所述数据中转对象相关联的信息存入所述第二数据库。4.根据权利要求3所述的方法，其特征在于，还包括：实时监听所述分布式消息系统中业务数据分类下的主题；当所述数据实体对象被消费时，获取对数据实体对象执行业务逻辑处理后得到的结果数据；基于所述结果数据生成下一个转换节点的数据关...

【专利技术属性】
技术研发人员：梅健玮，刘西宁，叶安江，张斯窈，徐本波，
申请(专利权)人：上海浦东发展银行股份有限公司，
类型：发明
国别省市：