一种分布式系统监控方法和系统、计算机存储介质技术方案

一种分布式系统监控方法和系统、计算机存储介质，涉及数据信息处理技术领域，将跟踪模型和收集模型插入控制路径；响应于用户请求，以跟踪模型采集应用系统和服务组件处理过程中的工作信息，包括标识符、时间戳和响应信息；若识别到响应信息异常，采集附有标识符和时间戳的异常日志信息；以插入的收集模型将采集到的工作信息存入指定数据库，根据工作信息对应的标识符和时间戳，分析分布式系统的各个层级的应用系统之间的调用关系，以及配置有应用系统服务的各个层级的服务组件的调用关系，并根据不同维度展示调用关系和异常。是一种可以监控分布式系统各个层级的服务器、中间组件的调用关系、异常位置处理方法。异常位置处理方法。异常位置处理方法。

【技术实现步骤摘要】
一种分布式系统监控方法和系统、计算机存储介质


[0001]本申请涉及信息处理
，具体涉及一种分布式系统监控方法和系统。

技术介绍

[0002]当前，互联网用户日以继日的剧增，需要支持高并发、高吞吐、高速处理能力，传统的WEB服务两层架构（web服务器、数据库）或三层架构（web服务器、应用服务器、数据库）已经不能满足当前的应用需求，进而演变出来的N层架构系统逐渐被推上市场，而且越发的普及，导致更加复杂的软件栈组合，系统的复杂度也因此提升。
[0003]系统越是复杂，出现问题也越多，越是很难排查问题发生的原因和位置。例如系统性能问题或者系统失败问题，在传统的两层或者三层架构中，只需要分析两个或者三个组件或者系统就可以问题溯源，但是如果发生在N层架构中，就需要逐个调查分析大量的组件和服务器，最主要的是单个的组件可能产生不了问题，当很多个组件串联起来使用就出现异常问题，系统的项目越是复杂，越是需要大把的时间来查找问题原因，这还不是难点，难点是，有些时候耗费了很多人力物力，最后却无法查找问题发生的原因。

技术实现思路

[0004]本申请针对现有技术中的N层架构系统中面临的监控难点，提供了一种分布式系统监控方法和系统。
[0005]为实现上述目的，本申请采用以下技术方案：一种分布式系统监控方法，包括以下步骤：构建跟踪模型，配置包括应用系统以及部署应用系统的服务组件集群信息；构建收集模型，配置相关数据存储路径；运行加载技术，将所述跟踪模型和所述收集模型插入控制路径；响应于用户请求，以所述跟踪模型采集应用系统和服务组件处理过程中的工作信息，包括标识符、时间戳和响应信息；若识别到响应信息异常，采集附有所述标识符和时间戳的异常日志信息；以插入的收集模型将采集到的工作信息存入指定数据库，对所述工作信息进行持续性分析，根据所述工作信息对应的标识符和时间戳，分析分布式系统的各个层级的应用系统之间的调用关系，以及配置有所述应用系统服务的各个层级的服务组件的调用关系，并根据不同维度展示所述调用关系和异常。
[0006]优选的，所述标识符包括一级标识符和若干二级标识符；所述一级标识符为每一用户请求所产生的工作信息提供标记，所述二级标识符为每一所述用户请求所调用的服务组件的层级和调用顺序提供标记。
[0007]优选的，所述服务组件包括配置有所述应用系统的服务器和需调用的中间组件，所述中间组件包括数据库、缓存中间组件或消息中间组件。
[0008]优选的，动态配置用户请求响应率，所述跟踪模型按照比例执行响应采集响应所
述用户请求应用系统和服务组件处理过程中的工作信息。
[0009]优选的，根据所述时间戳计算各个层级的响应时间，根据二级标识符确定服务组件集群的节点信息。
[0010]优选的，所述工作信息包括附有所述一级标识符和所述二级标识符的接口请求地址、请求参数、响应数据、开始时间、结束时间、中间组件或者系统信息、IP及端口信息、服务器基本信息、调用方法及类名包名信息、业务各节点处理时间，以及异常详细信息、上下文调用关系信息、堆栈信息。
[0011]优选的，还包括构建数据展示模型，运行加载技术，将所述数据展示模型插入控制路径；所述数据展示模型，用于将工作信息从数据库调取，根据一级标识符、二级标识符和时间戳展示不同维度的各层级服务器和中间组件的调用关系图，并显示异常在所述调用关系图中的位置。
[0012]一种分布式系统监控系统，包括：主处理单元，用于接收用户请求，并将响应任务分配至配置有应用系统的服务组件集群；数据跟踪单元，被加载用以实现采集应用系统和服务组件处理过程中的工作信息的功能；数据收集单元，被加载用以实现所述工作信息存储到指定数据库的功能；所述工作信息包括标识符、时间戳和响应信息，以及异常状态下的附有所述标识符和时间戳的异常日志信息；所述标识符为响应每一用户请求而在所述服务组件集群中被调用的所有服务组件标记；数据展示单元，被加载用于将工作信息从数据库调取，根据标识符和时间戳展示不同维度的各层级服务器和中间组件的调用关系图，并显示异常位置。
[0013]优选的，所述标识符包括一级标识符和二级标识符，所述二级标识符为所述服务组件集群中被调用的所有服务组件的层级和调用顺序做标记。
[0014]本专利技术具有如下有益效果：本申请针对现有技术中的N层架构系统中面临的监控难点，提供了一种可以对N层架构系统在响应用户请求中过程中应用系统以及应用系统任务在各个层级的服务器、中间组件的调用关系、异常位置有一个更精准、详细的方法。
附图说明
[0015]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0016]图1是分布式系统监控方法的主流程图；图2是用户请求在应用系统集群中的调用关系图。
具体实施方式
[0017]下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所
描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0018]本申请的权利要求书和说明书的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式，此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他单元。
[0019]应用场景描述，基于一种庞大的分布式系统，区别于两层构架或者三层构架，其服务于各省市县区的各个行业，基于庞大的用户量、数据量，以及高并发数，采用N层架构进行设计，为防止系统出现难以排查的异常问题，故衍生本专利技术所述的一种分布式系统监控方法和系统。
[0020]通过分析N层架构系统的特征，发现N层架构的系统具有松耦合性、灵活可扩展、可独立维护、独立部署的优势，设计良好的系统还可以抽象出公共业务组件，避免重复造轮子，每个组件还可以使用DDD（领域驱动设计）的思想进行领域模型设计，以此来减少组件或者系统之间的高耦合性。与此同时，各个组件可以通过轻量级的协议进行通信，而且轻量级的协议可以支持跨语言的开发。另外，N层架构的系统可以各自独立的部署在不同的机器之上，可采用如Docker类似的虚拟化容器或者真实的服务器进行部署，并且同一个系统可以部署众多的集群。
[0021]N层架构的系统拆分后，一个请求需要调动很多的系统资源，如何才能获得更好的性能，或者说如何在N层架构的系统中识别出一个请求的异常节点，或多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式系统监控方法，其特征在于，包括以下步骤：构建跟踪模型，配置包括应用系统以及部署应用系统的服务组件集群信息；构建收集模型，配置相关数据存储路径；运行加载技术，将所述跟踪模型和所述收集模型插入控制路径；响应于用户请求，以所述跟踪模型采集应用系统和服务组件处理过程中的工作信息，包括标识符、时间戳和响应信息；若识别到响应信息异常，采集附有所述标识符和时间戳的异常日志信息；以插入的收集模型将采集到的工作信息存入指定数据库，对所述工作信息进行持续性分析，根据所述工作信息对应的标识符和时间戳，分析分布式系统的各个层级的应用系统之间的调用关系，以及配置有所述应用系统服务的各个层级的服务组件的调用关系，并根据不同维度展示所述调用关系和异常。2.根据权利要求1所述的一种分布式系统监控方法，其特征在于，所述标识符包括一级标识符和若干二级标识符；所述一级标识符为每一用户请求所产生的工作信息提供标记，所述二级标识符为每一所述用户请求所调用的服务组件的层级和调用顺序提供标记。3.根据权利要求1所述的一种分布式系统监控方法，其特征在于，所述服务组件包括配置有所述应用系统的服务器和需调用的中间组件，所述中间组件包括数据库、缓存中间组件或消息中间组件。4.根据权利要求1所述的一种分布式系统监控方法，其特征在于，动态配置用户请求响应率，所述跟踪模型按照比例执行响应采集响应所述用户请求应用系统和服务组件处理过程中的工作信息。5.根据权利要求2所述的一种分布式系统监控方法，其特征在于，根据所述时间戳计算各个层级的响应时间，根据二级标识符确定服务组件集群的节点信息。6.根据权利要求2所述的一种分布式系统监控方法，其特征在于，所述工作信息包括...

【专利技术属性】
技术研发人员：董超，宋发元，周红艳，龚友涛，
申请(专利权)人：杭州乾冠数字物联技术有限公司，
类型：发明
国别省市：